薛灵芸的故事在正史里没有记载，但《拾遗记》、《太平广记》中多有描述。

　　薛灵芸是三国时期的常山人，家中十分贫穷，她从小与家人一起纺纱，从早到晚从无间歇。薛灵芸长到十七岁时，不仅练得一手绝妙的女红，而且人也长得俊美绝世，闾中少年无不倾心思慕。

　　咸熙元年，魏文帝曹丕下旨，要选良家女子充实六宫。常山郡守谷习以千金聘去灵芸，呈献给魏文帝。文帝早知灵芸美若天仙，就用十辆宫中最华美的车銮去迎接她。这些车子前后缀满宝石、银铃，行进之时，清脆悦耳的声音响彻郊野。车銮所过之处，前后膏烛齐明，久久不熄，远处望去，如同流星坠地一般。时人有歌云：“青槐夹道多尘埃，龙楼凤阙望崔嵬，清风细雨杂香来，土上出金火照台。”

　　文帝得意地说：“古人有‘朝为行云，暮为行雨’之说，而今是非云非雨，非朝非暮啦！”遂改称薛灵芸的名字为“夜来”。后世“夜来香”的花名就是由此而来。

　　薛灵芸入宫后深受皇帝宠爱，但她从不放弃女红，在宫中仍然飞针走线。她甚至能在夜里不用灯烛，仍然针黹刺绣，宫中的妃嫔都尊称她为“针神”。文帝喜爱她的缝纫，声称凡不是“针神”绣制的衣裳他绝不穿。

　　从1930年至1936年，英美烟公司陆续出版了烟画《历代传奇》，共294枚。《历代传奇》收录了《晋书》、《列女传》、《唐宋传奇》等书上的众多故事，并将其一一画成了图画。“薛灵芸”是烟画《历代传奇》中的一枚。