李元吉的妃子是楊雄侄孫女楊氏，相傳楊氏膚白貌美，聘聘婷婷，之後被李淵許配給李元吉做王妃，可是在玄武門之變後，楊氏被李世民寵愛，然後生下了皇十四子，後來長孫皇后逝世，李世民想要立楊氏爲皇后，因魏徵勸阻才斷了念頭。
李元吉是李淵第四子，也是李世民的弟弟，不過李元吉是擁護太子李建成的，李淵在位期間，李元吉被封爲齊王，並將隋觀王楊雄的侄孫女賜婚給他，這個楊氏可不是省油的燈，她與李元吉育有五子五女。
李世民發動玄武門之變後，李建成和李元吉相繼被殺，爲了以絕後患，李世民誅殺李元吉的五個兒子，而楊氏被李世民帶進了後宮。
楊氏很得李世民的寵愛，在長孫皇后薨逝後，李世民曾想封楊氏爲皇后，好在有魏徵的極力阻止，纔沒有讓楊氏母儀天下，而且楊氏還爲李世民生下第十四子李明，貞觀二十一年楊氏逝世。
