離婚時，兩人又爲兒子的撫養權問題鬧得沸沸揚揚，最後兒子判給趙雅芝撫養。由於婚變加上打官司，有一段時間趙雅芝的情緒很低落。1984年，趙雅芝在拍攝電視長劇時與黃錦燊認識，那時，黃剛從美國回港，他性格豁達、開朗，那一段時間，正是趙雅芝情緒最低沉的時候，黃錦燊在生活上關心她，並開導她振作起來，勇敢面對生活。趙雅芝先是對黃產生了好感，後漸漸愛上了對方，最後與黃重新結合———她彷彿命裏註定要嫁一個學醫的，黃錦燊在美國大學畢業後當過藥劑師。婚後，他倆又育有一子。趙雅芝的3個孩子都已經長大成人。事實上，說到趙雅芝情史，就不得不說一說她坎坷婚姻。趙雅芝事業在電視臺剛起步沒多久，就嫁給了當時的丈夫黃漢偉，之後生了兩個兒子。
不過，趙雅芝與前夫黃漢偉的婚姻並不幸福，兩人離婚後，爲了爭取兒子的撫養權，趙雅芝無奈與前夫對薄公堂，而這也是當時香港娛樂圈最火爆的話題。在隨後的事業發展中，趙雅芝與藝員黃錦燊因合作《《女黑俠花木蘭》而傳出緋聞，後來趙雅芝與黃錦燊承認戀情並於八五年在美國註冊結婚，從此黃錦燊就成爲趙雅芝老公，兩人生了一個孩子，感情穩定。
除了前夫黃漢偉和現任老公黃錦燊，趙雅芝情史不可不提的就是83版霍元甲黃元申。1978年左右，趙雅芝與黃元申合作愛情喜劇《剝錯大牙拆錯骨》，當時趙雅芝與前夫黃漢偉的婚姻還沒有結束，但已經與黃元申因戲生情。不過兩人發乎情止乎禮，黃元申讀過不少書，書卷氣頗重，他常給趙雅芝寫情書。當時趙雅芝老公黃漢偉在娛樂圈人脈頗廣，他認識某週刊老總，黃漢偉在家中撿到黃元申寫給趙雅芝的信後，在酒醉之時向該老總訴苦，沒想該老總後來將那些信公開，弄得趙雅芝與黃元申很是尷尬。
