《女心理師》葉家輝每次出場幾乎都伴隨着陰森可怕的氛圍，他究竟有怎樣的祕密，也讓人不由得好奇。葉家輝跟賀頓說他小時候被媽媽拋棄了，葉家輝媽媽當初爲什麼拋棄他？從葉家輝暗中跟蹤姬教授，甚至還有點痛恨他的態度上來看，難道葉家輝的不幸童年跟姬教授有關？
葉家輝說他覺得自己七歲那年就已經死了，因爲七歲那年，葉家輝的媽媽拋棄了他。葉家輝的扮演者王嘉也在微博上說，葉家輝的童年是充滿恐懼與不安的，他有一個殘缺不全的原生家庭。
葉家輝的父親也是一名在醫學方面頗有造詣的教授，他的母親在他小時候離開了他。在滂沱大雨中，葉家輝的母親上了一個男人的車，年幼的葉家輝一直哭喊着讓媽媽別走，但媽媽還是頭也不回離開了，而他則被那個男人推倒在地。這是葉家輝對母親留下的最後回憶。
葉家輝跟賀頓聊到過雙向情感障礙這個話題，盲猜葉家輝的母親，或者是葉家輝本人就有這方面的心理問題。網友推測，葉家輝母親當年應該找姬教授諮詢過心理上的問題，而那個F檔案中就有跟葉家輝母親有關的內容，所以他纔會想盡千方百計得到它。
不知是葉家輝母親在諮詢過程中喜歡上了姬教授，還是姬教授對她產生了反移情，所以她纔會決定拋棄年幼的葉家輝，離開那個家。當然，可能是葉家輝單方面這麼覺得的，說不定這一切只是一場誤會。
姬教授說他這一輩子沒愛過什麼人時，葉家輝的反應特別大，很顯然他對姬教授有怨恨，有誤解。葉家輝母親拋棄他，應該跟姬教授有一些關係，至少在葉家輝看來他是這麼認爲的，他可能覺得是姬教授破壞了自己的家庭。不過片尾中有一幕是葉家輝和姬教授一起坐在海邊長椅上看日落的場景，也許他最後解開了心結。
