張學良晚年在回憶錄中，講過一段顧維鈞婚內出軌有夫之婦的故事，大概是這樣的：

西安事變前，張學良和顧維鈞總在楊某某的家里打麻將，這個楊某某的太太在散場前，一定會和顧維鈞上樓去待一會兒，兩人去樓上干什么？不言自明的事。

這個楊太太為楊某某生了一個小女兒，當時已經三四歲了，長得卻跟顧維鈞一模一樣的。

有一次，張學良、顧維鈞又在楊家打麻將，這時顧維鈞的太太來了，要帶顧維鈞離開，顧就是不走，顧太太就指著楊太太大罵，你這個不要臉的東西，然后拿起桌子上的茶水，朝顧維鈞的頭上澆了上去。顧維鈞被澆了，還是一動不動，楊太太被罵了，也是一動不動。這種尷尬的場面，就連少帥看了都感覺不好意思。

這個楊某某在外面也聽到了風聲，有一次他就對少帥說，外面總有人說我太太跟顧維鈞有關系，少帥也不能出賣顧維鈞，就回答我看不出來。

楊太太在外面和顧維鈞偷情，但這個楊某某也不是單純的受害者。據張學良說，楊某某也有情人，是一個會開飛機的女人。這夫妻兩個，就是他干他的，她干她的。

由于張學良沒有透露這個楊某某的真實姓名，一些人根據他話里的“西安事變前”，就認為這個楊某某是楊虎城，而這個楊太太就是楊虎城當時的夫人謝葆真。這樣的推測太簡單了，對楊虎城夫婦來說是不公平的。

事實上，楊虎城夫婦的感情很好，1937年12月，楊虎城回國后遭到了蔣介石的逮捕，謝葆真明知自己也很危險，但還是為了營救丈夫四處奔走，決心和楊虎城生死與共。后來，她也被抓了，和楊虎城囚禁在一起。謝葆真死后，楊虎城親自火化了她的遺體，將骨灰日夜放在身旁。

楊虎城和謝葆真的二女兒楊拯美、三女兒楊拯英出生于1932年和1933年，符合張學良所說的楊某某的女兒當時三四歲，但并不符合“長得跟顧維鈞一模一樣”，相比之下，她們和楊虎城長得更像。

那么，這個楊太太到底是誰呢？答案就是顧維鈞的第四任太太嚴幼韻。顧維鈞和嚴幼韻在30年代就有了婚外情，當時顧維鈞的太太是黃蕙蘭——就是那個拿茶水澆顧維鈞的太太，嚴幼韻的丈夫是楊光泩，是顧維鈞的下屬。

黃蕙蘭發現丈夫顧維鈞和下屬的太太有染后，就大鬧特鬧，堅持要把楊光泩調走，顧維鈞無奈，就把他調到了南洋，當民國駐菲律賓總領事。這樣，嚴幼韻也去了南洋。沒過幾年，日軍就占領了馬尼拉，楊光泩遭日軍殺害，嚴幼韻帶著3個女兒（其中就包括張學良所說的那個“長得和顧維鈞一模一樣”的女兒楊雪蘭）跑到紐約，繼續做顧維鈞的情人，后來又在顧維鈞的介紹下，到聯合國的一個機構當文員。

1956年，顧維鈞和夫人黃蕙蘭離婚，據黃蕙蘭回憶，兩人之所以離婚，一是因為顧維鈞事業心重，一心一意為工作打拼，經常冷落妻子；二是因為自己出身富豪，性格驕縱，顧維鈞抱怨自己開銷奢侈、生活隨便，兩人逐漸貌合神離。

但從前面的故事看，原因應該還有一條，就是顧維鈞有婚外情。

和黃蕙蘭離婚3年后，嚴幼韻和顧維鈞結婚，從情人變成了太太。嚴幼韻后來活了112歲，到2017年才病逝，長壽程度令人驚嘆。

張學良晚年回憶顧維鈞和嚴幼韻情史的時候，嚴還活著，所以張學良不能直接點她的名字，結果反而讓一些人誤解成了楊虎城的太太謝葆真。