20年前時任台北縣副縣長的李鴻源與高金素梅傳出不倫戀，2006年先是被《壹週刊》拍到兩人同遊北京，2009年又被爆疑似同居，又多次被直擊一起打網球，已是人夫的李鴻源堅稱兩人只是好友，但受到緋聞影響，決定請辭副縣長職務。
高金素梅從政前是藝人，演出過李安經典電影《囍宴》，情史也相當豐富，最廣為人知的就是和男星鄭進一交往，傳出鄭進一還為她輕生，且就算分手多年仍大讚她「是讓人念念不忘的女人」；高金素梅還與《包青天》裡的展昭何家勁相戀，一度論及婚嫁。
高金素梅也多次爆出小三爭議，傳出曾經介入富商呂崇民婚姻，讓呂的元配、知名演員華真真痛不欲生；與前立委、「籃球博士」鄭志龍也爆出過辦公室戀情，讓鄭志龍的太太呂祖潁難以忍受，最後離婚收場。
