24岁时潘虹与上影厂美工米家山结婚,米家山比潘虹大8岁,所以潘虹说她好像是“找到半个父亲”;25岁那年,潘虹经历了一次致命的爱情,在出演影片《苦恼人的笑》时,他与导演杨延晋传出绯闻,“爱”上有妇之夫的她“腹背受敌”,一方面是洪融因此大闹上影厂,顿时人人瞋目扼腕,疾言喷喷口沸目赤,尤其是洪融,几度威胁潘虹要让她身败名裂,受到了惊吓的潘虹为了平息事端,为了保全自己的家庭,只好主动找洪融赔罪,这也就是她为什么要把自己的“不幸身世”告诉洪融、为什么要乞求洪融“同情她、可怜她”的真实原因。可是洪融还是没有放过潘虹,被视为“第三者”的也受到了厂里的严肃批评,潘虹只好和米家山离开上影厂;当然,妻子洪融的做法伤透了杨延晋的心,杨延晋不久与洪融离婚。这件事也或多或少地影响了潘虹与米家山之间的感情。