1931年底,在舞会上维维安认识了年长她13岁的律师赫伯特·利·霍尔曼,维维安同意了他的求婚,并于1932年12月20日结婚,维维安也因此而辍学。
1940年2月,吉尔·埃斯蒙德同意与奥利弗离婚,而霍尔曼也同意与费雯·丽分手,后来他们保持了一生的友谊。8月30日,奥利弗和费雯·丽在圣巴巴拉结婚,只有证婚人凯瑟琳·赫本和加森·卡宁参加了仪式。
1960年,费雯·丽和奥利弗离婚,之后奥利弗与琼·普洛莱特结婚。在他的自传中提到了这些年两人遇到的问题是因为费雯·丽的疾病。费雯·丽和奥利弗离婚后,与约翰·梅里韦尔走到了一起。