因为家穷,许冠文的童年时代过得艰苦,一家人落脚在没水没电供应的钻石山木屋区,他形容贫穷得“为两餐什么都肯”。他说道:“我没有humor(幽默感),由小至大也是如此,我好严肃,不明白其他人为什么认为我好笑。”就读喇沙书院的许冠文,读中二时便去夜校兼职教英文。中学毕业后,许冠文念了一年师范,教了三年中学,储够钱再去念中文大学,大学时兼职做电视台及教夜校。许冠文与妻子郑洁英育有一儿一女。儿子许思维,自2003年移居北京,已经在内地创业,成立多家连锁店品牌,拥有多家甜品果汁店。并于2006年9月16日,迎娶相恋8年的女友陈洁萌。女儿许思行,于2006年4月8日,出阁下嫁一位圈外生意人谢汉杰。自1982年获奖之后,许冠文又陆续拿了六次金像奖影帝提名,优秀演员的地位得到广泛公认。