许绍雄家族就是当年的广州第一望族许氏家族。晚清时,许绍雄太公是清朝礼部尚书许应癸,慈禧太后的干儿子,官拜一品,获赐可在宫中骑马。叔公是当年协助蒋介石创办黄埔军校的广东军区总司令许崇智,鲁迅夫人许广平是他的叔婆。许家最鼎盛时,曾占据广州最繁华的路段几千平米,一个花岗石门梁都是花800两白银买回来。
许绍雄父亲那辈虽是家族旁系,都得庇荫有不少积蓄。许绍雄小时候就是太子爷,家里经营玉石店,换句话说,就是卖珠宝的。其家族亲戚还有现在香港被称四大豪门之一的许家,就是跟李嘉欣结婚那位公子哥许晋亨家。许绍雄当年在丽的演戏时都打算在香港买豪宅结婚,但最终患上婚前忧郁症,临阵退缩错过结婚良机。