赵雅芝的爸爸是商人,妈妈是典型的家庭主妇。赵雅芝在家排行老四。儿时的赵雅芝很调皮,经常和男孩子一起爬树捉鸟玩耍打闹。每到吃晚饭,总要妈妈在门口喊几下,赵雅芝才肯跟玩耍的伙伴说拜拜,回家乖乖吃饭。
1971年,17岁的赵雅芝毕业于香港天主教崇德中学,毕业那年,正赶上日本航空公司在香港招聘空中小姐,梦想环游世界的赵雅芝便去面试。最后如愿当上了从香港飞至日本的航班飞机上的一名空中小姐。之后赵雅芝所在的航班转为长途,由香港飞至加拿大。因为厌倦了做“空中飞人”的日子,两年后,赵雅芝正式辞去航空公司的工作。而当时正巧香港无线电视台派人来找她作节目主持人,于是赵雅芝便开始专心向娱乐圈发展。1973年,香港无线电视台选举首届“香港小姐”,共选出五位,标准是“美貌与智慧”并重。19岁美丽婉约的赵雅芝在妈妈当提名人的支持下,参加了竞选。 经过紧张激烈的角逐,阿芝最终获得了这届“港姐”竞选的殿军。