赵雅芝的爸爸是商人,妈妈是典型的家庭主妇。赵雅芝在家排行老四。儿时的赵雅芝很调皮,经常和男孩子一起爬树捉鸟玩耍打闹。每到吃晚饭,总要妈妈在门口喊几下,赵雅芝才肯跟玩耍的伙伴说拜拜,回家乖乖吃饭。
1971年,17岁的赵雅芝毕业于香港天主教崇德中学,毕业那年,正赶上日本航空公司在香港招聘空中小姐,梦想环游世界的赵雅芝便去面试。最后如愿当上了从香港飞至日本的航班飞机上的一名空中小姐。之后赵雅芝所在的航班转为长途,由香港飞至加拿大。因为厌倦了做“空中飞人”的日子,两年后,赵雅芝正式辞去航空公司的工作。而当时正巧香港无线电视台派人来找她作节目主持人,于是赵雅芝便开始专心向娱乐圈发展。