吴彦祖出生于加利福尼亚州伯克利,并在奥林达长大。当他看到李连杰主演的少林寺电影后,对武术产生了兴趣。11岁时,吴彦祖便拜一名北京艺人为师,擅长枪和棍。1995年时,还专程飞到北京修习武术。
吴彦祖在加州奥克兰海德劳斯莱斯学校上学,后来又进入美国俄勒冈大学攻读建筑系,1993年首次得到建筑副修奖学金。1994年,赢得California Martial Art Competitions的亚军,并在美国西岸被排名第二位。他成立了俄勒冈大学中国武术学会,并成为第一任教练,收了二十几个徒弟,一共教了五年。同年,随师父到北京什刹海武校参加集训,获得了北京国际武术比赛长拳组第五名,太极拳组第六名。