幕后制作创作制片方长城公司起初邀请了香港导演陈文担任导演,拍摄季节是冬天,场景灰暗,陈文又启用了大量来自河南京剧团的演员进行拍摄,效果不佳。于是,请出张鑫炎来救场。此时《少林寺》的拍摄经费已经花掉了40万港元,但张鑫炎进组之后,却决定将此前的拍摄全部推翻,原剧本是正剧风格,他改为轻喜剧,原来的主演是长城公司的吴刚以及京剧演员,他决定由内地的武术精英出演,并在国家体协的协助下,从七个省选出了全部演员,冬天的场景,所呈现出的视觉效果太萧瑟,他就决定等到春天再开始拍摄。于是最终形成我们看到的那个故事。角色为了使武侠片表现出质朴的诗意,导演四处寻找武术家。1972年,张鑫炎在拍摄纪录片《万紫千红》时,认识了自幼习武的李连杰。1980年,17岁的李连杰得到张鑫炎的邀请,进入《少林寺》剧组。扮演师傅的于海在五十年代就是一名武术运动员;扮演秃鹰的计春华从浙江省武术队退役后,回队找队友,被前来选演员的张鑫炎看中;扮演王仁则的于承惠在十九岁时获得青岛武术全能冠军,后在山东某机械厂担任起重工,凭借一套棍术被《少林寺》剧组看中,成为大反派王仁则的不二人选。女主角白无瑕的扮演者丁岚,也是有武术功底的。当时她在北京电影制片厂演员剧团,被前去挑选演员的张鑫炎看中,因此成为这部和尚戏的女主角。场景当时的少林寺在拍摄时还很荒凉。据孙剑魁回忆,第一次来到少林寺时,山上的荒草有一米之高,而且根本就没有路。寺里只有几个老掉牙的和尚,泥菩萨的身体已经坍塌了一半。电影中的少林寺,其实是由几个庙宇的景观组装而成的。匾上“少林寺”三个字都是经过重新粉刷的,片中那段绿树环绕、青草茵茵的室外练功场所是在附近的中岳庙和杭州的“花岗观鱼”拍摄的。