1981年的時候，當時著名導演張鑫炎準備拍攝一部叫作《少林寺》的功夫片，張鑫炎將這部戲由正劇改為輕喜劇，就是在電影中加入了一些喜劇元素。

為了強化這部電影少林功夫的觀賞性，張鑫炎堅持啟用真正的武術運動員，而非那些只會演戲不會功夫的演員，當時就從七個省選拔出了24名武術精英，這其中就包括鼎鼎大名的李連杰，1971，李連杰年被吳彬教練選中學習武術，9歲獲國家級武術比賽杰出獎，還參加泛亞非拉美乒乓球錦標賽開幕式表演。1974年，李連杰出訪美國，1975年，李連杰獲全運會武術套路比賽全能冠軍，1979年，李連杰獲五枚金牌，被授予特等功。

其實，張鑫炎早在1972年的時候，就注意到了武術冠軍李連杰，到了1980年拍攝《少林寺》的時候，張鑫炎就指定要李連杰來演主角。李連杰在《少林寺》中飾演大的覺遠，可以說是武術高強，他的武術融合了北派長拳的剛猛和少林拳的沉穩，尤其是戲中的標志性“旋子轉體360度劈叉”成為動作經典。

這部影片的80％的鏡頭是在河南嵩山少林寺實地拍攝的，為了呈現少林寺的盛景，劇組還到浙江天臺山、杭州花港觀魚等地補拍，如戲中“挑水不用擔”的鏡頭就是在石梁瀑布取景拍攝的，而覺遠受戒的場景，則是在國清寺取景拍攝。

這部電影的主題曲是由作曲家王立平出創作，為了貼近香港觀眾審美，他放棄了豫劇風格，以河南民歌為基調創作了《牧羊曲》，歌手鄭緒嵐的演唱將俠義豪情和兒女柔情完美融合，成為一代人經典回憶。

這部電影擯棄了傳統武俠片的戲曲化套路，首次將競技武術的高難度動作，如側空翻、旋風腳融入電影，長創了“真功夫”電影的先河，李連杰的“地躺拳”和于承惠的“雙手劍”成為教科書級別的示范。

當時在這部戲中，著名演員丁嵐也客串了一個牧羊女的角色，丁嵐自小喜歡音樂和舞蹈，9歲開始學習小提琴，訓練舞蹈基本功。11歲考入河南省歌舞團舞蹈訓練班，1 2歲考入河南省戲曲學校演員班，在校期間，排演了《紅燈記》、《借傘》、《打金枝》等多部豫劇，均擔任主角。1981年，丁嵐從學校畢業，被分配到河南省話劇團，后調入北京電影制片廠演員劇團。丁嵐和李連杰在戲中有精彩互動，當時許多人都覺得丁嵐和李連杰很般配。

丁嵐在一次節目采訪的時候，談到李連杰的時候就說：“李連杰在武術方面是非常優秀的，我是學過表演戲曲的，我認為，李連杰是優秀里面最優秀的。”