它源自嵩山少室山下的丛林中的少林寺，这座寺庙在北魏孝文帝时期便已建立。最初，由西域高僧跋陀所建，以供他居住和传教。后来，达摩大师面壁于此，历时九年而功成，并传授《易筋》、《洗髓》二经，创立了禅宗。

然而，关于少林武术的起源，则是一段曲折的历史。在隋末天下大乱之际，一场大火将整座寺院化为灰烬。在恢复后的唐代，一群武僧以超群的技艺活捉王仁则、逼降王世充，为中国佛教禅宗赢得了荣誉。而随着时间的推移，南北朝时期就已经有了练武风气，因此，可以说少林武术并非单一个人的创作，而是在长时间内由僧众习武中逐渐形成。

宋太祖赵匡胤据说也是少林俗家，从宋到元，这门派获得了较大的发展。元代，大圣紧那罗王传授棍法而自成一宗，而福裕禅师汇集短打，使得特点日渐突出。此后，在明代，便以“搏名天下”著称，有觉远上人、小山和尚、月空和尚等著名高手。

清代，因反清义士藏匿而焚毁，并严禁民间练武，但转入地下状态，最终形成洪门。而到了现代，我们仍然可以看到其影响深远，它不仅仅是嵩山少室山下的一个小村庄，更是汉族外家功夫的一个重要组成部分之一。