1940年代的上海正值社會動蕩、黑幫橫行的時期，其中鱷魚幫與斧頭幫兩大黑幫最為猖狂，於上海欺行霸市。某日，斧頭幫終於消滅對手鱷魚幫，奪下其所有財富和權力，且收買當地警察逃脫指控。一名默默無聞的街頭混混阿星整日夢想成為黑幫人物，但意志不堅、無所作為不被他人看好，只好與最好同伴排骨冒充斧頭幫，跑到黑幫無暇顧及的貧民窟「豬籠城寨」敲詐錢財。不料，城寨的老百姓都身懷絕技，阿星敲詐不成反被村民暴打一通，恰好斧頭幫路過城寨門口，副首領被阿星的假斧頭幫信號鞭炮炸傷，阿星把此事嫁禍城寨村民。幫眾隨即進入城寨尋事打鬥，然而三名隱居在城寨裡的武功高手，分別以十二路譚腿、洪家鐵線拳、五郎八卦棍三大功夫出手相救，使斧頭幫全員大挫銳氣、大失顏面之下敗陣而退。
斧頭幫因慘敗而準備找阿星和排骨出氣時，阿星由於身懷神速開鎖絕技而被斧頭幫首領琛哥寬恕，同時給予證明實力的機會。兩人回街上計劃回去對付滿是功夫高手的城寨，過程讓阿星回想起自己童年時，曾經花十塊錢在一名騙錢乞丐手上買過一本名為《如來神掌》的「失傳武功秘笈」而開始習武，一日試圖見義勇為而解救一位受人欺負、不能說話的小女孩，但學到的武功不但沒奏效，反而被他們擊倒並侮辱一番，甚至被告知自己買的秘笈才值兩分錢。啞女欲把手中的棒棒糖送給阿星作為答謝，但阿星覺得深受侮辱而哭著離去，自暴自棄的他認為做壞人才能出人頭地。
斧頭幫仍不打算放過城寨，請來一對以暗殺聞名的琴魔兄弟前去剷除城寨中的三名武功高手。當時三名高手剛好因違反「禁武令」而被勒令搬離此地，但離開時，其中一名高手苦力強在離開的路途中遭到天殘以琴音斬首，而另外兩名高手則是在與琴魔兄弟的激戰中分別遭遇他們倆彈奏古琴發出音波攻擊，最終敵不過對方而重傷，雖被包租公和包租婆救，但奄奄一息的他們最終傷重慘死。然而，城寨的包租公和包租婆夫妻倆終於忍無可忍，露出神鵰俠侶的真正身份以及暗藏已久的太極拳和獅吼功兩大功夫，不但將琴魔兄弟打得落花流水、武功盡失之下狼狽逃走，並威脅在一邊看戲的琛哥不准再來鬧事。夫妻倆對村民坦白隱瞞身份只是想安享晚年，雖然替三大英雄報仇雪恨，但也命令全村人為了自身安全而儘快遷離。
死性不改的斧頭幫從琴魔兄弟口中得知武術殺手排行第一、有「終極殺人王」之稱的火雲邪神之存在，便拉攏阿星並活用他的高超開鎖技巧，將邪神從精神病院中釋放出來。包租公和包租婆也恰巧前來找斧頭幫算賬，而看似年老的火雲邪神不負斧頭幫所期望，靠壓倒性實力、以一敵二擊倒包租公和包租婆。就在夫妻二人情況危急之際，良心未泯的阿星在關鍵時候叛離斧頭幫、救出包租公和包租婆，卻也導致自己被火雲邪神痛打個半死不活。包租婆和包租公趁亂救走阿星後撤回城寨，目標逃跑使火雲邪神震怒之下，一拳將琛哥的脖子打扭致死。然而，火雲邪神的幾拳碰巧打通阿星的任督二脈，加上阿星年幼時練習的如來神掌功夫，讓阿星脫胎換骨、迅速復原傷勢，並覺醒震撼無比的武功。
火雲邪神率領斧頭幫全員前往城寨尋人，康復後的阿星及時出現，斧頭幫全員也群起而攻之。然而阿星單槍匹馬、展現強大武功直接讓斧頭幫全軍覆沒，接著隨即與火雲邪神展開最終決戰。雖然一度因火雲邪神的蛤蟆功一籌莫展，但卻在關鍵時刻使出失傳的「如來神掌」讓他無法還擊，並拿走其暗器「蓮花毒箭」，將其變為竹蜻蜓般飛至天空，火雲邪神最後也無計可施，在阿星面前下跪認輸。一陣子後，阿星找回排骨一起開一家糖果店，而他小時候遇見的啞女推著冰淇淋車出現在店門口，和阿星再次相遇後，兩人一起進去分享糖果與童年回憶。而阿星童年時遇見的乞丐，正在店旁邊將好幾本失傳武功秘笈騙賣給另外一個小孩[註 1]，啟發這位小孩的「功夫夢」。