电影《新大小不良》发生在四十年代，讲述了年轻的丘子洪（由张卫健饰演）前往上海寻求事业发展的故事。在上海，他结识了君和川两位朋友，随后前往拜访同乡的勇兄妹，开始筹划未来的打算。

然而，上海的黑帮势力斧头帮的金九笔和歌星莉之间的冲突，卷入了丘子洪，引发了一系列恶斗。姜老大领导的金河帮也介入了这场冲突，最终导致了杜老大的死亡。洪被警察局长康介绍到姜的赌场，由于出色的表现，后来成为金河帮的要角。然而，随着川的遇害，康协助洪杀掉金九笔，但这也使得姜和洪之间的关系急剧恶化。

局势更加复杂，而康实际上是有野心的，他想要掌控上海，背后操纵着各种势力。最后，勇和洪等人被金河帮追杀，而姜的手下元武誓言要杀掉洪和勇。洪意识到背后操纵者康的阴谋，他誓言为勇报仇，为了正义和自己的生存，与康展开了殊死搏斗。