1937年8月，中共中央政治局在陕北洛川召开扩大会议，确定了全面抗战的路线和坚持共产党的领导，建立敌后根据地，发动游击战争，配合正面战场的指导方针。为了贯彻洛川会议精神，武汉党组织派陶铸等党的领导干部深入鄂中及大洪山地区开展抗日工作，为后来开辟随南白兆山根据地作准备。

　　1938年8月，陶铸带领汤池训练班的9名学员，勘察大洪山地形。随南白兆山是大洪山伸向东南的余脉，地跨随县、安陆、京山、应山四县，方圆千里，地势险峻。南进可扼汉襄通道，北向可直驱中州，东可扼制平汉线，西北与大洪山相连，是开展武汉外围敌后抗日游击战争的理想阵地。之后，鄂中特委将“汤池临时学校”迁往随南贺氏祠堂，培训了一批抗日青年。后来陶铸以国共合作组织——抗敌工作委员会顾问的身份在随南长岗店熊氏祠堂开办了一所军政游击干部训练班，为开辟随南根据地准备干部。

　　1939年2月16日，李先念在陶铸、许子威的陪同下，到随南均川镇杨氏祠堂同第五战区全权代表石毓灵谈判，取得我军进入鄂中、随南的合法性。

　　1939年11月，蒋介石在华中地区发动了第一次反共高潮。由于顽我力量悬殊，新四军鄂豫挺进纵队在大、小悟山反“围剿”战斗打得十分艰苦。1940年5月8日，刘少奇同志电示纵队：“在京、应、安陆的部队亦应依据敌情的变化，积极向大洪山随南一带发展”。6月7日，刘少奇再次电示纵队：“大悟山既不能守，当以不固守为宜……主要发展方向应暂向路西，因襄樊、宜昌已失守，路西很有发展希望”。于是，李先念率纵队主力挥戈西进，打响了开辟随南白兆山根据地的一系列战斗。

　　围山战斗。6月14日拂晓，一团迅速将孔家湾、杨家湾顽军据点分割包围，歼其大部，残部向软脚岭方向溃逃。二、八团一举拿下围山，继而攻克洛阳店。此战活捉顽军团长杨弼卿，毙俘敌官兵500余人，缴获各种枪支468支。

　　软脚岭战斗。6月18日，李先念率一团乘胜追击，逼近软脚岭。顽军队长严叔端与我军有统战关系，深明抗日大义，遂率支队100余人枪反正。

　　平坝战斗。6月21日，李先念坐阵随南方家湾，指挥一、二团进攻平坝，全歼伪军丁巨川、谢占奎两部，缴获各种枪支214支和大量的军用物资。

　　开辟随南白兆山战役全线胜利，宣告根据地的创立。纵队司、政两部及其直属单位——第一野战医院、抗大十分校、兵工厂、被服厂、挻进报社编辑部、印刷厂等，相继进驻随南白兆山中心地区洛阳九口堰一带。九口堰成了鄂豫边区的指挥中枢。1940年6月20日，根据地各界代表于洛阳店怡和楼民主选举成立了随南军政联合办事处，行使地方政府权力。

　　随南白兆山根据地长期孤悬敌后,处于敌、伪、顽夹击之中。但根据地党组织和军队坚定执行我党的正确路线，高举抗日大旗，团结一切可以团结的力量，独立自主地开展抗日游击战争，得到广大民众的支持。“竹沟事件”前，纵队才几百人枪，驻进九口堰不久发展到10个团，成为1.2万余人枪的主力兵团。

　　由于迅速扩军，部队成分复杂，军阀作风、纪律松弛、分散主义等非无产阶级思想在党内、军内泛滥，使我军的政治素质和军事素质受到严重影响。1940年8月1日，鄂豫边区党委和纵队司、政两部在九口堰联合召开了军政干部大会。通过20多天的学习和讨论，对部队内存在的各种问题进行了严厉的批评。大会一致通过了关于加强学习的决定。会后，部队迅速掀起了学习的高潮，指战员的政治觉悟和思想觉悟有了显著的提高，战斗力也大大增强。这次军政大会为五师的诞生奠定了坚实的基础，她是五师发展壮大的里程碑。

　　皖南事变后，中共中央军事委员会发布了重建新四军军部的命令。1941年1月28日，新四军新军部在苏北盐城成立，将全军扩编为7个师。豫鄂挺进纵队改编为第五师，任命李先念为师长兼政治委员，任质斌为政治部主任，刘少卿为参谋长。经过两个多月的筹备，1.6万余人的部队整编完毕，组成三个旅，两个纵队。4月5日，五师全体将领于洛阳店九口堰通电就职。4月10日，五师领导机关、驻白兆山的第十三旅和第一纵队指战员，在九口堰孙家大湾前河滩上召开了整编誓师大会。分散在京山、安陆、大悟等地的第五师下属部队，也同时举行了誓师大会。

　　从此以后的三年时间里，五师以随南白兆山九口堰为指挥中枢和后方基地，胜利地开展了敌后抗日游击战争和反击顽军三次“围剿”的斗争。

　　随南白兆山根据地的建立，牵制了日军西犯，也是顽军东窜“清剿”的障碍，敌伪顽视为心头之患。为了拔除卡在他们喉咙里的骨头，日伪的“扫荡”、顽军的“清剿”一次接一次。根据地广大军民进行了自卫反击战斗，粉碎了敌顽夹击，保卫了根据地。

　　坪坝是随南白兆山根据地的南大门。日寇从1940年7月10日起，先后三次进犯坪坝，企图重建坪坝据点。为了粉碎敌人阴谋，五师胜利地进行了三次保卫战。经三次打击，敌人放弃重占坪坝的企图。

　　顽新二军暂十五师盘踞刘店。1月27日李先念指挥我军二、三、十团及地方武装，以三团主攻，二团及地方武装配合，十团打援，对刘店之敌给以痛击。连续攻下青林寨、白莲寨、天宝山、火烧寨、龙耳山等顽军阵地，直取刘店街，歼灭新二军一个团大部，击溃第六纵队的两个支队，顽军气焰大挫。

　　为阻止顽军的“围剿”，师部决定给反共最坚决的暂一师以打击。1942年6月5日，我十三旅和十五旅一部反击进占随南圣场的顽军暂一师。经激烈巷战，收复圣场，全歼顽军暂一师第二团第三营，转而进攻流石坡、牛皮坡一线，给顽军重大打击后，于6日临晨撤出战斗，转移至坪坝以南山地休整。