1940年11月，日伪军乘八路军第五纵队东进苏北，皖东北兵力薄弱时，大举“扫荡”皖东北，到1941年1月皖东北大部被日伪军占领。新军部重建后，决定第三师第九旅负责恢复与巩固皖东北根据地，第九旅在攻克青阳，连续作战40余天，基本上恢复了皖东北根据地的中心区。1941年8月7日，华中局决定，皖东北地区、淮宝地区，划为第四师活动地区。陇海铁路路南、运河西、淮河北，津浦铁路铜山、蚌埠、凤阳段东侧均归第四师军政委员会领导。这一地区即为淮北抗日根据地。

    第四师进入淮北地区后，日军惶恐不安。1942年11月中旬，日伪军7000余人向淮北根据地发起大“扫荡”，敌人的作战方针是以半城和青阳为中心目标进行大规模的分进合击；其次又以泗宿、泗南、泗阳、淮泗、淮宝等地集镇为重点进行“扫荡”和抢掠。新四军第四师事先已作了充分的准备，主力部队及时跳出敌之合击圈，同时，以地方武装为主，就地坚持，与敌纠缠。敌人合击青阳、半城、双沟、洋河等地的行动均告扑空，因人力物力消耗巨大，不得不退回泗县休整。

    11月23日，日军再次以5000兵力全线出动，反复“扫荡”，到11月29月，仍然找不到新四军主力部队及地方党政机关。于是敌人在打通泗宿公路以后，在“扫荡”地区增设大批据点，实行分割、封锁，然后不时对抗日根据地进行奔袭、合击和抢掠。此时，新四军第四师开始对分散的敌人实施反击。敌人在连遭打击之后，被迫从中心据点撤退，新四军第四师主力分路追击敌人，直逼泗县城下。

    至此，淮北抗日军民在33天反“扫荡”中共进行大小战斗37次，终于粉碎了日伪对淮北根据地发动的规模最大的“扫荡”。