1944年7月，为了迎接全面反攻的到来和对付可能的国内突然事变，中共中央向全军颁发了关于整训部队的指示。新四军第二师兼淮南军区，在扩大兵员的同时，于1944年冬至1945年春，利用路东比较安定的有利条件，集中主力于路西，开展轰轰烈烈的军政训练运动。同时广泛发动群众性的参军活动。当华中日军初显疲势时，淮南军民不失时机地开展攻势，进行了局部反攻。1944年春，新四军第二师和地方部队先后攻击日伪据点38个。11月，日军又兵分7路再次“扫荡”路西根据地。新四军第四、第五旅和路西军分区部队在谭震林指挥下，与敌激战7昼夜，日伪遭重创后被迫撤离。12月，来六支队在六合县城北羊山头，伏击前往程桥换防的日军1个小队和伪首都警卫3师1个营，共计毙伤日伪军120余人，俘伪营长以下173人，创造了淮南路东地方部队一次歼伪军一个营的先例。

    1944年12月15日，毛泽东就1945年的斗争任务号召各解放区军民向日伪守备薄弱的地方进攻，消灭敌伪，扩大解放区，缩小沦陷区。淮南军民从1945年起，加强了攻势作战，收复失地。1945年2月，新四军第二师顽强反击进犯路东高邮湖金沟地区的日军。经过两个月大小24次激战；毙伤日伪军少佐以下260余人，俘日伪军529人。6月，路东军分区独立第四团攻克六合县东沟镇伪军据点，全歼伪警卫第三师1个营．大大震动了南京日伪军。在举行军事反攻的同时，对日伪军展开广泛的政治攻势。1945年2月，驻津浦铁路三界站的伪军大队长王占鳌整率部反正，被改编为嘉山抗日铁路大队。至1945年9月抗战结束时，新四军第二师兼淮南军区已有主力3.3万多人和地方武装1.4万人。