1944年春起，第四师兼淮北军区，在进行整风、开展大生产运动的同时，主动地有计划地对淮北路东地区．展开了局部反攻作战，巩固和扩大淮北路东抗日根据地。1944年，日军从徐州和淮海地区大量调兵，实施豫西和湘桂战役，第四师兼淮北军区为配合正面战场作战，在东自运河，西至津浦铁路，纵横数百里的战线上，在民兵和广大群众协助支援下，发起子为期50天的春季攻势。6月6日开始攻取海郑公路以南，濉河沿岸以张楼为中心的日伪据点。张楼是日伪军的占据长达6年之久的大据点。张楼战役前后历时36天，毙俘日伪军800多人。至此，第四师兼淮北军区，收得了宿县以东，灵璧、泗县以北和睢宁间的广大地区，控制了宿县至灵璧、泗县至宿县的公路，使淮北路东地区连成千片。

    1942年底，韩德勤率国民党鲁苏战区副总部和江苏省政府驻扎在淮安以东的车桥、曹甸、风谷村一带。所部有八十九军、独立六旅及东北军一一二师等部。1943年1月初，当韩德勤得悉日伪军即将对苏北发起大“扫荡”并可能“扫荡”他的防区时，急派代表到新四军三师联系，要求在敌人“扫荡”时，允许其部队转移到新四军防区修整，并向其开放物资运输。三师师长黄克诚根据军部指示精神，于1月7日致函韩德勤，表示了积极而诚恳的态度，并提议双方就具体问题进行谈判。1月24日，韩德勤派代表到三师，并给黄克诚写了亲笔信，表示愿积极合作。2月中旬，双方商定了《临时约定》。《临时约定》刚刚商定，日伪军即首先向韩德勤控制的地区发动了大“扫荡”。韩部在敌人进攻下损失严重。其三十三师大部被歼，三五一旅旅长吴漱泉被俘投敌，所部被敌改编，三四九旅和东北军一一二师等部向东转移至盐阜根据地。新四军三师恪守约定，掩护其撤退，并沿途供应粮秣。3月中旬，东北军一一二师听从新四军三师的劝告，经淮海、淮北两地，西撤津浦铁路以西地区。新四军三师、四师派部队沿途警戒护送，并组织根据地群众慰劳。后国民党第五战区苏鲁豫皖边区游击副总指挥兼第二路挺进军总指挥王仲廉乘日伪军“扫荡”淮北、苏北之机，派三个团越津浦铁路东进，日夜兼程，企图与韩德勤部会师于洪泽湖畔，建立新的反共基地。韩德勤以为时机到来，便背弃与新四军三师商定的《临时约定》，于3月14日率部偷渡运河，占据了淮北根据地的中心区金锁镇、山子头等地，对新四军四师及淮北根据地构成严重威胁。为打破其阴谋，经规劝韩部无效后，3月15日，新四军军部决定在王仲廉、韩德勤两军会师前，对韩德勤部予以打击。为此，新四军二师、三师各部配合第四师主力于3月17日夜发起山子头反顽战斗，生俘韩德勤以下官兵1000余人，击毙顽保三纵队司令王光夏和独立六旅旅长李仲寰。3月25日，陈毅亲临新四军四师师部驻地半城镇，主持与韩德勤的谈判及处理善后事宜。为了继续争取韩德勤与新四军合作抗战，阻止国民党援军再度东进，新四军方面作出重大让步，发还部分人枪，划定其活动地点。4月1日，陈毅、彭雪枫、邓子恢等人礼送韩德勤出境，让其到宿迁、睢宁之间的高作、凑城、邱集一带驻防，促其共同抗日。

    皖南事变发生以后，由于中国共产党实行军事上积极自卫、政治上全面反击的正确方针和斗争策略，使国民党顽固派的反共活动有所收敛，国共两党关系趋向缓和。但是，国民党顽固派消灭共产党的企图丝毫没有改变。为了实现其驱逐新四军至黄河以北地区和重新控制华中敌后的目的，蒋介石采取以第三、第五战区为后方基地，以韩德勤作内应的方针，不断派遣军队向华中各抗日根据地发起进攻，从而使1941年至1943年摩擦与反摩擦斗争呈现空前激烈的态势。江苏抗日军民遵照党中央的指示和各地的实际情况，对顽固派的进攻进行了有理、有利、有节的斗争。

    程道口战役是新四军在淮北程道口反击国民党顽固派军队进攻的重要战役。1941年8月，趁日伪军向新四军“扫荡”之际，国民党江苏省政府主席韩德勤调集保安第三纵队，先后侵占了江苏省泗阳县西北的程道口、史集、仰化集一带．并在程道口建筑了坚固工事；国民党第一一七师第三四九旅第六九七、第六九八两个团，侵占了淮阴、涟水的新渡口、张官荡、大兴庄一带，企图以程道口为中心，控制运河两岸，构成一道横贯淮北、淮海抗日根据地的东西走廊，继续向根据地中心区推进，并接应第三十一集团军汤恩伯部东进苏北制造摩擦。新四军决心争取战略先着，恢复运河两岸，粉碎国民党军东进反共的企图。在陈毅亲自指挥下，军部抽调第二师、第三师、第四师各一部和独立旅共7个团．于10月14日完成了对程道口的包围。15日至18日，攻克史集、张庄、大兴庄等外围据点。20日下午5时开始总攻，各部密切配合，至21日下午8时半攻克程道口。

    战后，新四军参战部队乘胜扩大战果，横扫运河沿线及淮海、邳睢铜等地的反共顽固势力。十旅二十九团北进东灌沭地区，在地方武装配合下打击顽军徐继泰部，迫使其停止对淮海根据地中心区的进犯。苏北抗日军民进一步掌握了反顽斗争的主动权。

    33天反“扫荡”之后，日伪军放弃了对淮北根据地进行大规模“扫荡”的策略，转而采取小规模的“扫荡”与伪化并举的策略，企图达到扩大伪化区，摧毁根据地的目的。为打破日伪军的蚕食、伪化，第四师积极制定了对敌斗争的作战方针，着重于反蚕食斗争，在军事上以地方武装与敌纠缠，主力部队机动突击，有计划、有步骤地向敌占区推进，向敌人占领区游击，以攻为守，坚决拔除敌人新安的据点，不让敌人安一个据点，多修一条公路。加强日伪军工作，对日伪军展开政治攻势，切实执行优待俘虏政策，设法控制两面派，积极争取同情者，分化日伪，孤立敌人。同时加强对敌占区工作。在泗宿公路沿线，1943年2月，第九旅第二十五团主力在泗北归仁集以南设伏，将200多名日伪军诱入伏击圈，将其大半消灭。3月攻克罗圩子据点，全歼守敌，此外，主力部队和民兵还拔除了苏圩、董圩等据点，迫使敌人退守几个孤立据点，不敢轻举妄动。在淮泗地区，第四师骑兵团袭击驻三棵树的伪军自卫队，先后攻下南圩、北圩，全歼伪军。继之，顺河集、陈集、林桥等据点也被拔除，在邳睢铜地区，1943年8月，第三军分区第一、第三支队在县、区、乡自卫队以及民兵的协助下，发起了围攻叶场的战斗。在首日强攻不利的情况下，实施围困策略，并辅以政治攻势和心理战，发动广大军民从四面八方向叶场据点挖堑壕，把伪军团团围住，并向圩壕内丢死狗、死猫，污染水源。在围攻的第2、第3天，分别打退增援伪军。经过6天的围困，日伪军陷入粮尽水绝、外援无望的境地，不得不放下武器投降。叶场围攻战是邳睢铜抗日根据地能够获得巩固和发展的关键战斗，是根据地地方武装和民兵抗战的成功范例。

    1940年11月，日伪军乘八路军第五纵队东进苏北，皖东北兵力薄弱时，大举“扫荡”皖东北，到1941年1月皖东北大部被日伪军占领。新军部重建后，决定第三师第九旅负责恢复与巩固皖东北根据地，第九旅在攻克青阳，连续作战40余天，基本上恢复了皖东北根据地的中心区。1941年8月7日，华中局决定，皖东北地区、淮宝地区，划为第四师活动地区。陇海铁路路南、运河西、淮河北，津浦铁路铜山、蚌埠、凤阳段东侧均归第四师军政委员会领导。这一地区即为淮北抗日根据地。

    第四师进入淮北地区后，日军惶恐不安。1942年11月中旬，日伪军7000余人向淮北根据地发起大“扫荡”，敌人的作战方针是以半城和青阳为中心目标进行大规模的分进合击；其次又以泗宿、泗南、泗阳、淮泗、淮宝等地集镇为重点进行“扫荡”和抢掠。新四军第四师事先已作了充分的准备，主力部队及时跳出敌之合击圈，同时，以地方武装为主，就地坚持，与敌纠缠。敌人合击青阳、半城、双沟、洋河等地的行动均告扑空，因人力物力消耗巨大，不得不退回泗县休整。

    11月23日，日军再次以5000兵力全线出动，反复“扫荡”，到11月29月，仍然找不到新四军主力部队及地方党政机关。于是敌人在打通泗宿公路以后，在“扫荡”地区增设大批据点，实行分割、封锁，然后不时对抗日根据地进行奔袭、合击和抢掠。此时，新四军第四师开始对分散的敌人实施反击。敌人在连遭打击之后，被迫从中心据点撤退，新四军第四师主力分路追击敌人，直逼泗县城下。

    至此，淮北抗日军民在33天反“扫荡”中共进行大小战斗37次，终于粉碎了日伪对淮北根据地发动的规模最大的“扫荡”。

    在新四军第一、第三师的局部反攻下，日伪在苏北、苏中的统治区越来越小，当地伪军逃跑投诚新四军的越来越多。为此，日伪将原驻河南省的伪第二方面军孙良诚部调来苏北地区，以图强化其统治区。1945年1月，第八旅和盐阜军分区地方武装及民兵，以阻击、出击、伏击等形式，积极主动打击出扰之孙伪部。至4月，共歼日伪军近600人，攻克据点10余处，挫败了孙伪扩大“伪化”区的企图，基本上保持了盐阜根据地。经过阻击孙伪南下和反“伪化”斗争，苏北战场的主动权已经掌握在新四军手中，为了进一步发展胜利，扩大解放区，第三师在苏北打了一个大歼灭战。1945年4月24日至26日，新四军第三师第八旅和第十旅以及地方武装11个团，在师参谋长洪学智指挥下发起阜宁战役，攻克盐阜根据地中心阜宁县城及施庄、沟墩、草堰口等据点，收复村庄560余个，切断了通榆公路。这是苏北根据地解放的第一座县城，使阜宁、盐东、阜东、射阳全部解放。

    1944年春，新四军第三师师长黄克诚决定在盐阜区展开以粉碎日伪经济封锁，扩展沿海解放区、夺取盐棉基地为目的的攻势作战。同年4月，新四军第三师第八旅首先向日军盘踞的陈家港发起了战斗，在第三师副师长兼第八旅旅长张爱萍指挥下，全歼陈家港敌。陈家港战斗的胜利，解放了广大熬盐灶民，打击了对苏北的经济封锁和盐棉资源掠夺的日伪，解决了苏北军民的盐荒。6月，第七旅主力和射阳、建阳、盐东、阜东独立团及区队武装，发起海边战役，消灭合顺昌、合德镇一带的日伪军，夺取产棉基地。9月，拔除日伪的核心据点合德镇。经过5个月的扩大沿海解放区的攻势作战，盐阜根据地军民解放了灌河以南、射阳河以北的濒海地区，粉碎了日伪军对盐阜根据地经济封锁，摧毁了日伪掠夺的大量盐棉战略物资，同时将日伪军压缩在射阳河沿岸的合德镇、通洋港、陈家洋、海河镇一线的狭长地带，使之不敢轻举妄动。

    进入1944年，国际反法西斯战争取得节节胜利，日军在太平洋战场连遭惨败，不得不从中国华北、华中抽兵南援，但仍依托陇海铁路和公路、河流等交通干线，对苏北实行军事、经济封锁，在根据地中安设坚固据点。新四军第三师乘日军南调之机，主动出击，发起了一连串的攻势作战。为配合新四军第一师的车桥战役，1944年3月上旬，第三师以一个团的兵力攻克朱圩子据点，保障了第一师作战部队北面侧后的安全。接着连续收复十余处日伪军据点，切断了沭淮公路，肃清了六塘河沿岸的日伪军。在对敌人的反攻作战中，以淮海地区的高沟、杨口战役和盐阜地区的陈家港战斗影响最大。高沟、杨口是南新安镇敌人伸向西南方向的中心据点，也是淮海根据地内最大的市镇。伪军以此为依托，不断向四周“蚕食”，伪化面积达40平方公里，控制人口近8万，对淮海根据地构成严重威胁。为扩大淮海解放区，打通淮海、盐阜两区交通线，并配合淮北反伪化斗争，第三师兼苏北军区于4月19日至5月4日，攻克高沟、杨口等伪军据点14处，六塘河两岸地区全部光复，解放人口8万余，使长期被分割的淮海、盐阜两块根据地基本连成一片。

    此外较大规模的战斗还有单家港战斗、陈集战斗、八滩战斗等。在此期间，还发生一起海上遭遇战。1943年3月16日，新四军第三师参谋长彭雄、第八旅旅长田守尧等率50余名干部、战士，从阜宁县八滩乘海船往山东转道赴延安学习。17日晨，行至连云港附近海面时遭遇日军巡逻艇，双方展开血战。战斗从早晨至晚上，击毙艇上日军和汉奸6人，击伤6人。彭雄、田守尧等牺牲。苏北军民粉碎了日伪军的第三次大“扫荡”，并乘反“扫荡”胜利之威，积极发动攻势，扩大反“扫荡”战果，盐阜区、淮海区抗日根据地的面积基本上恢复到大“扫荡”以前的状况。

    1942年11月、1943年2月，日伪军又对苏北发动了第二次、第三次大“扫荡”。其中第三次“扫荡”计划是由日本中国派遣军总司令部拟定，抽调日伪军2万余人。新四军第三师遵照军部指示，确定副师长兼第八旅旅长张爱萍率第八旅、第七旅第二十一团及盐阜独立团共5个主力团，在地方武装配合下，坚持在盐阜区内线作战；黄克诚率师直属分队及地方党政机关转移至盐城东部与苏中交界地区指挥反“扫荡”作战；第七旅主力和第十旅在淮海地区积极打击敌人，策应内线作战。在敌“扫荡”初期，各地留少数兵力在原地坚持，以麻雀战术与敌周旋；主力分散隐蔽，避免与敌决战，但不放松寻求有利时机给敌以打击。待战机有利时，则集中兵力进行反击。这次反“扫荡”，新四军取得了一个又一个胜利，其中规模较大的战斗有：刘老庄战斗。1943年3月16日，日军步骑兵3000余人，分11路突然合击在淮阴县六塘河沿岸一带的淮海抗日根据地党政领导机关，企图一举摧毁。为掩护领导机关和主力部队转移，新四军第三师第七旅第十九团第二营第四连主动在刘老庄阻击敌人。18日，第四连先后打退敌5次冲锋，毙伤日军170余人。最后弹尽援绝，与敌进行白刃格斗，全连82人全部牺牲。战后，新四军第三师命名第四连为“刘老庄连”。