在淮南津浦路东地区，第五支队以半塔为中心，迅速实施战略展开。同时大力发展抗日武装，加强统战工作，广泛开展游击战争，初步打开了路东抗战的局面。由于津浦路东抗日游击根据地既邻近日伪统治中心南京，又处于侵华日军的战略支点扬州、蚌埠之间，因而日军时时想消灭或驱新四军出路东，从而引发了威震敌胆的罗炳辉“三打来安城”。战斗分别于1939年9月、1939年11月、1940年5月进行，均以新四军的胜利而告终，这对开辟淮南津浦路东抗日根据地具有重要意义。
　　为了发展、巩固皖东抗日根据地，继续向东向北发展，中原局决定新四军第五支队和新四军第四支队第七团和八路军第五纵队协同开辟淮宝抗日根据地。1940年8月，八路军黄克诚部和皖东新四军张云逸、罗炳辉部会师于淮宝地区，打通了皖东、皖东北、苏北地区的联系。
　　为了打通江南新四军与苏北八路军的战略联系，1940年1月，新四军江南指挥部所属苏皖支队北上与第五支队第八团会师于六合县竹镇，从此两支部队并肩作战，主动出击日军，在天长与六合交界的横山和秦栏集一带，多次迎击日伪军，先后毙伤日军百余人，伪军400余人，使路东抗日根据地不断巩固发展。

　　在反扫荡反摩擦的斗争中，1940年3月17日，在刘少奇亲自指导下，皖东地区第一个县级抗日民主政权——定远县抗日民主政府首先成立，县长魏文伯。接着滁县、凤阳、全椒、合肥、和（县）含（山）、寿县等县级抗日民主政府相继成立。4月，成立了地区性的政权机构，津浦路西抗日根据地初步建成。1940年9月，皖东津浦路西地区共建立了6个县级抗日民主政权，以藕塘为中心的路西抗日民主根据地联成一片。部队在根据地人民的支援下进一步壮大，到1940年底，除扩建第五支队和抽调1个团加强江北游击纵队以外，还达到1.2万余人，武器装备也有改善。

　　1939年12月，日军从南京及安徽省明光、蚌埠等地抽调2000余人，分三路对新四军江北指挥部第四支队驻地安徽省全椒县周家岗进行大规模扫荡。新四军江北指挥部副指挥兼第四支队司令员徐海东指挥第七、第九团，采取灵活战术打击与驱逐敌人。21日，在玉屏山、复兴集地区与敌激战7小时，使敌遭受重大伤亡。同日，侵占周家岗之敌向复兴集前进时，受到新四军的尾追和伏击，伤亡惨重。22日，新四军又对敌展开袭击和尾追，敌被迫先后退出周家岗等地。此次战斗，毙伤日伪军160余人。战后，徐海东因病休养。这是他指挥的最后一次战斗。周家岗反扫荡是新四军第四支队挺进皖东抗击日军一次较大的战斗，也是该支队首次取得对日军作战的重大胜利，不仅扩大了政治影响，打开了皖东的抗战局面，而且使新四军在皖东站稳了脚跟，为抗日民主根据地的创建奠定了基础。

　　1939年4月25日，为加强对江北部队的领导，整编江北部队，组织江北部队向皖东挺进，新四军军长叶挺率军政治部副主任邓子恢、第一支队原副司令员罗炳辉、新四军参谋处处长赖传珠等一批干部，突破日军长江封锁线，于5月6日到达安徽省庐江县东汤池，7日成立江北指挥部，新四军参谋长张云逸兼任指挥，副指挥徐海东、罗炳辉，参谋长赖传珠，副参谋长杨梅生，政治部主任由新四军政治部主任邓子恢兼，副主任张劲夫。
　　江北指挥部成立后，即着手对江北部队进行整编。指挥部下辖第四支队、第五支队、江北游击纵队。新四军游击支队一度也归江北指挥部指挥。其中第四支队由第七、第九团为基础扩编而成，12月，司令员徐海东到职，政委戴季英，副司令员林维先，参谋长谭希林，政治部主任戴季英兼（后何伟），副参谋长赵俊。辖第七、第九、第十四团、特务营和教导大队。第五支队由原第八团为基础扩编而成。司令员罗炳辉，政委郭述申，副司令员周骏鸣，参谋长赵启民，副参谋长冯文华，政治部主任方毅（后张劲夫），副主任林恺（后龙潜）。辖第八、第十、第十五团和教导大队。江北游击队司令员孙仲德，政委黄岩，参谋长桂逢洲，政治部主任桂蓬，辖两个大队，共1500余人，归指挥部指挥。

　　1938年5月19日，徐州沦陷后，日军开始集结兵力西犯武汉。国民党军撤向大别山，皖东敌后空虚，正是新四军江北部队向东发展的大好时机。6月，第四支队在合肥至安庆、合肥至六安等公路上广泛出击，破坏日军运输，牵制日军兵力西侵武汉，有力地支援和配合正面战场作战。
　　1938年10月，应国民党安徽省政府的请求，第四支队参谋长林维先率第七团、手枪团，分别讨伐驻庐江、无为二城和襄安镇的保安团队武装，歼其2800余人，缴获枪支1600余件，护送安徽省政府委任的两名新县长到任就职。这一系列的战斗，维护了社会秩序，深得民心，也加强了与国民党地方政府方面的统战关系。到1939年4月，新四军第四支队各部战斗在皖中、皖东地区，对日伪军作战90余次，共毙伤伪军600余人，俘400余人，歼灭土匪及反动地方武装3700余人。
　　新四军第四支队进入皖中地区后，积极宣传全民抗日，发展抗日武装。1938年8月上旬，支队决定将中共地方组织领导的游击武装，统一整编为第二游击纵队，辖两个大队，1000余人，归第四支队指挥。
　　为了贯彻中共中央关于第四支队向皖东敌后发展的指示，加强对第四支队的领导，1938年11月17日，张云逸奉命率干部数十人和军特务营两个连，渡江北上，到达皖中。经与国民党第二十一集团军总司令兼安徽省政府主席廖磊谈判达成协议，新四军江北部队到津浦路南段两侧地区活动。12月，将第一大队加上张云逸从皖南带来的军特务营的两个连，扩编为江北游击纵队，司令员兼政委戴季英。在全椒、巢县、含山活跃着东北抗日挺进纵队，下辖3个大队，一度达到2000余人。在此期间，新四军第八团由舒城西汤池等地出发，9月越过淮南铁路，进至肥东、巢北地区，在石塘桥与东北抗日挺进团会合，在柘皋与巢县抗日游击大队会合。1939年2月，第八团在巢县东山口附近的方老子洼，与前来袭击的日军两个大队激战竟日，毙伤日军150余人。1939年2月，张云逸率支队战地服务团和第三游击纵队抵达第八团，向该团领导干部进一步阐述了中共中央和新四军军部关于东进的战略方针。为适应形势发展的需要，迅速开辟皖东地区，张云逸直接指挥第八团和第三游击纵队的作战活动。4月，以第八团为基础，加上警卫营，恢复了挺进团的建制。到1939年4月，新四军第四支队由组建时的3100人，发展到辖4个团和1个游击纵队、1个教导大队近1万人的兵力，展开于皖中和皖东部地区。

　　1938年3月底，新四军第四支队由皖西向皖中挺进，同年5月，打响了新四军进入华中敌后抗击日军的第一枪。5月12日，第四支队第九团一部在安徽省巢县（今巢湖市）东南蒋家河口设伏。中午，日军第六师团坂井支队巢县守备队乘船至运漕河（裕溪河）西岸一带抢掠。新四军当即进行阻击，经20多分钟激战，击毙日军20余人，新四军无一伤亡。此次战斗迫使进攻庐州（今合肥市）的日军坂井支队调回一个大队。蒋家河口战斗，是新四军开赴敌后打击日军侵略者的第一个胜仗，鼓舞了大江南北抗日军民的斗志。

　　“挺纵”北上的同时，新四军积极向苏南东路地区开辟和发展。苏南东路地区是指京沪铁路锡沪段以北、锡澄公路以东和原苏（州）嘉（兴）铁路以东的广大地区，包括当时吴县、常熟、太仓、吴江、昆山、沙州全境和无锡、江阴大部分以及上海郊县。1938年10月，陈毅宣布将梅光迪、朱松寿、承寿根三支地方武装合编，授予“江南抗日义勇军第三路”的番号（简称“江抗”三路），任命梅光迪为司令员，何克希为副司令员，吕平为政治部主任，下辖3个连，隶属新四军第一支队建制。
　　随后，新四军部署第六团向东路地区发展，其任务是冲破国民党的限制，发展部队，筹集经费给养，武装自己，独立自主地扩大抗日力量，同时相机创造抗日根据地。1939年5月，叶飞率第六团从茅山地区出发东进，在武进南部戴溪桥与“江抗”三路会合。为防止国民党第三战区借口阻止东进行动，部队使用江南抗日义勇军的番号，并成立总指挥部，梅光迪任总指挥，叶飞、何克希、吴焜任副总指挥。第六团对外称“江抗”二路。5月中旬，吴焜率“江抗”主力一部抵达阳澄湖地区，在黄土塘与下乡扫荡的日军遭遇，激战两小时，毙伤日军十余人，东进首战告捷。
　　为了进一步扩大影响，6月24日，“江抗”二路在中共地方组织的配合下，夜袭浒墅关火车站，致使铁路交通一度中断。6月底，“江抗”总指挥部根据陈毅电示，决定深入苏州、常熟以东开展游击战争，创建新的抗日阵地。“江抗”二路一部和三路及部分地方武装继续东进，开辟昆嘉青地区。7月，在顾复生部配合下，打到了虹桥机场。7月底，叶飞在朱家花园与中共青浦工委和顾复生部举行会议，决定大力发展抗日武装，不断扩大游击根据地，使青浦抗日基地与嘉定连成一片。此后，“江抗”主力即回师苏州、常熟地区，“江抗”三路继续留在青浦、嘉定地区活动。至8月底，“江抗”已由东进出发的1000余人发展到5000余人，武器装备也大大加强。
　　“江抗”东进的胜利引起了国民党顽固派的嫉恨和恐慌。“忠救军”集结上万兵力进攻“江抗”，“江抗”被迫实行自卫反击。战斗中，“江抗”政治部主任刘飞负重伤，副总指挥吴焜不幸牺牲。10月初，陈毅亲自抵澄西西石桥“江抗”驻地召开军事会议。10月26日，“江抗”奉命转移扬中，月底和管文蔚部合编为新四军挺进纵队，不久大部渡江北上，执行中央赋予新四军发展苏北的战略任务。“江抗”主力西撤后，陈毅派“江抗”第二团政治处主任杨浩庐等返回东路地区，传达关于“重建武装，坚持东路斗争”的指示。1939年11月，由留在常熟阳澄湖地区的30多名伤病员组成了江南抗日义勇军东路司令部，史称新“江抗”。司令员是正在养病的原“江抗”第五路参谋长夏光，副司令兼政治部主任杨浩庐。京剧《沙家浜》反映的就是这一时期新四军新“江抗”的斗争故事。1940年3月，新四军军部派第三支队副司令谭震林（化名林俊）率温玉成等一批干部到达苏南东路地区，将坚持斗争的新“江抗”改编为江南抗日救国军东路指挥部，后整编“江抗”与“民抗”，控制了苏常太、澄锡虞和青昆嘉一些游击基点，控制地区人口约200万。

　　苏南沦陷后，长江以南、沪宁铁路以北、锡澄公路以西地区，包括扬中全部、丹阳、丹徒、武进、江阴、无锡等县的抗日救亡运动风起云涌，一些进步青年、爱国人土和大革命时期的共产党员纷纷组织抗日游击武装，其中建立最早、实力最强、影响最大的是管文蔚领导的丹阳抗日自卫总团。1938年7月，应管文蔚的请求，陈毅派第一支队政治部主任刘炎到总团视察，并授予管部“丹阳游击纵队”番号。为了切实加强丹阳游击纵队的建设，1938年9月，陈毅派刘炎带领郭猛、张震东等20余名团、营级干部到管部工作，并宣布将丹阳游击纵队整编为新四军挺进纵队（对外称江南抗日义勇军挺进纵队，简称“挺纵”），管文蔚为司令员，郭猛为政治部主任，张震东为参谋长。挺进纵队原直辖的三个大队扩编为三个相当于团建制的支队。10月，新四军军部和第一支队的贺敏学、龙树林、吉洛、魏天禄、陈时夫、鲍志椿等十余名军政干部陆续到达“挺纵”。同时，“挺纵”分批抽调干部前往军部和第一支队培训。1939年4月，“挺纵”进驻扬中，打通了苏南与苏北之间一条便捷的通道。此前，“挺纵”已控制了长江边的大港、大路和运河的重要渡口新丰镇。这就为新四军渡江北上架起了一块理想的跳板。

　　1938年5月，新四军第一支队从岩寺出发，进入京杭国道以东的茅山腹地，以营为单位展开于镇江、丹阳、金坛等县。新四军第二支队也于6月中旬从皖南出发东进，相继展开于京芜铁路以东、京杭国道以西的江宁、当涂、溧水、高淳、芜湖、宣城诸县边境地区。军部指示，进入苏南敌后的新四军第一、第二支队广泛开展抗日游击战争，以分散对敌之集中，以伏击、袭击、近战、夜战等游击战术，灵活机动地打击敌人，迅速打开敌后抗战局面。1938年8月12日，第二团夜袭句容县城，歼日军40余人，伪维持会人员60余人，这是新四军进入江南敌后以来首次集中一个团的兵力作战，也是首次进攻日军占领的县城，给日军一次沉重的打击，极大地鼓舞了敌后人民的抗日热情。新四军第一、第二支队在到达苏南敌后的头两个月里，共取得了大小百余次战斗的胜利，兵力直逼南京城郊机场、麒麟门和雨花台。日军在不断受到新四军的打击后，逐步调整兵力部署，然后采取分进合击、多路围攻的战术扫荡。新四军在苏南敌后共粉碎日军大、小扫荡20多次，主动出击日伪据点10余次，大部获得成功。经过半年的斗争，新四军收复了部分农村，安定了人心，逐步把敌人占领控制的地区变成为新四军控制的地区，先后在镇丹、金句、江句、句北、横山、小丹阳、江溧句和宣城、高淳边境等地区建立起了十多块游击基地，拥有人口近40万，为建立茅山根据地打下了基础。
　　1939年，日军在苏南实行更加频繁、残酷的扫荡，苏南敌后抗日游击战争进入了更加激烈的阶段。1月21日，粟裕率第三团长途奔袭芜湖近郊的官陡门据点。4月10日，日伪军1300余人分三路扫荡宣城县狸头桥地区，第三、第四团各一部奋起反击，挫败了日伪军的扫荡。此外，1月至4月新四军还进行了水阳、横山、陶吴、朱门、小丹阳、横溪等一系列战斗，大部获胜。新四军为了牵制敌人，继续选择时机打击日伪军。11月8日，新六团和第二团在丹阳独立支队及孔庆哲、樊玉琳、巫恒通部等地方武装配合下，进行了贺甲战斗，激战近30个小时，消灭日军168名，俘日军3名，被江南人民广为传颂，称之为“延陵大捷”。