1938年3月～4月，三五八旅会同三五九旅等部反击日伪军对晋西北地区的首次围攻，收复7座县城。5月，为配合国民党军反攻归绥(今呼和浩特市)，旅部率七一六团开赴雁北，在朔县(今朔州)、岱岳(今山阴)、怀仁间开展游击战。9月，日军向晋察冀边区北岳区的五台、阜平、涞源等中心地区发动了大规模的“围攻”，第三五八旅奉命参加反“围攻”作战，向同蒲铁路(大同—风陵渡)北段和平绥铁路(今北京—包头)西段出击。10月下旬，当张宗逊得知一股日军孤军深入后，便果断地抓住战机，指挥部队在五台县之滑石片地区设伏，一举全歼进犯五台的日军1个大队700余人。

1939年1月，一二〇师主力开赴冀中，为加强交流、协同作战，八路军第三纵队与张宗逊的三五八旅进行交流：七一五团与第三纵队独立第四支队合编，成立一二〇师独立第一旅；第七一六团与第三纵队独立第五支队合编，成立一二〇师独立第二旅。同时，以张宗逊为主组成纵队(亦称“张纵队”)指挥部，统一指挥独立第一、第二旅，随即全歼了向冀中军区进攻的国民党河北民军司令、反共顽固分子张荫梧部。

1939年9月，一二〇师进行整编，“张纵队”撤销番号，独立第二旅改称第三五八旅，张宗逊仍任旅长。为区别于彭绍辉担任旅长的新三五八旅，亦称“张三五八旅”或“老三五八旅”。就在这时，向晋察冀抗日根据地进行“扫荡”的日军改变战术，袭击了抗大二分校驻地陈庄。为了歼灭这股日军，一二〇师领导指挥部队在敌人撤退的路上设下埋伏。张宗逊参与指挥了这次作战，一举将进犯的这股敌人全部歼灭，无一漏网。在贺龙手下工作期间，张宗逊的勇敢顽强，深得贺龙赞赏。当年底，张宗逊率部返回晋西北地区，先后参加晋西北夏季反“扫荡”和百团大战，沉重打击了晋西北地区的日寇。1940年11月，他兼任晋西北军区第三军分区司令员，率部坚持抗日斗争。

1943年3月，蒋介石出版了《论中国之命运》一书，发出了强烈的反共信号。毛泽东电令正在晋绥抗日前线的张宗逊，率领三五八旅立即西渡黄河，开赴延安以南的富县地区，准备抗击国民党军的进攻。这时，“张三五八旅”经过五年多对日伪军作战的锻炼，由1937年秋出征时的两个团、5000余人，已扩编成了四个团及三个直属营、共10000多人的精锐部队。张宗逊返回延安后，向毛泽东汇报了在华北作战和建军的情况，毛泽东听了很高兴，对张宗逊说：“今天留你吃饭，以示祝贺。”席间，毛泽东谈到：“蒋介石从希特勒那里学来点新战术，企图闪击延安。把你们调回来，就是为了对付他。”