粟裕、谭震林见中央还是想让他们在内线打，就再电中央和陈毅，建议待打下海安后再北移。结果陈毅回电要粟、谭"仍以打下海安，争取休整，相机转移为好"；毛泽东先后接到粟、谭打和不打的两封电报，便也依次回电，可以不打，也可以打，注意休整。就在三方来回电报进行讨论之际，战局已急转直下。张灵甫率第74师一直跟在南路的桂军第7军后边，隐蔽企图，悄悄前进。待山野主力北上后，两军突然南下，直扑两淮。第7军位于左翼，一举突破了华中野战军第9纵队的防线，攻占泗阳，并盯住山东野战军主力。这时右翼的第74师突然加入战斗，动作迅猛，急趋防御较薄弱的淮阴以南，再次强行突破了第9纵队的运河防线。到了此时，陈毅方如梦初醒，急调部队南下增援。然而山东野战军主力却被第7军缠住难以脱身，而且通向淮阴的王营大桥被国民党军破坏，部队无法过河。陈毅后悔莫及，只能是"五内俱焚"了。

谭震林紧急统一指挥就近的几支不同建制部队保卫淮阴，与第74师杀得难解难分。这时粟裕指挥华中野野战军主力2个师也迅速北上增援淮阴，但因路途太远，沿途都是水网地带，天又不断下雨，前进速度缓慢，眼看是来不及了。结果张灵甫指挥第74师首先突破淮阴城防，两军展开了激烈巷战。粟裕带少数人赶到淮阴，与谭震林会合，经研究后认为再打下去也只能是徒然消耗，遂决定放弃淮阴，撤出战斗。淮阴既失，再守淮安也无意义。山东野战军和华中野战军只得后撤至沭阳、涟水一线休整。两天后，第74师又进占了淮安，与第7军隔运河会师。

丢失两淮对华东形势产生了重大影响，不但政治上受到很大损失，解放区依靠运河税收的主要经济来源被切断，而且华中和山东之间被国民党军拦腰横斩，大片解放区都变成了游击区，苏中解放区陷于被三面合围的境地，要坚持下去已很困难了。陈毅、粟裕第一次与张灵甫指挥的整编第74师交手，就已经感到了对手的与众不同。认为该敌战术运用诡诈，攻击意识旺盛，炮火较强，非常难于对付，不愧是蒋介石的五大主力之一。拿下两淮后，张灵甫的企图心更加强烈，一个月后又挥兵直取涟水城，企图彻底孤立苏中解放区。两淮失守后，山东野战军和华中野战军的领导人都意识到，在敌强我弱的形势下，分散迎敌是不行的，必须集中兵力联合起来，攥成一个拳头打击敌人。