在抗日战争中，胡琏参加了石牌保卫战，并率领18军第11师挫败了日军由陕西南下重庆的企图。此役后胡琏被授予青天白日勋章， 并升任第十八军副军长。1944 年，胡琏奉调到重庆蒋介石侍从室，并很快升任第十八军军长，成为陈诚“土木系”的骨干和精英。

在解放战争中，18军被改编为整编11师，而胡琏则由军长“下降”为师长。虽然18军由军改师，但是战斗力却没有丝毫下降。该师装备了全套美式装备，佣兵3万余人，并骡马 7000 匹，汽车坦克大炮各数百，驰骋于中原和华东两大战场，是粟裕和刘伯承的宿敌。

在胡琏的指挥下，11师是真不好对付。根据很多二野、三野的老兵回忆，胡琏和整编11师作风顽强、死战不退，既能像毒蛇一样死缠烂打，也能像泥鳅一般溜走。在国民党五大主力之中，十一师是被解放军歼灭最晚、存活时间最长的部队。

在南麻战役中，粟裕的华野将11师团团围住。虽然占据绝对的兵力优势，付出了极大的伤亡，却没有对11师取得任何进展。最终，11师在援军的接应下逃出生天，而华野也由此遭受了重创。战后，许世友打电话给粟裕发牢骚说：“胡琏这只狡猾的狐狸……下次我定叫他碎尸万段。”

战后，胡琏曾大肆吹嘘：“我的11师可不是张灵甫的74师，想吃掉我，得有一副铁嘴钢牙好胃口。”蒋介石闻言也赞扬道：“有胡伯玉在，我可高枕无忧了。”

胡琏和他的11师虽然骁勇善战，却依然无法改变我军越战越强、国军越打越弱的大局。在豫东战役之中，区寿年兵团被粟裕设计围歼，震惊了整个国民党军界。国民党万万也没想到，如今的解放军已经能够轻而易举地将国民党军整师整军的歼灭。如今国军一两个军，根本不敢单独行动，完全失去了主动权。

因此国民党当局决定改变战术，将各军合并，建立能够独立遂行战略任务的大兵团，那就进可以攻，退可以守，让解放军“吞不掉”“啃不动”。会上决定，以胡琏的第18军（国民党军改，将整编师重新改编为军）为主，加上第10军、第14军、第85军编成第十二兵团，拥兵12万之众，并将之划归华中战区的白崇禧指挥。

无论是胡琏自己，还是18军上下，都认为兵团司令非胡琏莫属。然而意外却发生了，自1941年以来再未上过战场的黄维竟然后来居上，攫取了12兵团司令的职务。