1925年9月，胡琏成为黄埔四期的一名学员。谢晋元、张灵甫、唐天际、袁国平、刘志丹、伍中豪等都是他的同学。胡琏军校毕业后直接参加北伐。北伐之后，胡琏所在的部队被遣散，胡琏无处安身，当听说他的陕西老乡兼校友关麟征当了团长，便赶往蚌埠投奔。关麟征任其为连长。后来，关麟征所在的团并入陈诚的第十一师，这是胡琏成为陈诚“土木系”的开始（第十一师是陈诚起家的底子，第十一师为第十八军所辖，十一合而为“土”，十八合而为“木”，且十一师又刚好有一个土木工程兵营，故称“土木系”）。

其后，胡琏参加了新军阀混战。在与冯玉祥的部队交火时，第十一师畏缩败退，关键时刻胡琏拔出手枪，威吓溃兵，他的连队竟然守住了阵地，陈诚对其刮目相看，提拔他做了营长。陈诚升任第十八军军长后，想把胡琏调到第十四师任营长。胡琏找到陈诚痛哭，表达自己对第十一师的的感情。陈诚非常感动，觉得胡琏是个重感情讲义气的人，从此对胡琏更加器重。

胡琏虽没去成第十四师，却经人介绍与十四师曾粤汉团长（后者被国民党授予少将军衔）的妹妹曾文瑜相识。1930年左右，胡琏迎娶曾文瑜。曾文瑜颇有交际手段，后又与蒋经国夫人蒋方良打得火热，或许这也是胡琏后来飞黄腾达的一个原因。

第十八军第十一师出了不少名将，胡琏是这个军的八大金刚之一，这个部队也成为国民党的五大王牌之一。

守石牌击退日军立大功

1943年5月，日军攻陷宜昌。25日，渡过清河逼近石牌要塞。第十八军负责戍守石牌要塞，军长方天又以第十一师胡琏部守备石牌要塞的核心阵地。

日军在石牌周边集结了两个师团、一个旅团，其中有被称为“钢铁猛兽”的也是日军在中国战场唯一纯野战部队的第十一军，一共10万兵力直面扑来。胡琏及第十一师都做好了杀身成仁的准备。大敌当前，恶战在即，胡琏当夜修书5封，以与家人作别。在给其父的信中写道：“父亲大人：儿今奉令担任石牌要塞防守，孤军奋斗，前途莫测，然成功成仁之外，并无他途……有子能死国，大人情也足慰……恳大人依时加衣强饭，即所以超拔顽儿灵魂也……”