两军相逢勇者胜，一场恶战开始了，26师一个猛冲，将整编11师的两个团打得七零八落，官找不到兵，兵找不到官。26师忙了一夜，打着手电在石缝里、壕沟旁捉俘虏。

天一亮，胡琏见丢失了黑山阵地，十分气愤，他的“三斧头”完了，只好再用他的“四铲子”。他组织了四个团兵力，在飞机、大炮的掩护下，向黑山轮番冲锋。

许世友得到情报，打电话向刘涌授计，告诉刘涌说；“你马上收起拳头，来个饿虎扑食。”

刘涌心领神会，他立即命令部队放弃黑山，收缩到白马关一线。胡琏误认为是自己的“四铲子”起了作用，命令部队追击。

刘涌见整11师跟踪而来，命令两个团扼守要点，吸引敌人；命令76团向整11师的侧翼出击。这一招出其不意，整11师遭两面攻击，挡不住我猛烈攻势，纷纷掉头，向山下鼠窜。午后，刘涌又挥师反击，重新占领了黑山、天台山、云头山一线阵地。

26师在白马关连续阻击了4天，整11师无法越雷池步，华野西线兵团在参谋长陈士渠指挥下，于4月26日攻占泰安，胡琏见攻占蒙阴无望，只好望关兴叹，无可奈何地撤走了。

被俘的一名军官解放后曾撰文，描述这次战斗时说：“我们进攻白马关失败了，可是，盛气凌人、踌躇满志的胡琏为给自己下台阶，在众军官面前，说：‘你们知道《水浒传》上有个神行太保吗？你们知道我们打了几天的对手是谁吗？是神行太保许世友啊！我们这一次跑不过神行太保，也没打赢他，这没什么关系，失败乃兵家常事嘛，以后，我们好好准备，下次再同许世友较量。’”