在回到家乡之后，李玉堂考上了济南公立工业学校，在金工科甲等班学习。如果按照这个路线一直发展下去，他更可能是成为一名工程师。

但时局的变化，让他的人生也再次转向。1919年五四运动爆发 ，他积极参与进来，组织后援会抵制日货，为表决心他甚至还咬破手指写了血书，号召大家救亡爱国。

经此一事后，他决心重返军营，先是去山西当了晋军炮兵，但发现该部队旧军阀习气很重，于是主动脱离了部队。

此时正不知去哪里的他，听闻黄埔军校招生，他当即和堂弟李延年一起南下考学，顺利考入黄埔一期。

在完成学业后，他被分配到国民革命军第一师第二团当见习官。没过多久，北伐战争打响，他立刻跟着部队投身战场，实践所学。

在淡水战斗中，他身先士卒，第一个爬上城楼插上了北伐军军旗，部队军威大振很快拿下了淡水城，这一战也让他赢得了上级的认可和赞许，职务不断擢升。

没过多久，已经担任东路军先锋的他进军到常州，听说北伐军在进攻龙潭的过程中连续失利。他直接拍了桌子，表示要亲自带兵解决龙潭，很快他就突破了孙传芳主力部队的防线，可以说藉由此一战成名。

他的出色表现也引起了黄埔军校校长蒋介石的注意，他升职的速度也越来越快，中原大战后他成为了第三师的师长。

不过虽然他在北伐战争中表现出色，但在围剿红军的战斗中他却也有多次失利。甚至于有被红军一次消灭三个团的大败，为此蒋介石更是直接将其下属旅长枪毙，至于李玉堂也被撤职留任，军衔也是从少将下调到中校。然后出于爱才惜才蒋介石又安排他去陆大将官班学习，直到1935年恢复了他的少将军衔。

抗战泰山 内战兖州在抗战时期，李玉堂发挥了很大的作用，他陆续参加了淞沪会战、武汉保卫战和长沙会战等重大战役。

在武汉棺材山战斗中，他面对日本主力奋勇作战，两次血战30多日，棺材山敌我双方尸体堆积如山。此战之后，人们把他的部队称为“泰山军”，一方面是因为作战勇猛，另一方面是因为他是山东人。

在长沙会战中，他更是发挥了中流砥柱的作用，成为薛岳的得力助手。由于长沙地形复杂，一到了多雨季节，部队不仅要在泥泞中长途行军，还要面对日军重武器的轰击和偷袭，在金井战斗中，他因战败而被免职。

蒋介石原本想另谋人选，却没有合适的人，在薛岳的推荐下，李玉堂恢复了军职。在第三次长沙会战中，他知耻而后勇，带领第10军拖住了敌军主力，为合围歼敌赢得了时间。此战之后，美英对中国战场恢复了信心，同时宣布废除之前对华的不平等条约。