1889年，冯钦哉出生在山西万泉，他们家世代为农，到了他这一代，家里的条件已经相当差了。当时国内局势动荡，各地又频发天灾兵祸，老百姓的生活非常艰难，冯钦哉从小就早早到家里的田里劳作，幸运的是，他不光能吃苦，还非常好学，在17岁的时候进入运城的学堂。在学堂学习的时候，他也接触到了革命，在20岁的时候经人介绍，参加了同盟会。

1911年10月底，山西爆发了太原起义，冯钦哉也立即参加学生队，随后他赶回家乡组织地方武装，并在民国成立之后，投笔从戎，成为革命军的一员。冯钦哉此人性烈如火，可他懂得民族大义，在袁世凯称帝之后，他立即投身到反袁的运动中，与史可轩，李岐山等人起兵讨伐袁世凯。可惜当时的袁世凯与阎锡山相互勾结，联手对付他们，起义的军队受到重大损失，冯钦哉不得不前往平津地区去拉队伍，希望能重新组织起反袁武装。

在这个过程中，冯钦哉也第一次以反袁代表的身份见到了孙中山，在革命政府的支持下，他重返关西，与耿直联手策划西安起义，组建西北革命军。冯钦哉率军和北洋军阀多次交锋，立下无数战功，这也让他受到杨虎城将军的重视，此后，他就成为杨虎城麾下的一员猛将，1922年，杨虎城部接受改编成为国民军第三军的第三师，冯钦哉就担任六旅的旅长。当时，西北各地也有很多的军阀，这些军阀相互之间打个不停，冯钦哉也一直在和这些军阀交战，随后，更是率部东出响应北伐战争，他作为西部军的先锋，在和孙传芳等人的交锋中打得很是出色。

冯钦哉的出色表现，很快就引起了蒋介石的注意，在随后的蒋冯战争中，唐生智突然倒戈，直接威胁到蒋介石的指挥部，又是冯钦哉率部急行军，奇袭灭掉唐军。蒋介石也是真正认识到他的军事才华，在31年主持召开的军事会议上，蒋介石还特意向大家介绍说：“这就是打驻马店的旅长冯钦哉，老同盟会员，现实是四十二师师长。”蒋介石在军阀混战的时期，是非常注重拉拢分化对方势力，他自然会极力拉拢冯钦哉，这也让冯钦哉对蒋介石印象很好。