1923年，张克侠毕业后加入了冯玉祥的西北军，并成为了其麾下25混成旅见习教官。

翌年，冯玉祥原配去世续弦时，看中了张克侠的妻子的二姐李德全。就这样，张克侠一下子成为了冯玉祥的连襟。不过令人意外的是，张克侠却没有选择攀附这样的关系，反倒是选择只身南下，并在陆军讲武堂担任了教官、队长等职务。而后又参加了北伐战争，还担任了营长。

北伐战争结束后，张克侠选择前往了苏联的莫斯科中山大学学习。也正是在中山大学学习期间，张克侠接受了马克思主义，并向地下党员张振亚提出了加入共产党的愿望。

可就在考察期间，国内发生了四一二事变，大革命的失败之后，冯玉祥也做出了支持蒋介石的决定。张克侠的入党不仅没成，就连在中山大学也变成了不可能。

而在回国之后，张克侠仍在冯玉祥的西北军任职。不过，对于入党张克侠没有放弃，他多次申请，不多都被搁置。

1929年，令他喜出望外的是张克侠接到了张振亚的密信。而密信中张振亚邀请张克侠在上海与张存实接头，就这样张克侠前往了上海并见到了张存实，还在他的介绍下成功加入了共产党。

当时张克侠曾提出前往中央苏区工作，不过囿于时势他最终没能成行，而且他西北军的身份也极有优势，就这样他在张振亚的嘱咐下开始了潜伏工作。

就这样，张克侠在国民党军中凭借"保定系"、"西北系"、"黄埔系"的身份左右逢源，如鱼得水，职务也不断的擢升。

及至1943年时，他已经担任33集团军的副司令。而为了拉拢将领，蒋介石发放了一批中正剑，张克侠自然也得到了。不过，将介绍断然是没想到张克侠会“跳反”的。

1945年12月，陈毅派出密使张国恩员通过乜庭宾的关系，联系上了张克侠。张克侠也随即与乜庭宾进行了谈话，并表达了继续潜伏，并乘机力争起义的态度。

1947年10月，国民党徐州剿总又成立了徐州地区守备指挥部，令张克侠任指挥官。利用这一职务，徐州剿总的各种情报也不断的被张克侠派人送往华野司令部，这也为淮海战役提供了重要信息。