1937年10月，刘青山被选送抗大学习。第二年8月即出任河北省大城县县委组织部长，他常以青塔书店掌柜身份到乡间宣传救亡抗日，他参与组办的民运训练班，还培训出很多优秀干部。

同时他和县委一起创建县大队和八个区分队抗日武装。1941年3月，刘青山任中共大城县委书记，领导粉碎日伪清剿，使大城县抗日队伍和根据地不断壮大。日伪以1500块大洋悬赏捉拿他。

1941年“五一”扫荡后，环境十分恶劣，党内出现一批叛徒，对抗日斗争造成极大危害。刘青山领导大城县委及时开展了镇压反革命运动，沉重打击了敌特汉奸的嚣张气焰，并开辟了文安洼抗日根据地，使全县抗日形势好转。

是年9月，刘青山任大城县、河间县县委书记。1944年10月，刘青山任冀中中共八地城工部长，翌年10月，刘青山任冀中中共八地书记兼任冀中军区第八军分区政治委员、地委党校校长。

1949年9月，刘青山任天津地委书记。1951年8月，他又调任石家庄市委第一副书记。同年10月，作为中国青年友好代表团成员，刘青山出席了在奥地利首都维也纳召开的世界青年和平友好联谊会。

然而，就是这样一个有着光荣革命经历的共产党员，却在新中国成立两年多的时间里，成了国人尽知的大贪污犯。

“还能开除老子的党籍？”

1951年11月21日，在当时的省会保定，召开了河北省第三次党代会。大会开始讨论时，天津专区行署副专员李克才第一个发言，揭发刘、张两人的贪污腐败行为。