天有不测风云，1937年8月，罗科索夫斯基突然被捕。内务部给他的罪名很奇葩：只是因为他是苏波混血，有波兰血统，所以认定他是“波兰间谍”，被判叛国通敌罪。罗科索夫斯基在狱中遭到严刑拷问，门牙被打掉，肋骨断了三根，脚趾还被用铁锤猛砸，生不如死。在当时的大背景下，人们为了自保，纷纷胡乱指认。然而即便命悬一线，罗科索夫斯基却拒绝诬陷任何人。后来，还是老上司铁木辛哥元帅出面力保，他才死里逃生。值得一提的是，他仍被“枪决”，为的就是吓唬一下他，看看能不能从他嘴里套出点东西。枪决用的是空包弹，罗科索夫斯基一句话都没说，事后，他终于得到释放。

重获自由的罗科索夫斯基于1940年5月晋升为少将，被任命为第9机械化军军长。虽然是骑兵出身，但罗科索夫斯基非常敏锐地认识到机械化部队对未来战争的意义，因此积极学习相关知识。苏德战争爆发后，苏军各部通讯中断，罗科索夫斯基收到了一封来自第5集团军的电报，要求他调动军队。电报的真实性无从验证，按照苏军规定，没有上层命令调动军队可是死罪，罗科索夫斯基根据对战局的判断，毅然指挥第9机械化军作战，且战且退，诱敌深入，重创德军。

随后，他又奉命组建新的集团军。实际上，他根本没有获得足够的兵源，但罗科索夫斯基不断从战场上收编被击溃的部队，重新整编。就是这样一支败军之师，被罗科索夫斯基指挥得勇猛无比，不但抵挡住德军猛攻，甚至还在苏军全线溃退的情况下发动局部反击，一度向前推进了25公里。这样的成果自然获得了斯大林的注意，1941年12月13日的苏联中央报刊头版刊登的西方面军各领导的肖像时，唯独罗科索夫斯基的照片下面特别列举了他的战绩。这一点，连司令员朱可夫都没有享受。

1942年3月，罗科索夫斯基在前线视察时不幸负伤，炸弹弹片击穿其肺部，击中脊椎，听起来就很严重。令人意外的是，仅不到3个月后，他便康复并重回第16集团军指挥。他的声望也随着战争进行而不断提升。值得一提的是，在库尔斯克战役中，一名德军战俘无意间说了一句“德军已经开始集结”，就凭这样一句话，罗科索夫斯基便准确地判断出德军装甲部队的集结地点，并抢得了关键的10分钟的先机。斯大林对罗科索夫斯基的欣赏也是无以复加，战役结束后，他下令莫斯科以124门礼炮鸣放12轮，以“向杰出的部队和他们的指挥员致敬”。