然而1957年赫鲁晓夫和莫洛托夫、布尔加宁等人发生矛盾。朱可夫认为赫鲁晓夫实力最强，于是选择支持他。在莫洛托夫、布尔加宁等人试图逼宫发动政变时，朱可夫支持赫鲁晓夫，派出军用飞机将所有外地的中央委员接到莫斯科，并做了有力的发言指责莫洛托夫等人参与斯大林的清洗运动，他说“军队反对（罢免赫鲁晓夫）的提议，没我的命令一辆坦克也不会动”。由此，政变顿时就像冰雪遇到沸水，几乎在瞬间消融。

搞笑的是，赫鲁晓夫却对朱可夫有了怀疑。他觉得为什么莫洛托夫等人会去收买朱可夫，而不是收买别人？苍蝇不叮没缝的蛋，这就说明朱可夫不可靠。

于是，朱可夫被赫鲁晓夫勒令退休。赫鲁晓夫指责他：一、是在军队里培植对自己的崇拜；二、削弱党对军队的控制。三、是军事与战略上的谬误。四、搞波拿巴主义。

在朱可夫受铁托邀请访南斯拉夫时，赫鲁晓夫解除了朱可夫的国防部长职务、中央政治委员，并强制退休，报道他回国的同一期红星报也刊登了他被免职的消息。

这之后，朱可夫一直闲居在家，晚年几乎没有人同朱可夫来往，他也没有什么社交，孤独地走完了人生最后10多年。当然该朱可夫享受的元帅退休待遇，还是照样都有。如果说凄凉，也就是没有朋友，孤独地度过晚年，当然这样的晚年，也可以说是凄凉的。而这样的晚年，应该说，朱可夫自己的原因无疑是要占很大的原因。

直到1974年去世，安葬于红场克里姆林宫墙下，也算是很高的哀荣了。