黄克诚认识到，不解决这个矛盾，刘少奇的平反工作是不会顺利的。所以，他在给陈云汇报工作时，也谈了自己对这个问题的看法，希望中央加快进程，加大力度。

1980年1月举行的中纪委第二次全体会议，在讨论处理历史上遗留下来的几个重大是非问题时，黄克诚明确提出要做好刘少奇案件的复查平反工作。

1月16日，邓小平在中央召集的干部会议上所作的《目前的形势和任务》的讲话中，宣布中央将在不久后为刘少奇恢复名誉。

在1980年2月下旬召开的中共十一届五中全会上，胡耀邦当选为中央委员会总书记，汪东兴、纪登奎、吴德、陈锡联所担任的领导职务被免去，一大批年富力强的干部进入中央政治局和中央书记处。

伴随着组织调整，会议通过了为刘少奇平反的决议，撤销了中共八届十二中全会强加给刘少奇“叛徒、内奸、工贼”的罪名和把他“永远开除出党，撤销其党内外一切职务”的错误决定。

会议向全党宣布：因刘少奇问题受株连而造成的冤假错案，由有关部门予以平反。

当这一重大决定形成时，黄克诚感到非常欣慰。因为这不仅仅是为刘少奇平反，事实上是对新中国历史上最大冤案的纠正，从根本上否定了“文革”所谓的摧毁“以刘少奇为首的资产阶级司令部”的中心内容，进而为彻底否定“文革”扫清了道路。

对于一些冤假错案，即使有些同志已经去世，或本人没有申诉，黄克诚也主动查清平反，为许多人洗清了多年的不白之冤。

但他对自己身上背了几十年的冤案却并不着急，他说：“我现在已经有工作做就行了。”当有关部门整理历史资料，就因他提出正确意见而遭到批斗、撤职的问题向他了解核实情况时，他仍以大局为重说：“如果当时那几个负责同志还在，我还是可以和他们辩论的，但是他们已经去世了，我还在，我不能单方面来做评论。”他又叮嘱说：“你们要实事求是，把事实说清楚就行了，不要说过头了，不要给那几个负责同志脸上抹灰，给他们抹灰就是给党抹灰。”