在1978年党的十一届三中全会上，黄克诚被增补为中央委员，并当选为中央纪律检查委员会常务书记，后在1982年的十二大上当选中纪委第二书记（陈云为第一书记）。当黄克诚结束近二十年的蒙冤，走出牢狱重新出任领导职务后，一些当年在批判和审查他时说过错话、做过错事的人，纷纷向他赔礼道歉。

黄克诚毫不介意，坦诚地说：“在当时那种情况下，你们也有压力，不向我开炮，你们也难以过关。现在事情已经过去，没有必要再去提它了。

要注意保重身体，争取在有生之年为党再多做些工作。”他边说边手把手地向来人热情传授自己在被关押期间学会的按摩术。黄克诚豁然大度的举止和语重心长的话语，曾使不少人感动得落泪。

党的十一届三中全会后，黄克诚复出担任领导职务之初，曾向中央领导同志提出，自己年龄太大（1902年出生），不宜担任领导职务。中央领导同志说，你年纪大可以不坐班，但领导职务一定要担任，就是要你这个名字。

黄克诚一出山，就开始致力于对党内重大历史问题的审查。邓小平、陈云曾在中纪委常委们面前交代：要解放思想，把一些重大的党的历史问题弄清楚，必要时像当年在延安一样，搞个“历史决议”，把党内思想搞统一。

邓小平还特别强调：“当年把刘少奇同志打倒，是不合法律程序的。一个国家主席，一张大字报、几个小将就把人弄下来了。还有中央专案组，在当时情况下也是不正常的，背着毛主席、党中央搞了不少名堂，不然情况不会这么复杂，要认真审查。”

中央决定，将审理林彪、江青两个反革命集团、清理“文革”中“三种人”和平反冤假错案，交给中央纪委办理。这些都是关系国家安定团结和大批干部命运前途的大事，黄克诚深感责任重大。