中央决定，恢复杨尚昆同志的党组织生活，分配工作。”中共十一届三中全会以后，对所谓“秘密录音”问题再次进行审查，直到1980年10月中央才正式发文为原中央办公厅和杨尚昆彻底平反。

“文化大革命”中，中央办公厅的许多干部也因杨尚昆的问题而受到株连。1966年5月《五一六通知》发出以后，中办的一大批干部一夜之间变成了“反党罪人”，中办的工作秩序被打乱。

随着运动的不断升级，被诬为杨尚昆的“帮凶”、“爪牙”的人数越来越多，后来又有了一个新名字——“杨家死党”。这些人整天挨批挨斗。田家英更是在被宣布为“反党分子”的第二天含冤辞世。

对于这些情况，可以从1966年7月22日中办给中央的报告中窥见一斑。报告指出：“中央办公厅为杨尚昆把持了20年，他一直干着反对主席、反对中央的罪恶活动。

已揭露的大量事实证明，不仅原办公厅的领导核心烂掉了（杨和曾、田、龚三个副主任），而且下面几个主要单位的绝大部分领导骨干也烂掉了（如机要室、秘书室、办公厅直属各组、档案局、档案馆、特会室等）。

多年来，杨尚昆包庇坏人，招降纳叛，培植了一批反党帮凶和爪牙。到目前为止，办公厅及所属各单位已揪出反党分子曾三、田家英、龚子荣、叶子龙、康一民、吴振英、何均、赖祖烈、裴桐、李欣、逄先知等24人。”

多年后，杨尚昆很少向人提及他被免去中办主任后的这段不愉快的经历。但对于那些因他而受牵连的同志，他并没忘记，他说：“‘文化大革命’我是首当其冲，第一个被整就是了。

十年中，很多同志受到我的株连，受尽摧残、折磨，十一届三中全会以后才得到平反，我要向他们表示歉意。幸喜，这些同志今天大多健在。”