毛泽东连说：“不行，不行。”毛泽东问杨尚昆：“你不当办公厅主任，让谁当啊？”杨尚昆向他推荐了胡乔木，毛泽东又连说：“他不行，他不行。”以后胡乔木知道了这件事，也对杨尚昆说，他当不了办公厅主任。杨尚昆说自己实在是想脱身啊。

但是，1965年11月中央免去杨尚昆中办主任的职务却又很突然。11月5日，彭真通知杨尚昆：中央决定调他去广东工作，任广东省委书记处书记；汪东兴任中办主任。

对此，杨尚昆后来回忆说：“我虽早有预感要被撤职，但来得这么突然，确实茫茫然。”11月8日，杨尚昆向汪东兴和当时在京的中办副主任曾三、田家英、李质忠交代了工作。

次日，杨尚昆写信给毛泽东，说自己在中办工作了20年，没有把工作做好，辜负了毛主席和中央同志的期望，心情很沉重，也很惭愧，感谢毛主席和中央这次给他到实际工作中去锻炼和改造的机会，今后一定尽自己的努力，全心全意地把党分配的工作做好。

在去广州之前，如果毛主席有空，很希望见见主席，得到主席的批评、指示。第二天，毛泽东接见了杨尚昆。毛泽东说：“你办公厅的工作做得不错嘛！你有什么错误？没有错误。

你下去工作一个时期锻炼锻炼好嘛。”毛泽东还给杨尚昆布置了两个调查研究的任务：一是，看中央和国务院有什么不适合于当地情况的政策、措施，可以写个报告，提点意见；二是，各条条下达了一些什么东西，同中央和国务院相矛盾的帮助理顺一下。

毛泽东还对杨尚昆说，广东那么热，你到那里去干什么？现在既然已经决定了，你去两年到三年，把这个任务完成。先在珠江流域，以后把你调到黄河流域搞个两三年，主要是了解党政机关是不是按照中央精神结合本地实际来进行工作的，更主要的是条条下达的任务是不是互相打架。

杨尚昆对毛泽东说，这个任务是一个很大的任务，可能完成不了，但会努力去做。从毛泽东处回来，田家英问杨尚昆和毛主席谈了些什么，杨尚昆如实告之，田家英听后说糟糕。他对杨尚昆说，如果毛主席狠狠地骂你一顿就好了，就没问题了。