正是由于存在着这样一些隔阂与意见分歧，性情比较暴躁的彭德怀往往对粟裕出言不逊。甚至当粟裕在上报的文件上写了“彭副主席并转呈中央、主席”字样时，他都会大发脾气，说：“我不是你的通讯员！”

从朝鲜战场下来以后，周恩来即提名彭接替他主持军委工作，1952年7月得到政治局会议的批准。彭德怀很快走马上任，并立即提名调自己的老部下黄克诚担任副总参谋长的职务。于是，黄克诚成了彭德怀抓军委和总参工作的主要日常助手。

虽然粟裕于1954年10月做了总参谋长，但黄克诚同时被正式任命为军委秘书长，实际上全面负责主持军委和总参的日常工作。不难看出，彭德怀对粟裕这个总参谋长也是信不过的。

一方面彭德怀信不过粟裕，另一方面粟裕为人又一向坚持原则，不事迎合，在自认为正确的问题上，常常是毫不退让，据理力争，加上他们之间对末来战争的认识和战争准备上看法的某些不同，这就不可避免地会在两人之间引起种种矛盾。粟裕就任总参谋长之后，很快就提出抽几个军作为统帅部战略预备队，配置在便于机动的地区，平时由各军区领导，但不编入各军区战斗序列，战时由统帅部统一机动的建议。

对此，彭德怀认为没有必要，说全国都属解放军，一旦战争爆发，统帅部完全可以从各军区临时抽调部队组织战略预备队。粟裕则坚持认为，等战争爆发再抽调组织这支部队，一是会打乱各军区的作战计划；二是战争一爆发，交通被破，部队行动受阻，将会失去战机。成立国防部后，各总部仍直接受中央军委的领导，但彭任国防部长后，为了体现国防部的领导，许多原来由中央军委和总部颁发的命令、反示，都要求改由国防部署名。

而哪些要以国防部的名义发布，哪些不用，又没有明确的规定。于是，总参为中央军委起草的和总参本身下发的命令、文电，就常因署名问题而受到指责。鉴于这种情况，粟裕要求明确国防部与总参谋部的职责，以便今后在日常工作中有所遵循。1955年3月16日，中央军委接受了粟裕的意见，责成总参起草国防部与总参职责条例。但总参一连五易其稿，均未能获得通过。