20世纪50年代初期，人民解放军的后勤保障工作正处于历史性转变时期，集中统一的军队后勤工作面临着后勤体制建设、基础建设和统一供应等一系列新的任务和课题，工作千头万绪，十分棘手。

黄克诚了解一段情况后，即正式上班，主持全军后勤全面工作。1954年10月31日，黄克诚出任中央军委秘书长。同月，他被任命为国防部第一副部长、总后勤部部长兼政治委员。1955年，他被授予大将军衔。1956年党的八大他被选为中央委员、中央书记处书记，同年又增补为中央军委委员。1958年8月31日，中共中央政治局决定让黄克诚接任总参谋长一职。

黄克诚在军委的职务越来越多，工作越来越重。

他主管后勤工作前后5年时间，提出和确立了“为国家负责、为部队负责”的指导思想，健全完善后勤工作规章制度，为实现后勤工作向现代化建设的转变奠定了良好基础，后勤机关的地位也因此提高了。

在中央军委长达7年多的时间里，黄克诚协助彭德怀、聂荣臻主持军委、总参日常工作，主持大规模精简整编；保障朝鲜前线的战勤保障；他抵制苏联一长制，提出的“党委集体领导下的首长分工负责制”，被认为是对党和军队政治工作的一大贡献；在炮击金门这一集政治、军事与外交于一体的重大斗争中，他是毛泽东和周恩来、彭德怀的重要助手；他协助彭德怀、聂荣臻领导军队建立新装备向现代化发展，并受命直接领导了“两弹”基地试验场选址和初建工作……总之，黄克诚为人民军队的革命化、现代化和正规化建设作出了巨大的贡献。