1963年12月17日，罗荣桓逝世第二天，林彪得知，不顾刚下过大雪，行车不便，叫秘书关光烈立即备车，陪他一起去医院，单独与罗帅遗体告别。(《南方周末》2012年2月16日《林彪秘书关光烈谈林彪》)悲痛中林彪题词“良师益友”，这是他的肺腑之言。当天《解放军报》刊登《林彪挽罗荣桓同志》：“六亿人意气风发，日月重光，万里长征，方期任重道远。数十年风雨同舟，肝胆相照，一朝永诀，痛失挚友知心。”

12月19日，经毛主席、党中央批准，罗荣桓遗体告别仪式定在15时举行。14时40分，林彪怀着沉痛的心情到北京医院参加集体告别。17时10分向罗帅遗体告别仪式结束，天已经黑了，林彪再次来到告别室，与众元帅鞠躬哀悼，目送罗荣桓遗体抬上灵车，祝罗帅一路走好。

12月22日上午，首都各界公祭罗荣桓大会在劳动人民文化宫举行。9时林彪与刘少奇、朱德等来到罗荣桓灵堂，轮流为罗荣桓守灵，默哀悼念，并慰问家属。10时万人公祭大会开始，邓小平致悼词，刘少奇主祭，林彪与朱德、邓小平等陪祭，与首都军民共同默哀悼念罗荣桓元帅。公祭后，在哀乐声中起灵，林彪与邓小平、彭真等护送罗荣桓的骨灰到八宝山革命公墓。

林彪和罗荣桓在长达十数年的工作中不可能没有矛盾，主要的一次分歧是关于军队“介入”地方的问题。1960年10月28日，罗荣桓在政治学院干部会议上讲话：“我们军队有一些人不太关心地方工作。过去部队每到一个地方就进行社会调查，了解情况，现在根本没有了。”11月2日，罗荣桓听总参动员部部长傅秋涛汇报民兵工作，反映军队干部怕打成“右派”，不敢反映地方情况。罗荣桓从党性原则出发，认为这是群众观点问题。