在此前后，刘亚楼受毛泽东和中央军委派遣，赴苏联伏龙芝军事学院深造，和林彪常有接触。苏德战争爆发时，两人经常出席共产国际总书记季米特洛夫主持的第三国际军事领导人集会，为苏方献计献策。刘亚楼那个未被采纳后被事实证明了的判断，更使林彪对他刮目相看，认为他是天生的军事家，不但胜任参谋长，而且还能当主官。

1946年春，鉴于首战四平失利，东北局势严峻，新被毛泽东和中共中央任命为东北党政军一把手的林彪，和罗荣桓力主已从苏联回来的刘亚楼出任东北民主联军（东北野战军、第四野战军前身）参谋长一职。

刘亚楼从大连后方赶赴哈尔滨上任时，林彪打破了不出门迎人的常规，亲自“屈驾”出迎，握著刘亚楼的手，那平时难得一笑的脸上竟有了笑意，还讲了句让刘亚楼树敌的话：你来了就好，你一个刘亚楼顶我三个参谋长。

也正因为“林（彪）罗（荣桓）刘（亚楼）”三人的团结默契，灵活贯彻中央正确意图，东北野战军屡屡出奇制胜，打了许多堪称经典的妙仗，并成功组织了举世闻名的辽沈战役，解放了东北全境，为中国共产党夺取天下奠定了坚实的基础。对林彪卓越的军事智慧，刘亚楼是由衷佩服的，但并非无原则地听从他。辽沈战役中林彪试图放弃打锦州时，刘亚楼就毫不含糊地予以反对。

有一次林彪还把他的“天机”以题字相赠的形式告诉了刘亚楼：“在生死攸关时，别人都是其次，只有你最重要，此胜之要领也。”不管刘亚楼接受不接受这种“教条”，但从林彪不爱给部属题字这点，可以看出，他和刘亚楼的关系确实非同一般。

林彪在建国后，尤其是担任党中央副主席和国防部长后，高级干部到毛家湾来，都要经过林办主任叶群这一关，但刘亚楼例外。刘亚楼身边的工作人员曾对此举津津乐道。我至少从他们口中听到过两件事。

一是刘亚楼有次去见林彪，在门口被林办人员“挡驾”：“叶主任说了，有事可先通过她。”“什么叶主任不叶主任的！”刘亚楼一边说，一边又将步子往前跨了两步。林办人员见势不妙，慌忙坚持“原则”加以阻拦。刘亚楼见状火了，抡起胳膊，用力推了他一个趔趄。就在这当儿，叶群不失时机地出来了，她向刘亚楼致意后，大声训斥林办人员：“今后103（刘在东北的代号）来找101（林在东北的代号），不要挡驾嘛。”刘亚楼“哼”了一声拔腿进屋。叶群此后“赋予”了他直闯林宅的“特权”。