1927年8月，南昌起义终以失败告终。究其原因，刘伯承认为：除了敌人力量过于强大之外，没有形成共产党对军队的坚强领导，没有对部队实行有力的政治教育和军事训练等因素，是南昌起义“根本的弱点”。

同年12月起，受中共中央派遣，刘伯承先后进入莫斯科高级步兵学校、苏联最高军事学府伏龙芝军事学院学习。在苏联学习两年半，他刻苦攻读了马恩列斯的军事著作和外国许多军事家的名著，因而大大开阔了眼界，加上对南昌起义失败的思考，更加坚定“治军必治校”的信念。

1930年7月底，刘伯承返抵上海，出任中共中央军委参谋长，协助周恩来举办短期军事训练班，训练中共各省、特委负责人和中央机关干部，增强他们开展武装斗争的能力，这是他“第一次从事红色军事教育”。

期间，他负责讲授暴动方略和游击战、运动战战术，并为中央军委翻译了《苏军步兵战斗条令》，校译了《苏军政治工作条例》、《游击队怎样动作》等材料，一方面作为训练班教材，一方面发到各革命根据地的红军学校，促进了中国工农红军的早期建设。

1932年1月，刘伯承直接奔赴江西中央革命根据地，接替叶剑英出任中国工农红军学校(实际上是红一方面军红军大学)校长兼政委，直至同年10月中旬调任中国工农红军总参谋长。期间，他针对红军以运动战为主的实际，大力培养运动战人才，贡献卓著。

遵义会议后，红军在毛泽东指挥下所向披靡。两相比较，刘伯承深为毛泽东的卓越指挥才能所折服。以后，随着毛泽东军事思想科学理论体系的形成，他更加自觉地宣传和贯彻毛泽东军事思想。