1925年11月1日，中共中央发布第62号通告，要求各地选派党、团员前往广州投考第四期黄埔军校。

黄埔军校第四期预招新生3000人，分配到湖北省155个名额，就这样，18岁的林彪考进了黄埔军校。1926年10月4日，林彪黄埔军校毕业，由中共武汉军委分配到国民革命军第四军独立团第三连任见习排长，国民革命军第四军独立团就是在北伐战争中被称为“铁军”的叶挺独立团。

1927年初，叶挺独立团升编为国民革命军第十一军二十五师。在与奉系军阀的一次战斗中，林彪凭机智、果断立下了战功，被提升为第二十五师七十三团一营七连连长。

1927年7月15日，汪精卫继蒋介石发动“四一二”政变后，在武汉发动“七一五”政变。随后，党中央授权周恩来组织前敌委员会，全权指挥南昌起义。林彪所在的第二十五师驻扎在马回岭，是预定参加南昌起义的主力之一。1927年8月1日凌晨，周恩来、贺龙、叶挺、朱德、刘伯承等率领起义军2万余人发动南昌起义。1日下午，第二十五师的大部分官兵从马回岭乘火车开进南昌，并在南昌重新整编，由周士弟担任师长，林彪仍任七连连长。

8月3日，起义部队撤出南昌，开始南下。8月10日左右，南昌起义的负责人周恩来找到陈毅，要陈毅到第二十五师七十三团当团指导员。那时候，团政治首长还不叫党代表，也不叫政治委员，还是按照国民党军队的编制，叫团指导员。临行时，周恩来对他的这位旅法勤工俭学时的好友说：“七十三团是我们党最早建立的一支武装，在北伐战争中有‘铁军’之称。现在有2000多人，你要好好地去工作，不要嫌官小。”陈毅连忙回答说：“什么小哩，你叫我当连指导员我都干，只要搞武装我就干。”