部队受挫后，朱德率部沿闽粤边境南下，当部队到达饶平时，得知起义军主力部队在潮汕失利，就会合从潮汕突围出来的少数队伍退出广东，转战闽赣边境。部队在孤立无援和长途跋涉中，困难越来越多，情况也愈来愈严重。经不起考验的人，有不辞而别的，有叛变的，也有带一个班、一个排甚至一个连公开离队的，队伍里的人愈来愈少，到信丰一带时只剩下七八百人了。据粟裕大将后来回忆，林彪就是一个“想跑而没有跑成的逃兵”。

事情是这样的。当部队到大庾（现大余）县城时，队伍里人数最多的湖南人闹着要回湖南，林彪约一些黄埔军校毕业的中下级军官一起找到陈毅，表示要离开部队另寻出路，还劝陈毅和他们一起走。他们对陈毅说：“队伍不行了，你是个知识分子，没有打过仗，没有搞过队伍，我们是搞过队伍的，与其当俘虏，不如穿便衣走，到上海另外去搞。”陈毅说：“我不走，现在我拿着枪，可以杀土豪劣绅，我一离开队伍，土豪劣绅就要杀我。所以，我不能走。”

有几个要走的听了陈毅的话后还是留下了，后来他们都阵亡了，林彪与少数几个动摇分子离开了部队，朝梅关方向走去。但在山林中，他们遭到反动民团的搜捕、追杀，林彪也与那几个一起离队的人失去了联系，一人踽踽前行。路上，一位好心的山民告诉他，梅关一带的路隘、关口被地主“挨户团”把守得水泄不通，只要碰到操着外地口音的人，轻则搜去财物痛打一顿，重则砍头。

在走投无路的情况下，林彪只得返回部队。回到部队后，林彪向陈毅检讨说：“现在外面老百姓收腰包打人，有时还要杀人，我还是回队伍里来吧。”陈毅就说：“你现在不走就好，回来我欢迎，还是把你的七连抓好吧。”