粟裕是家里第三个孩子，原名粟多珍，小名继业。从这个名字来看，虽然粟家已经家道中落，但是作为比较传统的封建式家长，父亲粟嘉会一心希望儿子能够继承家业。不过，父亲粟嘉会无论如何也不会想到，儿子粟裕最终走上了和继承家业完全相反的道路。

晚年的粟裕在《回忆录》中，曾多次回忆父亲粟嘉会，说父亲性格比较木讷，不愿意与外界接触，一天到晚都呆在家里，有时写写字，有时作作诗，常年不出门。在检查家里的账目之时，父亲非常认真，可是他对市面上的行情一点也不了解。

那时候，少年时期的粟裕非常同情无力还债的佃户，所以他就会利用父亲的这一点，偶尔做假账欺骗父亲，而且很容易欺骗过去。比如说，粟裕在账目上做假，要么只记不收，要么多记少收，然后再用其他办法把账目抹平，这样佃户还债的困难就解决了。

另外还有一件事情，让粟裕感到心烦，那就是父亲擅自作主，硬是给他订下了一门亲事。对方是当地一个富农的女儿，是一个旧式女子，比粟裕大两三岁。粟裕根本不同意这门亲事，认为父亲干涉了他的自由，所以坚决不干。因此，少年时期的粟裕和父亲的关系比较紧张。

相较于父亲，母亲梁完英(又名梁全修)对粟裕就比较宽容，而且经常在父亲责骂粟裕的时候当面呵护他。粟裕6岁进入乡村私塾读书，9岁到国民小学接受新学，或许是因为处于孩童时期，也或许是因为性格使然，他和父亲的脾气秉性也完全不同。

无论是在学龄前，还是在读书之后，粟裕都喜欢和家里的长工们、村子里的工匠们一起玩耍，广交朋友。那时候，粟家有两个长工，他们都是16岁左右的小青年，其中一个叫阿陀。阿陀虽然没读过书，说话还有点结巴，但是他勤劳忠厚，还会讲各种武侠故事。

“草上飞”、“一枝梅”等江湖大侠的名号，就是粟裕从阿陀那里听来的。听了这些行侠仗义的江湖故事之后，粟裕总是幻想着自己哪一天能够遇见大侠们，并跟他们一起浪迹江湖，路见不平拔刀相助。为了实现自己的“江湖梦”，粟裕还经常缠着阿陀，吵闹着让阿陀教他功夫。