1945年秋天，叶群抱着立衡，怀着立果，跟随林彪转战太行山区，在过平汉路时，十几名高级将领均被敌人冲散，叶群吓得把立衡扔进炮弹坑里，一马夫见了忙将立衡拾起来，放在马鞍子下面兜着走，后来还是一个班的战士轮换挑着上东北。立衡长大后，与妈妈叶群关系一直较紧，而在感情上，则与爸爸林彪更亲近。

1971年8月，经人牵线搭桥，她同湖南省邵阳市一铁匠的儿子张清霖建立恋爱关系。

“九·一三”事件后，林立衡和男友张清霖先后都被带到当时的政治局驻地北京玉泉山，作一般关押审查。1974年3月，随着“批林批孔”运动的兴起，又被升级为林彪死党待遇，被迫交代林彪为她书赠“笑一笑十年少”、“天马行空”的反动涵义，并被“四人帮”定性为“林彪留下的钉子”。她顶不住“四人帮”的恶意攻击和精神折磨，曾超量服用安眠药自杀，被人发现后送空军医院救活。

两年多的关押和审查，使30岁的林立衡头发落了一半，牙齿也掉了6颗，体重只剩下35公斤。后来，她斗胆向毛主席写信。1974年7月31日，毛泽东下达批示：“解除对林立衡的监护，允许她和张清霖来往，她和死党分子有区别。”根据毛主席的批示，空军政治部领导找她和张清霖谈话，通知同意他俩结婚，同时下放河南开封农场劳动。

在开封农场，夫妻俩早起晚睡，养鸡喂猪，还种了15亩地。春耕时节，立衡在前边牵牛，清霖在后面扶犁，晴天一身汗，雨天一身泥，虽然生活很艰难，但小两口并不绝望。

1975年11月，他俩又作为转业军人重新分配在河南郑州汽车制造厂工作，张清霖在厂职工医院任外科医生，林立衡任齿轮分厂革委会副主任。鉴于林立衡体质太差，夫妻俩决定不要孩子，分厂领导班子就安排她主管计划生育工作。

时间长了以后，尽管夫妻俩小日子过得不错，但他们还是感到缺点什么：觉得家里没有孩子，总是显得冷冷清清。于是，林立衡就把丈夫的两个侄女从湖南老家调到了厂里，一个在车间当工人，一个复习功课报考大学。