据霍家大女儿霍冰回忆，霍家虽然住在贫苦的小南河村，但生活还算可以。早年父亲霍恩第在镖局里当镖师，因为“秘宗拳第六代传人”的身份，在镖局里很受重视，收入也非常可观。霍家的经济条件因此不算差，能在村里排在中等水平。

凭借“秘宗拳”行走江湖的霍恩第，经常出入关东，因为他只为清白之人和穷苦之人保镖，决不为不义之人保镖，而获得了极高的声望。

霍元甲出生以后，继承了霍恩第的正直品质，深得霍恩第的喜欢。霍恩第最大的愿望便是希望霍元甲能够继承自己的衣钵，传承自己的“秘宗拳”，未来将“秘宗拳”发扬光大，也算是光宗耀祖了。

遗憾的是，霍元甲自幼体弱，经常咳嗽。霍恩第虽然难以接受这样的事实，却也无法改变什么，只好安慰霍元甲，不能练武可以读书，未来一样有出息，但霍元甲能在父亲的语气中感受到他内心的失望。

霍元甲虽然体弱且有肺疾，但他偏偏对习武非常痴迷。虽然表面上不敢忤逆父亲的意志，但每次父亲教导哥哥练武时，他总会偷偷跑去偷学，再趁着夜深人静的时候，一个人跑到竹林里悄悄练习。就这样，在霍家人全不知情的情况下，霍元甲偷学武功数年，勤学苦练之下，不仅达到了强身健体的目的，还具备了一定的功力，丝毫不比霍恩第亲授武功的哥哥差。

霍元甲20岁时，身体已经通过偷偷练武而改善，也有可能是继承了父亲的武学基因，总之，他的力气要远超常人。霍元甲参与务农以后，需要将家里的高粱秸秆运到天津卫卖钱补贴家用。霍元甲一次背起了整整400余斤的高粱秸秆，一直背到天津卫卖了钱，中间没有休息。经过此事，霍恩第才第一次知道，自己眼中的体弱儿子，如今已经是个大力士。