郭汝瑰出院后，发现自己的联络人袁镜铭已经被国民党逮捕并杀害了。由此郭汝瑰和党组织失去了联系。其后，郭汝瑰又被上级派往日本士官学校读书。郭汝瑰原本认为，现在风声太紧，不如去日本学点真本事，回来后可以为革命做更大的贡献。然而他无论如何也想不到，直到15年后，他才再次与党组织取得联系。为此，他在回忆录中写道：

“岂知这成了我政治生活中的一个转折点，此后走了十几年的弯路。”

在日本士官学校，郭汝瑰并没有待多长时间。因为他到达东瀛后不久，便发生了九一八事变。郭汝瑰和东京的同学们群情激奋，自发地向校方递交退学申请，最终回了国。

虽然没能继续深造，但是郭汝瑰出色的军事才能是谁也不能掩盖得住的。回国后，郭汝瑰进入进入陆军大学第十期学习。当时能进入陆大的军官，都是国民党军中的精英，一期只招收几十人。

郭汝瑰进校时，校长是杨杰。后来热爱当校长的蒋介石自任陆大校长，由此郭汝瑰成为了双重天子门生。既是黄埔生，又是陆大生。蒋军后来戏称陆大毕业的黄埔生为“绿头巾赏穿黄马褂”，这种人比较行时，官运亨通，只绿不黄、只黄不绿都略逊一筹。

抗战爆发后，郭汝瑰开始崭露头角。在淞沪会战中，郭汝瑰担任代理42旅旅长。在这场血战中，敌人用飞机、大炮和舰炮猛轰中国军队阵地，而42旅虽然伤亡惨重，却始终死战不退。在战局的危难关头，郭汝瑰给师长写信留下了遗嘱：

“我八千健儿已经牺牲殆尽了，敌攻势未衰，前途难卜，若阵地存在，我当生还晋见钧座。如阵地失守，我也就战死在疆场。身膏野草，再无见面之期了，他日抗战胜利后，你身为世界名将，乘舰过吴淞口时，如有波涛如山，那就是我来见你了，我有两支钢笔，请给我两个弟弟一人一支，我那只手表就留给我妻子方学兰作纪念。”

这封遗书写得情真意切，令人涕泪横流。写完后，郭汝瑰将笔一丢，抄起冲锋枪便投入了战斗。此战之中，42旅8000余人，战后仅剩2000多人。这一战，也让郭汝瑰奠定了在国民革命军中的地位，成为上海家喻户晓的人物。他的同僚们也对郭汝瑰刮目相看：“原来郭汝瑰不只是个书生而已。”

就这样，郭汝瑰得到了土木系大佬陈诚的青睐，被任命为土木系嫡系部队五十四军参谋长。在武汉会战中，郭汝瑰突破常规，推翻了德国顾问环形防御圈的作战方案。制定了利用幕阜山脉和大别山脉有利地形，在武汉外与敌作战的计划。此战之中，中国军队让日军付出了惨重的伤亡。虽然没能阻止日寇占领武汉，但却成功地迟滞了日军的攻势，使抗战正式进入相持阶段。