张作霖与段系军阀合作时，为了援湘成立奉军总司令部，张作霖自任司令，徐树铮任副司令，杨宇霆任总参谋长。为了扩充实力，杨、徐在洛阳、信阳等地成立了四个旅的军队。张知道后，非常生气，罢了他俩的官。被贬后，杨宇霆在北京(安定门内净土寺胡同)赋闲，生活由京津巨商李景明供给。

1920年直皖战后，张作霖认为治军治政非杨宇霆不行，于是请杨出山回奉天，任东三省巡阅使，上将军公署总参议兼奉天兵工厂督办。因前嫌，少帅张学良和第十军军长郭松龄处处与他为难，就连他亲自举荐的第八军军长姜登选、第九军军长韩麟春有时也反对他。奉天省财政厅长、代省长王永江等文治派对他也没有好感。杨宇霆觉察到自己在东北很难混下去，就向张作霖请求督军江苏。在他赴任前，江苏军阀孙传芳，会办陈调元派沈同午、陈镜为代表，到奉天探察杨宇霆的根底，为以后逐杨作准备。

1925年8月，杨宇霆去江苏任职。他根本想不到一向被他瞧不起的孙传芳、陈调元背后捣鬼。郭松龄也趁机拆台，不待请示张作霖，就将驻浦口的第二步兵旅(三个步兵团，系奉军精锐)调回冀东，驻江苏的奉军只剩丁喜春一个师，驻南京；邢士廉一个师，驻上海。杨宇霆发现孙、陈掣肘便下令邢士廉师速向镇江靠拢，渡江到瓜州集中，丁喜春师向浦口集中北撤。10月16日晚他与陈调元开会中途，谎称身体不适，要到后边洗个澡再接着开会。到了后边，换上便装，让事先已在后门待命的司机陈一恒开车。只身溜出南京，从下关渡江到浦口。

等副官高凤岐等十几个亲随赶到浦口，轮渡已开动，这些人只好乘一只小舢板追到浦口，与杨宇霆一同乘火车北行。陈调元闻讯，急电沿途截击，但杨的专车已过。车到徐州，与事先已在车站等候的山东督军张宗昌一起，平安返回北京，匆匆结束了江苏一行。

1925年10月，郭松龄倒戈反奉，其中就有整倒与他积怨较深的杨宇霆留学生派的因素。12月24日，郭兵败滦州遇害，了却了杨宇霆的一块心病。