回到洛阳之后，宋之问先是卖友求荣，投靠武三思；武三思被杀后，太平公主把持朝政，宋之问就攀附太平公主；再后来，安乐公主的势力占了上风，宋之问又转投安乐公主门下。墙头草，随风倒，左右摇摆不定。

通常，这种人最容易两面不讨好，投奔安乐公主后，太平公主很生气，以宋之问在主持科考时收受贿赂为名，再次将他赶出洛阳，贬到浙江越州任职。

公元710年，李隆基与太平公主联手诛杀了安乐公主，拥立唐睿宗即位，朝中开始清算武氏余孽，认为宋之问“狯险盈恶，无悛悟之心”，是个十足的奸佞小人，一纸诏书，又将他从浙江越州流放到了广西钦州。

流放期间，宋之问“颇自力为政，穷历剡溪山，置酒赋诗，流布京师，人人传讽。”远离京师，摆脱了政治斗争，万念俱灰之后，反而写出了不少佳作，比如这首《度大庾岭》：

度岭方辞国，停轺一望家。魂随南翥鸟，泪尽北枝花。山雨初含霁，江云欲变霞。但令归有日，不敢恨长沙。

比如这首《灵隐寺》：

鹫岭郁岧峣，龙宫锁寂寥。楼观沧海日，门对浙江潮。桂子月中落，天香云外飘。扪萝登塔远，刳木取泉遥。霜薄花更发，冰轻叶未凋。夙龄尚遐异，搜对涤烦嚣。待入天台路，看余度石桥。

相传，诗中那句“楼观沧海日，门对浙江潮。”是因谋反而逃亡在外的初唐四杰之一骆宾王所赠。

还有那首特别彰显文人风骨的《题张老松树》：

岁晚东岩下，周顾何凄恻。日落西山阴，众草起寒色。中有乔松树，使我长叹息。百尺无寸枝，一生自孤直。