最大的拦路虎就是夫人宋美龄。美龄与大姐关系最好，还把孔祥熙二女儿孔令伟视为己出，要动孔祥熙，不啻于动宋美龄本人。但是不办也不行，这种矛盾再压也压不住了，国民的愤怒到达极点时，那股力量爆发出来，别说他孔祥熙，就是蒋介石本人也抵挡不住。

蒋介石向宋美龄提出此议，果不其然，遭到美龄夫人的激烈反对。蒋介石少有地坚持此议，两人吵的不可开交。美龄夫人一气之下搬到大姐家去住，一去就是半个多月。

后来感到这么下去有碍视听，在蒋介石邀请之下又返回家中。

美龄夫人也不是善茬，她知道蒋介石喜好在日记中记录对时事的看法，于是偷偷翻看。谁知一看之下发现惊人内容，原来蒋介石对孔祥熙的厌恶已达极点，不仅已下定决心要撤去其本兼各职，隐隐还透露出要法办甚至除掉他的想法。

美龄赶紧向大姐、大姐夫示警，赶紧主动辞职！赶紧逃离中国！暂时避一避蒋介石的火气。

不知蒋介石是有意让宋美龄看到，还是真的无意中写下而走漏了消息。孔祥熙得知后也非常害怕，于是让长子孔令侃拿着道歉、辞职信找到蒋介石，承认自己的错误。

蒋介石假意挽留并慰劳之，请他继续担任财政部长等要职，孔祥熙坚辞不受。

恰好，此时美国牵头在布雷顿森林召开国际货币基金会议，因此孔祥熙就被委以中国政府的全权代表，于1944年6月22日率团启程赴美，实际上脱离了财政部长之职，由次长俞鸿钧暂代职务。其原兼行政院副院长之职也就此虚悬。5个月后，孔祥熙被正式免去财政部长，由俞鸿钧接任。

孔家政坛之路就此到头，此后孔祥熙再也没当上什么大官。