他的担忧却更深重。老于世故的他十分明白，抗战胜利后上海的租界消失了，市政归于统一，他的黑社会组织不仅失去了赖以生存、繁衍的治安死角，而且失去了最有力的后援——帝国主义，他和他的集团已不再具备勾结帝国主义的媒介和租界别动队的价值；国民党现尽可使用军队、警察、特务等统治上海，犯不上再利用这股名声不好又颇难驾驭的黑社会势力——自己过去呼风唤雨、纵横捭阖的好时光只怕要成为明日黄花。

然而好事没有出现，立即有消息传来，上海市长一职已由钱大均出任；坏事倒比想象得还糟：杜月笙人还未到上海，上海北站已出现大字标语：“打倒社会恶势力！”“杜月笙是恶势力的代表！”“打倒杜月笙！”惊惶之下，杜月笙临时决定改在南站下车。下车时冷冷清清，没有一名政要迎接。

杜月笙得知，使他一返沪就挨当头一棒是他的门生吴绍澍主使。当过他10年徒弟的吴绍澍如今已是身兼上海市政治军事特派员、上海市副市长、国民党上海市党部主任委员等六职的接收大员。吴绍澍知道蒋介石“对帮会的长远政策是消灭”的内部精神，他既要和杜月笙脱离瓜葛，又要扳倒杜月笙以树威，因此公开向杜月笙树起叛帜。杜月笙尴尬抵沪后一直等待他的拜见，然而始终不见人影。后来吴绍澍终于上门，杜月笙大喜，抱病热情接待，不料吴绍澍态度倨傲，丢下几句官话即扬长而去。杜月笙的亲信顾嘉棠、叶焯山及杜门中人咬牙切齿，发誓要把“欺师灭祖”的吴绍澍剁成肉泥。杜月笙强压怒气，一一劝止。他很清楚，如今已非当年。

接着，打击接踵而来。他的门徒谢葆生因汉奸罪被枪毙，他也相救不得；他的总管家、万昌米行老板万墨林被上海市警察局长宣铁吾投进监狱，罪名是“经营私运，垄断市场，操纵物价，资款作弊”；甚至，杜月笙本人后来也被变相扣押。国民党在上海征集“救济特捐”支撑内战，筹款目标无法达到，宣铁吾就变相扣押杜月笙8小时，杜月笙被迫出钱才赎回自由之身。上海市当局已把当年的“亲密朋友”杜月笙当成重点打压的对象，杜月笙及其集团的伸展空间大为压缩。他悲哀地看到，昔日左右逢源、一呼百应的黄金时代的确一去不返了。