抗战爆发后，柯庆施前往延安，担任中共中央统战部副部长、延安女子大学副校长。

电影演员张瑞芳曾经回忆：“当年在延安，柯老还是被亲切地称为老柯的时候，我娘和他住得很近，还不时地为他在棉裤上打补丁。东一块补丁，西一块补丁，最后相似颜色的布头怎么也找不到了，娘说：‘只有一块红布了。’老柯说：‘红布就红布吧。’于是，老柯穿着一条带着红补丁的棉裤到处走，照样挺神气的。”

1947年11月12日石门（石家庄市）解放，柯庆施被任命为石门市市长（石门12月改称石家庄市）；1949年冬，出任南京市市长；1952年11月，出任中共江苏省委书记。1954年9月，中共上海市委第一书记陈毅被任命为国务院副总理兼外交部长，柯庆施接替陈毅出任中共上海市委第一书记。

大作家叶永烈1963年从北京大学毕业之后被分配到上海工作，到了上海，就不断听到关于柯庆施这位第一书记的传闻。

关于柯庆施的传闻，叶永烈在《“上海王”柯庆施》一文记述如下：第一是要求严格，办事雷厉风行。他平日是个神情严肃的人，性格有点急躁，有时候会拍桌子。他手下的干部，差不多都曾挨过他的批评；第二是艰苦朴素，节俭清廉，总是穿圆口布鞋，衣服也很普通，而且不大喜欢在媒体抛头露面……这两点作风，至今仍是应当肯定的。

据上海《文汇报》一位编辑回忆，他有一次送审社论清样到康平路65号柯庆施家中，柯正在吃中饭，餐桌上除一条小鱼之外，便是一盆青菜，一碗米饭。