当时，考虑到工人运动的大局势，以及王荷波的生命安全，组织便将王荷波调离了南京浦镇，安排他到山东济南、青岛等地秘密开展工人运动。1923年6月，王荷波来到广州参加了第三次代表大会，被选为中央执行委员。当时，王荷波和陈独秀、毛泽东、蔡和森等人在一块学习工作，并受到同志们的广泛称赞。

根据当时在中央机关工作的沈雁冰回忆：“王荷波同志身材高大，他说话有感染力。那时候（指在广州时期），中央局由陈独秀、毛泽东、罗章龙、蔡和森、王荷波五人组成，其中王荷波是唯一一位工人党员，由此可见王荷波的德才是非常出众的！”

后来，王荷波又被组织派到上海工作，最初被增补为中央局委员，紧接着又接替邓中夏担任的中央执行委员会委员长。在此期间，王荷波不仅肩负着领导全国工人运动的重任，并且还直接领导铁路、海运，以及江苏、上海等地的工会工作。1925年2月，在河南郑州召开的全国铁路总工会第二次代表大会上，王荷波还被选为全国铁路总工会委员长。

在惊天动地的五卅运动中，王荷波参与领导了上海人民在腥风血雨中与帝国主义进行的英勇斗争。在上海工作期间，王荷波和周恩来、罗亦农、赵世炎等人，在并肩战斗的过程中，结下了深厚的革命情谊。当时，王荷波和周恩来密切配合，组织发起了声势浩大的上海工人武装起义。那时候，周恩来亲切地称呼王荷波为“大哥”。

1927年5月，王荷波参加了在武汉召开的第五次代表大会。这次大会成立了中央监察委员会，王荷波当选中央监察委员会的第一任主席。不久，在著名的“八七会议”上，王荷波又以中央监委主席的身份，被选为临时中央政治局委员。当时，临时中央政治局决定设立北方局、南方局和长江局，北方局由王荷波、蔡和森、刘伯庄、彭述之、张昆弟等人组成，由王荷波担任北方局书记。