1937年，抗日战争全面爆发，日军很快沿津浦路南下入侵山东。虽然山东当时尚有10余万部队，但驻扎在此地的国民党大军却闻风而逃，将一个偌大的山东留给日本。

值此危难关头，中共山东省委挺身而出，在省委书记黎玉的带领下扛起山东抗战的使命。

在此后的抗战历史中，山东的抗战局势有些特殊，当时日军对山东的掌控较为薄弱——只掌控了各大主要城市和交通枢纽，对于广泛的农村和县级区域，则兵力较少。

在这一背景下，山东人民在中共的领导下，很快组建多支八路军游击队，山东的抗战局面逐渐好转起来。

随着抗战队伍的壮大，山东很快面临干部急缺的情况，省委书记黎玉亲自前往延安，请求中央派遣大批干部支援山东。

1938年4月，中央派遣50名军政干部携带两部电台从延安出发来到山东，并将山东省委扩大为苏鲁豫皖边区省委；1938年8月，中共中央又抽调了160余名干部学员在张经武等人的带领下支援山东。

在诸多延安人才的支撑下，山东各抗日武装力量快速集结，后来经中央批准，成立了八路军山东纵队，统一指挥山东全省的八路军游击部队，总指挥由张经武担任，政治委员由黎玉担任。

与此同时，中共苏鲁豫皖边区省委也被改为中共中央山东分局，由郭洪涛担任书记——也就是说，此时整个山东根据地形成以郭洪涛、张经武和黎玉为骨干的党和军队的统一领导，并不存在指挥问题。