1940年4月，奉中央軍委命令，擔任八路軍第2縱隊政治委員的黃克誠，率部離開太行山，越過平漢路東進南下，開赴冀魯豫地區，組建了冀魯豫軍區和軍政委員會。中央任命黃克誠兼任軍區司令員和軍政委員會書記。此時，第2縱隊司令員左權奉調回八路軍總部工作，楊得志代理司令員。

黃克誠是個長于思考、具有獨到戰略眼光之人。他感到，此時全縱隊共有2萬多人，這么多部隊集中在一個地區，顯然不利于今后的長遠發展。為更好地貫徹中央關于“鞏固華北、發展華中”的戰略部署精神，黃克誠經過審慎思考，向中央建議：“將第2縱隊分成兩攤子，一部分留冀魯豫堅持斗爭，一部分南越隴海路，向華中發展”。（《大將風云錄》第109頁）

很快，中央采納了黃克誠的建議，電令楊得志留冀魯豫，黃克誠率主力南下華中，并強調指出：“華北敵占領區日益擴大，我之斗爭日益艱苦，不入華中不能生存。在可能發生全國性突變時，我軍決不能限死黃河以北不入中原。故華中是我重要的生命線”。

顯然，中央已把發展華中上升到戰略高度來對待。根據中央指示，6月下旬，黃克誠率領第344旅和新2旅到達豫皖蘇邊區，與彭雪楓率領的新四軍第6支隊會合。中央軍委電示：兩支部隊會合后，合編為八路軍第4縱隊，彭雪楓任司令員，黃克誠任政委，張震任參謀長，蕭望東任政治部主任。

此時的豫皖蘇邊區，到底是怎樣一種形勢呢？

根據中央“發展華中”的指示要求，在這一地區，此時已有好幾支我黨領導的抗日武裝在活動：包括張愛萍組建的新四軍第6支隊第4總隊，八路軍115師第343旅第685團主力改編而成的蘇魯豫支隊，山東八路軍隴海南進支隊。另外，蘇皖縱隊司令員兼政委江華也從山東帶來一批干部和部隊到達皖東北?！坝捎谶@幾支部隊沒有形成統一的指揮領導關系，彼此誰也指揮不了誰”。（《大將風云錄》第110頁）

針對這種情況，中原局書記劉少奇向毛澤東和中央軍委建議：“我在皖東北之部隊，系統指揮不統一，內外部情況均復雜，請中央及朱、彭令黃克誠同志速來蘇皖地區統一指揮，任軍區司令，如能多帶兵力來為更好，否則不能完成任務”。（《大將風云錄》第110頁）

劉少奇還給黃克誠四次發電，要黃克誠率領4縱隊部分部隊跨越津浦路，東進開辟抗日根據地。

黃克誠與彭雪楓商議后，經報毛澤東和中央軍委批準，于8月上旬率3個多團的兵力到達皖東北地區。

8月中旬，黃克誠與劉少奇在中原局駐地盱眙縣的蓮塘會面?！皟扇擞H密地暢談了兩天兩夜”。經二人研究，按照中央的指示，確定將淮河以北、津浦路以東所有我黨領導的武裝部隊，統一整編為八路軍第5縱隊。經報中央批準，任命黃克誠為司令員兼政治委員。

短短的半年間內，黃克誠的職務變化竟然達四次之多：從八路軍第2縱隊政委，到冀魯豫軍區司令員，再到八路軍第4縱隊政委，后又到八路軍第5縱隊司令員兼政委。這種變化充分表明：一是毛澤東和劉少奇對黃克誠高度信任和器重，二是每一次職務變動都是形勢和任務需要，三是黃克誠富于開拓性和獨擋一面能力，四是黃克誠是軍政兼優的領導，總是能夠很好地完成中央所賦予的戰略任務。