抗日戰爭全面爆發后，國共兩黨開始合作抗日，南方八省的紅軍游擊隊改編為新四軍，陜北一帶的紅軍主力改編為八路軍。蔣介石為了限制八路軍的發展，只給了三個師的番號，每個師定員15000人。而且這三個師的番號原本都是東北軍的，張學良被蔣介石軟禁之后，東北軍也被改編，兵力由17個師縮編為10個師，其中115師、120師和129師的番號都被撤銷。

陜北紅軍改編為八路軍的時候，蔣介石又把這三個番號拿了出來，交給八路軍使用。改編完成后，蔣介石就要求八路軍開赴正面戰場和日軍打陣地戰。這明顯是不懷好意的，當時蔣介石精銳的嫡系中央軍在打陣地戰方面尚且不是日軍的對手，而八路軍沒有山炮和野炮，為數不多的迫擊炮也嚴重缺少炮彈，每名戰士平均只有5發子彈。在這種情況下，蔣介石卻要求裝備簡陋的八路軍在正面戰場和日寇死拼陣地，這明顯是不懷好意的，想要借日軍之手將八路軍消滅。

毛主席一眼就識破了蔣介石的圖謀，為八路軍制定了獨立自主的山地游擊戰方針。平型關大捷之后，八路軍開始大舉向敵后挺進，放手發動群眾，開辟敵后抗日根據地。此舉收到了很好的效果。抗戰期間，八路軍和新四軍在敵后創建了許多抗日根據地，牽制了日軍大量兵力，極大減輕了國軍在正面戰場上的壓力。在八路軍眾多的抗日根據地當中，發展最好的當屬山東抗日根據地。

抗日戰爭全面爆發后不久，日軍大舉入侵山東，手握重兵的韓復榘不戰而逃，將山東拱手讓給了日本人。日軍侵占山東后，在淪陷區內燒殺搶掠，無惡不作，老百姓生活在了水深火熱之中。為了反抗日寇的暴行，時任中共山東省委書記的黎玉挺身而出，領導了徂徠山起義。之后山東許多地方都爆發了武裝起義，經過做工作，黎玉把這些起義部隊組織起來改編為八路軍山東縱隊，自己擔任政委，縱隊司令則由張經武擔任。

部隊雖然拉起來了，但山東縱隊的戰士絕大多數都是沒有經過嚴格軍事訓練的農民，戰斗力有限，因此被日軍稱為土八路。黎玉在前往延安匯報工作的時候，向毛主席提出了一個請求，希望可以派一些八路軍主力部隊前往山東，和山東縱隊并肩作戰，以打開山東抗戰的新局面。毛主席很爽快地就答應了，不久后蕭華率八路軍挺進縱隊來到了冀魯邊，陳光和羅榮桓也率領115師師部和685團來到了山東。

115師主力來到山東后，接連打了幾場大勝仗，迅速在山東站穩了腳跟，極大減輕了山東縱隊面臨的壓力。到1939年夏季的時候，山東境內的八路軍已經發展到了7萬多人，其中山東縱隊的兵力最為雄厚，達到了4萬余人；蕭華率領的挺進縱隊由于有115師的主力為基礎，也發展到了2萬多人；陳光和羅榮桓所部兵力相對較少，但也有8000多人。

山東境內的八路軍總兵力雖然不少，但卻互不統屬，都歸八路軍總部指揮，而且每一部都有自己相對固定的地盤。沒有戰事的時候，還看不出什么弊端。一旦日偽軍大舉圍攻，山東境內八路軍互不統屬的弊端就顯露出來了，基本上是各自為戰，很少有戰役和戰略方面的配合。而且在制定作戰計劃的時候，首先考慮的基本上都是自己這塊根據地的利益，這就導致兵力不能集中使用，有被敵人個個擊破的危險。

要想更好地應對敵人的進攻，就必須把這三部分兵力整合起來，那么該由誰來擔任山東八路軍的掌舵人呢？黎玉是山東抗日根據地的開創者，長期在山東工作，對當地的風土人情極為熟悉，按理說應該由他來擔任這個掌舵人。但黎玉長期從事地方工作，軍事指揮經驗不足，因此他就被排除在外了。這樣一來，剩下的可能人選就只有蕭華、張經武、陳光和羅榮桓了。蕭華和張經武的資歷顯然無法與陳、羅二人相比，而羅榮桓又長期從事政工方面的工作，很少直接指揮大兵團作戰。

經過比較后，陳光就成了最為合適的人選，紅軍時期他多次擔任師長，還擔任過紅一軍團的代軍團長。平型關大捷結束后不久，時任115師師長的林彪在一次遛馬的時候被閻錫山手下的士兵開槍誤傷。由于傷勢較重，被迫前往蘇聯治療。陳光臨危受命，出任115師代師長。他有資歷，也有一定的軍事指揮才能，出任山東八路軍的掌舵人并沒有太大的問題。

但最終上級卻沒有選擇陳光，而是調徐向前入魯，擔任山東八路軍的掌舵人，這是為何呢？黎玉后來回憶說，陳光在山東沒有威望。陳光在山東打過不少好仗，但有一些戰斗也存在爭議，比如陸房突圍，有人就認為部隊傷亡太大，不好向上級交代。黎玉還回憶說，陳光還經常帶部隊強攻一些日寇堅固的據點。以當時八路軍的武器裝備來說，打這樣的據點往往要付出很大的代價。

同時陳光的性子還比較烈，與一些同志的關系不是那么融洽。因此上級在綜合考慮之后，并沒有讓他出任山東八路軍的掌舵人，而是把徐向前調到山東擔任這一職務。不論資歷、能力還是威望，徐向前都足以服眾。但遺憾的是，徐向前在山東的時間并不長，不久后他就回延安參加七大了，期間意外摔傷了腿，短時間內無法再回到山東。

這樣一來，山東八路軍的掌舵人一職又出現了空缺。此時陳光和朱瑞又因為“南大頂事件”發生了不愉快，朱瑞指責115師紀律不好，除衛生外其他工作均無進步。這話說的比較重，陳光不服，當眾和朱瑞頂牛。之后朱瑞給延安寫信，建議陳、羅休息。當時正是應對日寇進攻的關鍵時期，沒有一個掌舵人統一指揮的話，很難把力量聚集起來打擊敵人。

毛主席經過反復考慮后，把陳光和朱瑞雙雙調回來了延安，并讓羅榮桓擔任了山東八路軍的掌舵人。羅榮桓上任后很快就理順了方方面面的關系，山東抗日根據地在他的帶領下取得了極大的發展，成為抗戰期間規模最大的抗日根據地之一。

對于羅榮桓的成績，毛主席給出了高度評價，稱山東只用一個羅榮桓，全盤的棋就活了。抗戰勝利后，羅榮桓、陳光和朱瑞都奔赴東北戰場。羅榮桓擔任了四野的政委，55年被授予元帥軍銜；朱瑞成了東野的炮兵司令，在錦州戰役中不幸犧牲；陳光先是擔任東野縱隊司令，后來又出任四野副參謀長，1954年在廣州含冤去世，年僅49歲