抗日戰爭全面爆發后，陜北一帶的紅軍主力改編為八路軍。但談判的過程并不順利，當時陜北的紅軍總兵力超過了7萬人，延安希望可以編成四個軍，林、賀、劉、徐分別擔任軍長。但蔣介石只愿意給兩個師的番號，由于差距太大，談判進行的很艱難。

不久后北平和天津相繼淪陷，蔣介石急于讓八路軍開赴前線抗日，這才在談判中做了一些讓步，給八路軍增加了一個師的番號。雖然和延安方面的期望仍然有很大的差距，但為了抗日大局，延安方面做出了很大的讓步，最終陜北一帶的紅軍主力改編成了三個師，每個師定員15000人。

這三個主力師當中，115師是以紅一軍團和紅25軍為主改編而成的，因此擔任過紅一軍團軍團長的林就成了師長。120師是以紅二方面軍為主改編的，賀龍也順理成章地成為了師長。129師是以紅四方面軍為主改編而成的，按理來說，四方面軍總指揮徐向前應該出任師長。

但實際情況卻是劉伯承擔任了129師的師長，徐向前成了副師長。為何會出現這種情況呢？紅軍三大主力會師后不久，徐向前率四方面軍主力渡過黃河與馬家軍作戰。由于多種原因，西路軍最終失利。在石窩會議上，陳昌浩決定和徐向前一起返回延安，匯報情況。

四方面軍是徐向前親手發展壯大的，為此他付出了極大的心血。此時部隊面臨絕境，徐向前又怎能忍心離開呢？他對陳昌浩說：“到了這個地步，我們回去干什么？大家都是同生死、共患難過來的，要死也死到一塊嘛！我們留下來，至少能起到穩定軍心的作用。”

但陳昌浩堅持要回延安匯報情況，徐向前也沒有辦法。途中，陳昌浩回了湖北老家。徐向前則艱難地向延安前進，經過40多天的磨難后，他在鎮原縣見到了援西軍司令員劉伯承。原來中央軍委為了給西路軍解圍，專門成立了援西軍。

徐向前見到劉伯承后，心情十分沉痛，說：“伯承同志，西路軍失敗了，我對不起黨！”劉伯承則安慰說：“向前同志，你不要難過！你回來了，就等于西路軍回來了！”經過數日的恢復后，劉伯承派人將徐向前護送到了延安。

剛到延安，毛主席就親自接見了徐向前，并對他說：“向前同志，不要難過，留得青山在，不怕沒柴燒。你能回來就好，有雞就有蛋！”毛主席這番話，給了徐向前很大的安慰，也減輕了他的思想包袱。

不久后抗日戰爭全面爆發，陜北一帶的紅軍主力改編為八路軍，援西軍加上部分陜北紅軍改編成了129師。劉伯承是援西軍的司令員，而且懋功會師后曾在四方面軍工作過一段時間，因此對四方面軍的情況并不陌生，再加上徐向前剛剛經歷了西路軍的失利，這些因素綜合起來，劉伯承就成了129師師長的最佳人選。

徐向前的資歷、職務和威望都不亞于自己，現在卻成了自己的副手，劉伯承心中過意不去，但也沒有辦法。幾個月后，擔任129師政委的張浩因為身體原因離開部隊回到延安休養，政委一職出現了空缺。

劉伯承趁機向毛主席提出，讓徐向前接任張浩，擔任129師的政委。這樣一來，在職務上，二人就平起平坐了。但毛主席卻沒有同意，原因主要有兩個，一是徐向前之前都是負責軍事指揮的，沒有干過政委，這方面的經驗不足。

二是毛主席對徐向前另有安排。毛主席深知徐向前的軍事才能，知道他是獨當一面的大將，當時八路軍在敵后已經有了很大的發展，毛主席決定讓徐向前去敵后開創新局面。不久，徐向前先是被派到了冀南。冀南根據地穩固后，毛主席又把徐向前派到了山東，讓他出任第一縱隊司令，統一領導山東境內的八路軍作戰。

當時山東境內的八路軍既有黎玉領導的山東縱隊，還有陳光和羅榮桓率領的115師。這兩支部隊互不隸屬，都歸八路軍總部管。由于多種原因，山東縱隊和115師的關系，并不融洽，黎玉和陳光也有矛盾。

為了把這兩支部隊擰成一股繩，形成拳頭，更好地打擊敵人，毛主席將徐向前派到了山東，出任山東八路軍的掌舵人。徐向前到山東后，很好地處理了山東縱隊和115師之間的關系，帶領部隊打了不少勝仗。

一年后，他奉命回延安參加七大的準備工作，在一次騎馬的時候，不幸受了傷，不得不住院治療。徐向前離開后，山東八路軍群龍無首，陳光、黎玉和朱瑞之間也產生了新的矛盾。羅榮桓向毛主席建議，讓徐向前重回山東。但由于傷勢較重，徐向前短期內無法離開延安。

毛主席經過深思熟慮后，決定扶正羅榮桓，讓他接替徐向前，擔任山東八路軍的掌舵人，并把朱瑞和陳光都調回了延安。徐向前傷愈后，先是出任了陜甘寧晉綏聯防軍副司令，接著又擔任了抗大的代理校長。

抗戰勝利后，毛主席再次對徐向前委以重任，把他派到華北和閻錫山作戰。在山西，徐向前連戰連捷，將閻錫山打得毫無還手之力，為山西全境的解放作出了極為重要的貢獻。1955年大授銜的時候，129師曾經的搭檔，劉伯承和徐向前雙雙被授予了元帥軍銜。