1929年3月，徐向前被組織分配到大別山區工作，開始了新的征程。

由于徐向前是黃埔出身，參加過廣州起義，且在海陸豐當過紅4師師長，所以他來到大別山后，被任命為紅11軍31師副師長。當時，紅31師的師長是吳光浩同志，他也是參加過北伐的黃埔學生，還是黃麻起義的領導人之一，在部隊中威望很高。但徐向前到的時候，吳光浩師長已經在和民團的作戰中犧牲了。

為了避免影響部隊和群眾的情緒，組織決定暫時不公開這一消息，所以徐向前名義上是副師長，實際負責全師的軍事指揮。當時和他搭檔的師黨代表是戴克敏，師參謀長是曹學楷。他們也都是參加過黃麻起義的。

徐向前這個山西人初來扎到，人生地不熟，他說話別人聽不懂，別人說話他也聽不懂，還要參謀長曹學楷當翻譯。這無疑給徐向前的領導造成了很大的影響。而且，當時鄂東北的領導機構是特委，徐向前雖然是副師長，但不是特委的委員，特委開會的時候，大家一般都不通知他，只有少數時候才叫他一起去討論軍事問題。除此之外，特委有了什么命令，就由特委常委曹學楷通知他，讓他執行。

那個時候紅31師有4個團，一團的黨代表是王樹聲，最為土生土長的本土干部，他對徐向前這個瘦弱的副師長能不能領導部隊有一些懷疑。很快，徐向前就等來了證明自己的機會。

1929年6月底，徐向前剛剛到任沒多久，就遇到了敵人的“圍剿”。這次“圍剿”在四方面軍史上被叫做“羅李會剿”，因為前來“圍剿”的兩支部隊，是羅霖率領的2個團和李克邦率領的一個營和紅槍會5000多人。

由于事情沒有情報，紅31師倉促迎戰，徐向前認為部隊不能硬頂，而應該撤離根據地，和敵人兜圈子。轉移到來家河后，徐向前下令部隊和敵人打了一仗，結果由于缺乏嚴格的紀律和過硬的戰斗作風，剛一接觸，我們的部隊聽見敵人的機槍聲，就一下跑散了，漫山遍野都是“跑反”的士兵和群眾。

第一仗就打敗了，很多人都因此懷疑徐向前，但徐向前不為所動，他已經通過幾天的觀察熟悉了我們部隊和敵人部隊的一些大致情況。他分析后認為，我們的部隊作戰能力不強，應該采取田忌賽馬的戰術，進攻敵人更弱的部隊，而不是硬碰硬。他把目光對準了李克邦率領的土匪部隊和紅槍會，決定對他們主動發起進攻。在做了周密部署后，徐向前率領31師的兩個團猛撲李克邦的陣地，他身先士卒，沉著應對，連續指揮了5次戰斗，擊斃了李克邦部近百人，還擊斃了一個敵軍營長，俘虜了紅槍會的戴五爺，一仗就把紅槍會這個反動民團給打垮了。

李克邦吃了大虧，連忙撤退。羅霖看到李克邦撤退，所部又不斷受到游擊隊的襲擾，也趕快撤退了。就這樣，徐向前用了不到半個月的時間，就粉碎了“羅李會剿”。

此戰之后，王樹聲心服口服，找到徐向前拜師學藝，問他是怎么部署指揮的，徐向前說很簡單，就是撿軟柿子捏，王樹聲聽了徐向前的一通分析恍然大悟，才知道這位瘦弱的副師長有著驚人的膽魄的才能，自此口服心服。當時王樹聲才24歲，此后他在徐向前的領導下，成長為紅四方面的副總指揮，開國大將。

徐向前晚年寫回憶錄，回憶自己初到大別山的情況時說：回想起來，我那時能在部隊站住腳，很重要的一條就是能帶著部隊打仗。我在黃埔學過，在海陸豐參加過作戰，有游擊經驗，帶著大家打游擊，不斷打勝仗，沒吃過大虧。另一條就是腳踏實地，埋頭苦干。工作中出了問題，主動承擔責任，不埋怨別人。搞了一段時間后，人家看你這人還行，能帶部隊打仗，能和群眾打成一片，沒有什么官架子、特殊化，慢慢地就信任你了。