一九三一年九月，湘鄂贛省委、省蘇維埃工農兵政府在長壽街成立。平江縣蘇維埃政府發現一位財務主任賬目不清，貪污了十多塊錢，已由縣蘇保衛局關押，并要判處極刑。

省蘇維埃工農兵政府內外部長余賁民奔走于修水、萬載、崇陽、瀏陽、銅 鼓、平江等地，巡視指導各縣蘇維埃政府的后勤工作，動員一切人力、物力，支援邊區紅色政權和紅軍部隊。

余賁民來到平江縣蘇維埃政府駐地，檢查財經工作。一位同志向余賁民匯報那位財務主任的問題，

余賁民聽后，馬上和那位負責同志一起復查賬目，最后查清是那位主任少記了收入帳，不屬貪污公款，

遂同縣蘇維埃政府研究，取消了對他的懲處。那位主任深受感動，表示以后要吸取教訓，認真負責地做好財務工作。

一九三二年二月，余賁民調湘鄂贛省委任軍事部長。這時，省委領導下的紅十六軍已發展到七千多人。平江、瀏陽、宜春、陽新等地邊區政府都成立了紅軍獨立團。

省委、省蘇維埃政府和省軍區分別從平江、瀏陽遷移至江西萬載縣小源。余賁民非常重視發展各縣地方游擊隊，經常到各縣指導游擊隊的整訓工作，研究游擊戰戰術問題。

平江縣獨立團成立后，發展很快，增添了大批新的干部和戰士。余賁民和獨立團負責人一起，對干部戰士進行了嚴格的政治和軍事訓練。

在訓練中，他發現獨立團一個姓錢的營長行跡可疑，排擠打擊營政委趙順清，并擅自安排親信任連、排長。

余賁民通過調查，截獲了這個營長與敵人暗中聯絡的親筆信，便立即下令將其逮捕。

在確鑿的證據面前，姓錢的不得不供出自己早在一九二八年就叛變革命，以后又假裝越獄，混入我軍充當內奸的罪行。

根據廣大指戰員的要求，余賁民和獨立團負責人決定，將姓錢的暫時關押，報請上級處理，并從部隊中清洗了他所安插的一些親信。

一九三二年十二月，余賁民到小源參加省委召開的一次軍事會議。會議后期，省委接到緊急情報，敵人出動了一個師的兵力，正朝小源逼進。

省委馬上決定，駐小源的一切機關和區鄉干部及當地群眾，均向瀏陽方向轉移。

這天清晨，當轉移的干部群眾二千余人撤離小源四十多里時，前衛連發現一般地主武裝二百余人占據石鼓山，截住了部隊去路。

余賁民聞訊趕到前衛連，要連長全力攻下石鼓山，為省委機關和干部、群眾轉移打開通道。

他到前沿觀察了地形，命令連長帶一個排繞到石鼓山南側，攀越一處陡壁接近敵人，自己帶領兩個排擔任佯攻，從正東的大路上向山上開火。

正當余賁民帶領部隊同敵人浴血奮戰時，前衛連長帶領的一個排攀上懸崖，爬到山頂，向敵人猛力沖殺。

余賁民趁敵軍混亂，指揮部隊與前衛連長的隊伍匯合，殺退敵軍，控制了山頭，掩護大隊安全地通過了石鼓山。

又行二十余里，一個營的敵人將我撤退機關攔腰截所，醫院、兵工廠被阻在后邊。這時，敵人的迫擊部隊已經迫近，情況萬分危急。

走在隊伍前面的余賁民，急率一個連的戰士，猛回頭沖進敵陣，打開一條通路，救出了醫院和兵工廠的人員。

突然，一顆子彈從樹林里飛來，穿透了余賁民的肩胛。幾個戰士奔過來，要背著他撤退。他命令戰士不要管他，繼續阻擊敵人。

余賁民從地上爬起來，提著手槍再次沖向敵人，由于流血過多，沒走出幾步，就昏倒在地。戰士們在余賁民的鼓舞下，發起猛烈的沖鋒，終于將敵人打退。

一個多月后，敵人撤出了江西省萬載縣，省委機關又遷回小源。余賁民在小源的紅軍醫院里治療，傷口有所好轉，已經能夠下地行動了。