1945年8月29日，劉伯承與鄧小平、滕代遠、張際春致電中共中央軍委：閻軍1.6萬人，深入上黨，非集結重兵予以消滅不可。已集結約2.8人進行上黨戰役，堅決消滅該敵。

遠在重慶的毛澤東通過中央軍委回電同意。

9月10日，上黨戰役正式發起。劉伯承與鄧小平把指揮所設到屯留與潞城之間的故縣鎮，以便靠前指揮。劉伯承與鄧小平連續下達了4個命令，依次讓部隊攻擊屯留、長子、潞城、壺關。

長治外圍4城的攻堅戰緊張而有序地進行著。炮兵運用抵近射擊，步兵利用長梯爬城，時間許可時還采用坑道作業，運送炸藥轟城。這些，大大提高了攻城的效果。12日攻克屯留，17日攻克潞城，19日攻克長子、壺關。

劉伯承見戰役第一階段的目標已經實現，立即部署第二階段作戰。20日，他與鄧小平發布第五號作戰命令，指示部隊“以勇猛、速決之作戰奪取長治城，最后殲滅侵入上黨區之敵”，并要求由城東、南、西三面同時攻擊，同時放開北關至城東北角，引誘敵軍外竄，而于野戰中堅決予以殲滅。

在此命令下，八路軍3個縱隊主力齊集長治城下，按照分工分別向東、南、西3個方向攻擊。長治是上黨地區的首府，是過去日軍設防的重點，城高壕深，工事堅固。守敵萬余人是閻軍主力，因一直龜縮不出未有損耗，裝備也較齊全。這時天氣也變得很不利，陰雨連綿，道路泥濘，城墻濕滑。

劉伯承十分了解和體諒部隊的處境，強調要“多方研究敵方守城戰法，準備對策，尤應準備打擊其逆襲”。經過劉伯承的幫助、指導，各部隊普遍重視了攻城的技術和戰術，有組織地向城垣展開了連續的攻擊，至24日，攻克北關等城關據點多處。

27日，劉伯承與鄧小平下達第六號作戰命令，專門對各部隊協同動作、炮火準備、城墻爆破、登城后的縱深戰斗及后梯隊使用等有關戰術問題作了具體規定，以進一步加強攻城的指導。

這時，劉伯承通過內線獲悉，閻錫山擬派重兵增援長治，3個師約七千人已到沁縣，其先頭部隊分兩股伸向夏店和南里村。劉伯承當機決心以攻城打援的戰法，在野戰中殲滅援敵。28日，他與鄧小平下發第七號命令，作了攻城打援的具體部署。

援敵指揮官第7集團軍副總司令彭毓斌預定沿白晉路前進。 30日，劉伯承得報援敵已脫離白晉路改道，立即變更部署，令打援主力依次向虎屯大道兩側轉移，并增派第17師尾敵前進。10月2日，打援主力與敵遭遇在屯留西北王家渠、白龍坡一線。按計劃，八路軍一部正面誘敵繼續前進，主力向敵兩側展開迂回，第17師由敵后向南展開攻擊，將援敵合圍于老爺嶺、西窳、磨盤垴至榆林鎮地區。

一連幾天，彭毓斌一味嚴令部隊火速南進。等到發現被圍，為時已晚，他只得下令部隊就地構筑工事轉入防御。劉伯承下令力求割裂敵人，各個殲滅。激戰數晝夜，八路軍殲滅部分敵人。敵被迫收縮陣地，最后聚集在磨盤垴、老爺嶺地區，缺水、缺糧，疲憊不堪。

此時，劉伯承發現原先情報不確，援敵不只3個師七千余人，而是第7集團軍副總司令率第23、83軍及省防軍等8個師、兩個重炮團，共二萬余人。為了加強兵力優勢，他決定冀南縱隊也北上投入打援。劉伯承在電話里跟陳再道說：

“長治這塊骨頭先不啃它，咱們先吃掉眼前這塊肥肉。陳賡在老爺嶺，陳錫聯在磨盤垴已經按住了敵人的兩條大腿，你趕快從中間大道生北插，掏敵人的卵子。援敵已陷入我四面包圍，很快要發動總攻，你盡快準備出擊。”

為避免敵人作困獸斗，劉伯承故意在北面給敵人留了一個缺口。

10月15日，左翼部隊攻克老爺嶺主峰。援敵在火力打擊和政治攻勢下，不少士兵紛紛放下武器。

當夜，敵軍向北突圍，迂回部隊已先敵占領了虎亭以北的土落村一帶高地，截斷了敵軍退路。劉伯承指揮主力部隊從兩側展開平行追擊，敵潰不成軍，至6日，除二千余人逃脫外，悉被殲滅。彭毓斌被擊斃，數十名高級軍官就擒。至此，上黨戰役攻城打援的第二階段勝利結束。

長治守敵待援無望，向西突圍，企圖橫穿太岳解放區，逃回浮山、翼城。上黨戰役轉入追殲逃敵的第三階段。各追擊部隊密切協同作戰，10月12日，在沁河以東的將軍嶺、桃川地區，八路軍把逃竄的敵第19年全殲。軍長史澤波被俘。

此役，閻錫山的13個師3.8萬人，除逃散3000人外，全部被殲。八路軍生俘了晉軍3.1萬人，繳獲山炮24門，輕、重機槍二千余挺，長、短槍一萬六千余枝。

上黨戰役不僅是解放戰爭的序幕之戰，在政治上也具有重大意義。偉人毛澤東高度評價劉鄧戰法：“太行山、太岳山、中條山的中間，有一個腳盆，就是上黨區。在那個腳盆里，有魚有肉，閻錫山派了十三個師去搶。我們的方針也是老早定了的，就是針鋒相對，寸土必爭。這一回，我們‘對’了，‘爭’了，且‘對’得很好，‘爭’得很好。就是說，把他們的十三個師全部消滅”。