1853年5月，奉東王楊秀清之命，2萬余太平軍將士在天官副丞相林鳳祥、地官正丞相李開芳、春官副丞相吉文元帶領下，自揚州誓師北伐。

太平軍自揚州出發以后，以勢不可擋之勢先破鳳陽臨淮關，連后連下河南歸德府，經睢州，過溫縣，兵臨懷慶府下。

由于太平軍系流動作戰，目標是不在一城一地之得失，怎么快打到北京城怎么來，但因為太平軍沒有后勤保障，而且懷慶又是座物產豐富的府城，所以林鳳祥決定先打下懷慶府，然后補充好糧草再繼續前行。

由于懷慶知府平常官聲甚好，再加上這個人擅長鼓動宣傳，早在太平軍沒攻到這里時，懷慶府百姓就視之為洪水猛獸，此次太平軍來攻，他們自然而然的就站隊官府，與守城官兵一起眾志成城的嚴陣以待的等著太平軍來攻城。

在這樣的情況下，盡管林鳳祥連攻懷慶近兩個月，其間曾數次炸開城墻，但皆被城中軍民冒著炮火打退了太平軍。太平軍剛退，城中百姓便主動協助官兵用磚石堵住缺口。

這個時候，四周清援軍又圍攻上來，林鳳祥為了避免腹背受敵，只好忍痛連夜率隊離開了懷慶府。

同年八月，當憋著一肚子氣的林鳳祥率領太平軍路過山西平陽府時，本來他想繞城而去，但城中團練有一炮手為了試炮，卻沒事找事的向城外放了一炮。而這一炮不偏不倚的一炮，偏偏就把為林鳳祥扛大旗的旗手連人帶旗的給炸飛了。

這一炮可把林鳳祥惹毛了，他當即下令太平軍攻城，而且還準許太平軍破城后殺人劫財。

時平陽城僅有守城官兵百余人，剩下的還有當地團練武裝2000余人。本來城中有兵1500人，但因為山西巡撫去太行山剿賊，所以僅給平陽府留下百人守城。

面對擁有2萬余人的太平軍進攻，知府何維墀為了保住平陽，他一面向太原鎮總兵烏勒欣泰緊急求援，一面將府衙內所有的人員召集在一塊，以重金請求他們協助自己去守城。

為了阻擋太平軍的進攻的腳步，何維墀將城外所有的建筑盡數毀掉，同時斷言太平軍必定從東門攻城，所以他將百余名清軍都布置在東門，而其他城門則交與官員和團練還有百姓去防守。

雖然城上有人把守，但城外百姓卻無人保護，這些人為了活命，便紛紛向太平軍請降，更有甚者，還有大批無業游民動加入太平軍。這樣的現象叫林鳳祥大喜，他當即傳令下去，對城外商賈和百姓務必保全，有敢擅取百姓一物者，皆斬之。

你想啊，平陽城這點人怎么可能守住平陽呢。當林鳳祥布置完畢后，立即組織太平軍同時在四個城門攻城，結果太平軍僅有兩個小時，就在炮火的掩護下從南門殺入城中。隨后，太平軍先后攻破西門和北門，只有東門在何維墀的指揮下尚未被太平軍攻破。

盡管如此但忠于職守的何維墀依然堅持在自己的崗位上，他只想拖住太平軍一會兒是一會兒，萬一太原的援軍在這個關鍵時刻趕到，或許他和城中軍民尚有一線生存的機會。

此時，林鳳祥已經肅清南門、西門、北門的殘敵，他在聽到何維墀尚在東門上頑強的與太平軍作戰信時，林鳳祥便與李開芳、吉文元等人一起趕到東門下。因為他們欽佩何維墀是條漢子，所以林鳳祥命令投降的官員向何維墀喊話，命令他放下武器下來投降，倘若不從的話，將叫城中百姓和他一起陪葬。

面對林鳳祥的喊話，回應他的是何維墀親自燃放的火炮。這一炮又炸死炸傷了十幾個太平軍，就連向何維墀喊話投降的人也當場被炮斃。

林鳳祥見何維墀冥頑不靈，當即命太平軍架起十余座重炮，然后向著何維墀一陣猛轟，將何維墀及城門上的守軍全部炸死。

接著，林鳳祥為了泄憤，命令太平軍對平陽城進行了屠城。

大屠殺一共持續三天，城中有萬余名百姓死在太平軍刀下。殺完人后，林鳳祥命人將平陽城中財物劫掠一空，在一把火燒毀平陽城后揚長而去。