到1948年底，閻錫山情知大勢已去，開始為他自己安排后路，但他仍表示自己要與太原城共存亡，讓部下為自己賣命。在接見外國記者時發誓：我決心死守太原，太原如果不守，我就同歸于盡。

不久，蔣介石要閻錫山放棄太原，速退西安，擔任西北行營主任，負指揮西北各處重責。干部用飛機接走，軍隊盡量西渡。但閻不同意這件事，仍假裝要堅持固守太原。

與此同時，他已為自己安排后路，指使在南京的楊愛源向代總統李宗仁和美駐華大使司徒雷登及陳納德等人周旋，由他任行政院長，何應欽任國防部長，白崇禧任參謀總長。企圖在太原不能保時，飛往南京任行政院長，太原形勢緩和時，仍統治山西。但就在他的如意算盤就要實現時，李宗仁改變了態度，發表何應欽為行政院長，并請賈景德電閻，告以閣的名望很高，不敢以行政院長委屈，正籌劃崇高名義。

閻接電后，甚為生氣，但因解放軍已迫近城下，總想找出一條逃跑道路，必要時一走了之。因而，復電賈景德云：“為了拯救晉民，名位高下，在所不計，雖副席亦可也。”

隨著太原形勢的緊張，閻錫山也一改過去那種比較和藹的態度，手內時常拿一根木棍，不論親信和部屬，見人就想打，請示或回答公事的人員，見了就要罵。除了過問郊區的戰況和運輸糧食的飛機情形以外，其他事件，一律不愿過問。此種情形，據他周圍的人說，是三十多年從未見過的。

可就在部屬不知怎么辦時，閻卻于1949年3月29日下午又笑容滿面地召集他們開會。他極其和藹地向秘書長吳紹之說：“你把李代總統的電話念給大家聽聽。”閻說：“此次赴京開會，也許三天五天，也許十天八天，候和平談判有了結果，我就回來。”正在這時候，梁化之插嘴說：“天氣已經不早，飛機在機場等候，請早動身吧。”閻不要大家相送，立刻起身，乘坐汽車，風馳電掣地由綏靖公署直奔外均燎溝機場，除梁化之和閻所寵愛的五妹閻慧卿到飛機場送行外，其余人員均送到大堂口，實為幾十年共事的死別。

閻到機場后，在解放軍的大炮射擊下，急忙登機，帶走大量黃金，逃出太原，飛往南京。他到南京的第二天就拜訪了代總統李宗仁，對防守太原作了一番吹噓。李對他說：“你休息幾天吧，暫時不必回去。”此話正中閻的下懷，閻借此不再提回太原的事了。

南京解放后，廣州成為國民黨政府的臨時首都，閻錫山也到了廣州，這時行政院長孫科在內外交困下辭職，閻錫山便以守城“名將”和堅決反共的政治招牌，在CC系的搖旗吶喊聲中，于1949年6月3日擔任了國民黨政府的行政院長。

閻錫山上任后的第一件事就是飛到臺灣向蔣介石請示，然后到桂林同李宗仁敷衍一番。

10月14日，李宗仁和閻錫山在廣州被解放后逃往重慶。10月16日，閻錫山在四川推行總體戰，制定“軍政一元化”的作戰方案。但是，螳臂終難擋車，解放軍入川作戰，進展神速。閻不得不于11月28日又飛逃成都。在成都，他又兼任國民黨教育部成立的“反共救國戰斗團”的團長，妄圖誘騙青年學生充當他的炮灰。12月8日，在解放軍解放成都前夕，閻錫山飛逃臺灣。

閻錫山到臺灣后，通過行政院撥新臺幣20萬元在臺北園山建“招魂琢”，閻題了“先我而死”的嫁匾，撰寫了太原之戰的碑文和祭文，表彰為他而戰死或自殺的可憐部下。

1950年3月，蔣介石又在臺灣做起總統來。陳誠繼任行政院長，閻錫山被趕下政治舞臺。此后，他就只掛著總統府資政和國民黨中央評議委員的空頭銜，匿居陽明山之菁山，很少參加公開活動。這里原來是日本人沒有完工的一個農場，沒有公路、自來水，也沒有電燈電話。閻錫山為了躲避炎熱與臺風，住在這里，每日埋頭寫作，先后出版《收復大陸與土地問題》等著作。1959年，香港《真報》記者和他談重返大陸問題，他說：“一旦如能配合國際局勢，王師跨海北進，直搗黃龍，毫無問題。諸位別看我閻錫山已老態了，真個一旦反攻號響，看吧，我還要請求率領健兒們再打幾個勝仗給國人看看，我有信心，生從太原來，我這把老骨頭仍將活著回太原去。”

可就在閻錫山說這番豪言壯語不久，他就于1960年5月23日病逝于臺北寓所，再也看不到生他、養他的故鄉了。

閻錫山死后，臺灣成立了以何應欽為首的治喪委員會，蔣介石送一塊“愴懷耆勛”的匾額。閻錫山葬于陽明山七星山之陽。

閻氏所處的時代，正是中國最混亂的時期，他在清朝末期、辛亥革命、北洋軍閥、國民政府及國民黨敗退臺灣后的最初十年等幾個時期，總是扮演令人注目的角色，可以說是近代中國政壇上一個名副其實的“不倒翁”，號稱能在三只雞蛋上跳舞，但最終還是被人民解放軍這支正義之師掃地出門。