1960年5月23日，閻錫山于臺北市病逝，葬于陽明山，結束了他傳奇的一生。

閻錫山身上有諸多頭銜，他是同盟會元老，辛亥革命的先鋒，北洋軍閥晉系領袖，國軍一級上將，曾擔任“行政院長”、“國防部部長”等諸多要職。

在他死后，蔣介石簽署發布褒揚令，稱贊他“早年追隨國父，著籍同盟。辛亥之役，倡舉義旗，光復三晉……抗戰軍興，任第二戰區司令長官，兼山西省政府主席，創興兵農合一之制，促進生產，增強戰力，厥效彌彰……”

然而，這些明面上的表揚不過是虛與委蛇的官方辭令。事實上，閻錫山逃到臺灣后，國民黨和蔣介石總結失敗原因，對他恨得要死，不然閻錫山不可能在陽明山上隱居十年。

閻錫山去世后第6天，臺北《民族晚報》就專門發表社論《閻錫山值得國葬嗎？》，專門回擊了社會上認為應該為閻錫山這個民國元老舉辦“國葬”的言論。在這篇文章中，作者指責閻錫山認為正是他的“引狼入室”，導致八路軍后來在華北地區坐大。

文章指出，全面抗戰爆發后，閻錫山采取了“聯共抗日”的政策，與薄一波等人合作，成立犧盟會和決死隊，“卒使共黨實力在山西坐大”。然而，1939年，新軍（即決死隊）“叛變15萬之眾，俱投向共匪，成為后來晉察冀區共軍主力”，認為此乃閻錫山之“過”。

1936年，在紅軍改編為八路軍之前，曾舉兵出山西，進行東征戰役，當時閻錫山被打得無力招架。蔣介石的中央軍隨即趁機進入山西，成立“晉陜綏寧四省邊區剿總”，陳誠為總指揮，對閻錫山在山西的統治構成了威脅。蔣介石還積極拉攏晉綏軍的高級將領，挖閻錫山的墻角。對此閻錫山憤恨不已，稱：“我不亡于共，亦要亡于蔣。”

當時的閻錫山，真可謂危機重重，除了國共雙方在此角逐，還有日軍虎視眈眈。為了維護自己的地盤，閻錫山審時度勢，決定聯合八路軍一面抗蔣，一面抗日，希望借助八路軍在政治工作中的特長優勢，為自己培植力量，最后再把八路軍擠走。

對于閻錫山來說，和八路軍合作無疑是一個有風險的決策，閻錫山說：“但是，不跟共產黨合作，又有什么辦法呢？現在我只有用共產黨的辦法，此外都不能抵制日本人和蔣介石。我是用共產黨的辦法削弱共產黨?！?/p>

到1939年，山西新軍已經發展到了4個決死縱隊、一個工兵旅和一個暫編師，共達50個團約五萬多人，加上犧盟會發展的游擊團、保安旅、政保隊等地方武裝共10萬余人，人數和武器都超過了舊軍，尾大難掉。閻錫山于是急忙發動十二月事變，但為時已晚。十二月事變后，薄一波率領決死隊加入八路軍。

從國民黨和蔣介石的角度來看，他們不可能不恨閻錫山：1937年，八路軍渡過黃河，前往抗日一線，三個主力師主要活動區域就是在山西，在這一時期，閻錫山試圖利用八路軍，但弄巧成拙，最終失敗，晉察冀軍區和晉冀魯豫軍區茁壯成長，不僅為閻錫山的覆滅埋下了種子，也為整個國民黨的失敗埋下了種子。

閻錫山自然深知自己理虧，來到臺灣后就躲到陽明山上隱居了起來，很多人認為這是閻錫山自主的選擇，事實上，他是出于無奈和自知之明。隱居10年后，閻錫山病死，其葬禮簡陋粗糙，已經全無當年“山西王”的氣派。