在這個充滿不確定性的世界里,明天是否下雨、股票漲跌、手術成功率等問題,都需要用概率來描述。但概率的本質究竟是什么?是硬幣無限次拋擲中正面朝上的頻率,還是人們對下一次正面朝上的信念?這一問題引發了頻率主義與貝葉斯主義兩個學派長達兩個半世紀的爭論。
頻率主義認為概率是客觀存在的,是長期重復實驗中事件發生的比例,就像大量拋擲硬幣后,正反面比例會趨于穩定值。其決策依賴大量數據,如旅游時選熱門景點、約會前查對方信息,追求安全可靠。
貝葉斯主義則視概率為主觀信念的反映,會根據新證據調整。旅游時先憑主觀感受選地,再依體驗更新認知;約會更信直覺,通過互動調整對對方的看法,注重動態過程。 這兩種思維不僅體現在生活決策,也在統計推斷中各有原理與工具,適用場景和局限各異,更觸及概率本質、決定論與自由意志等哲學問題。
本篇文章深入探究這兩種思維模式。以下,Enjoy:
文章轉載自公眾號“DataCafe”
作者:雪鵝
我們生活在一個充滿不確定性的世界:明天會下雨嗎?股票會漲還是跌?一場手術的成功率有多大?
概率正是我們用來描述不確定性的關鍵工具。
可問題是:概率究竟是什么?是一枚硬幣在無限次拋擲中正面朝上的頻率?
還是我們對“硬幣下一次會正面朝上”的信念?
是世界的固有本質,還是僅僅反映了我們的主觀信念?
事實上,針對概率的解釋,一直存在著兩種主流思維方式 —— 頻率派(Frequentist) 和 貝葉斯派(Bayesian),這兩個學派之間有著跨越了兩個半世紀的爭論。
01
兩種概率哲學:
貝葉斯主義 vs 頻率主義
頻率主義認為概率是客觀存在的,是長期重復實驗中事件發生的比例;貝葉斯主義則認為概率是主觀信念的反映,根據新證據不斷調整更新。這種對概率本質理解的差異,也會體現在兩者在生活中的思維和決策方式。
比如在外出旅游時,頻率主義者更傾向于通過已有數據做決策。他們會花時間搜集熱門景點的攻略,把評分最高、評價最多的地方列為首選。在他們看來,這些景點經過大量游客的“實驗驗證”,是更安全可靠的選擇。那些評價較少或鮮有人提及的小眾景點,缺乏數據支持不值得冒險。貝葉斯主義者則更傾向以主觀感受為起點。他們會根據當前認知(比如對目的地的文化、歷史背景的興趣等)先挑選首站地點,隨后通過實際體驗更新認知。他們更注重動態體驗的過程,而非決策的確定性;
又比如決定約會心動對象前,頻率主義者會更傾向用數據驗證感受,像是通過查看對方的社交媒體動態、朋友評價等評估對方是否靠譜,而貝葉斯主義者則更相信自己的直覺,即使對方背景信息模糊,也愿意先基于初步好感展開嘗試,然后通過互動逐步調整對對方的認知。
可以發現,在決策上,頻率主義者更像一個崇尚安全感的保守派,冷靜和嚴謹,強調利用大量數據提煉客觀規律以降低風險。然而,他們對不確定性保持極度克制,面對新情景時缺乏靈活性;貝葉斯主義者則更像一位崇尚直覺的探索者,憑借先驗知識和新證據構建動態認知,樂于嘗試不確定性較高的選擇。他們信念靈活,行動果斷,但也偶爾可能因過度依賴主觀判斷而顯得不夠客觀。
生活中的這兩種思維方式,恰恰體現了統計學中頻率主義與貝葉斯主義在概率理解上的差異:頻率主義注重客觀規律的提煉,而貝葉斯主義強調主觀認知的調整與更新。這種差異不僅塑造了兩種決策風格,也構成了它們在統計推斷中的核心哲學。
兩個學派的核心區別在于對概率本質的理解。
02
頻率統計 vs 貝葉斯統計原理
頻率統計:通過重復試驗逼近真相
“概率是客觀存在的規律”
頻率主義認為概率的本質是事件在長期重復實驗中表現出的客觀規律,而不是主觀信念。試驗次數越多,觀察到的頻率越穩定,越接近真實概率。 比如扔硬幣,最初幾次正反面的比例可能波動很大,但當重復扔上幾千次、幾萬次,正反面出現的比例會趨于一個穩定值,接近1/2,也就是大數定律所說的:重復足夠多次,隨機波動會被抹平,規律自然顯現。
▲ 圖 / DataCafe使用Midjourney生成
頻率主義如何從數據中得出結論?
在頻率統計中,參數就是每個事件背后的「固定特征值」。 參假設你在擲硬幣,正面朝上的概率就是你關心的參數。頻率派認為這個參數是一個確定的值,它可能是 0.5也可能是 0.6,但總之是客觀存在的。就像造物主已經把這個參數寫好了,是像物理常量一樣的客觀存在,我們的任務就是通過大量實驗去逼近這個真實的參數。
核心決策工具
頻率主義通過假設檢驗來做決策。比如,科學實驗常用的“p 值”就是頻率主義用來衡量假設與數據之間沖突程度的工具。
假如你懷疑一枚硬幣是正反不公平的作弊硬幣,你會先假設它是公正的(正面概率是 0.5),然后根據p值來選擇推翻或接受這個假設。如果 p 值很小(通常小于 0.05),說明數據與假設矛盾,我們可能會拒絕原假設。
推斷的核心工具是最大似然估計(MLE)。MLE的基本邏輯是:假設參數是固定的未知量,我們通過計算在這些參數下觀測到當前數據的可能性(似然)來判斷哪個參數值最合理。簡單來說,MLE 就是找到那個最可能生成你觀測到的數據的參數值,用來解釋「為什么你會觀察到這些數據」,用數據倒推出最合理的解釋。
最大似然估計提供了一個最佳點估計值,但單次試驗的結果通常具有不確定性。因此,頻率統計還通過置信區間(CI)來描述這種不確定性。比如一個 95% 的置信區間,意味著在無限次重復實驗中計算出的置信區間中,有 95% 的置信區間會包含真實的參數值。
頻率主義推斷的整個哲學是「真實的參數已經存在,數據雖有噪聲,但足夠多的數據能夠逼近這個真實值」。
換句話說,頻率是對真實概率的一種漸進估計,但它永遠需要大量重復試驗的支持。因此頻率統計特別適合像拋硬幣擲骰子、工廠生產等這種可重復,條件穩定的事件,但對于不能重復的事件(比如明天的天氣這樣的單次事件)或復雜環境(比如金融市場),頻率統計就顯得力不從心。
貝葉斯主義:先有信念,再用數據動態更新信念
“概率是主觀信念的度量”
貝葉斯統計的核心思想是,概率并不一定是客觀存在的規律,而是對某件事情發生可能性的主觀度量。
比如,當你早晨看天氣預報,得知今天下雨的概率是30%。這就是你的初始信念,也就是先驗概率。到了中午,你抬頭發現烏云密布,風也變大了。這些新的線索顯著增加了下雨的可能性,你重新評估認為下雨概率提高到了70%。這個過程就是典型的貝葉斯更新:從已有知識(30%)出發,通過觀察新數據(烏云和大風),重新評估世界的可能狀態。
貝葉斯主義的核心工具是貝葉斯定理:
貝葉斯定理描述了一種更新信念的過程,用動態調整抵消先驗的局限。
公式中:
P(A|B) :后驗概率 —— 也就是我們最終更新后的信念
P(B|A) :在A假設成立下觀察到數據B的概率
P(A) :先驗概率(初始信念, 是我們在沒有新證據之前我們對參數的初始信念。它來源于已有知識、經驗或猜測,可能帶有偏見,但并不要求準確無誤)
P(B) :邊際概率(數據的總體可能性)
貝葉斯公式就像一種懷疑精神的完美體現:承認我們對真實參數一開始可能一無所知,或者只有一些模糊的判斷(先驗信念),然后將已有的信念(先驗分布)與新線索結合,生成一個更準確的新信念(后驗分布)。貝葉斯定理的后驗更新機制提醒我們,我們的決策僅是我們當下認知的產物,而不是最終的真相。
03
兩種方法的適用場景與實際應用
頻率統計的思路非常嚴謹,特別適合處理穩定、大規模數據的環境。
比如工廠生產需要嚴格監控產品質量,頻率統計在這里可以確保生產結果的一致性:比如通過統計過程控制圖監控產品的關鍵指標,利用假設檢驗(如t檢驗)評估生產過程是否異常等;汽車制造商定期抽樣檢測發動機零部件,確保尺寸偏差在設計規范;在醫療與公共衛生決策中,醫療領域頻繁使用大規模臨床試驗和群體數據來制定治療方案。醫生的治療決策和患者的服藥選擇,都間接依賴這種集體智慧。
而貝葉斯方法的優勢在于它能結合先驗知識和實時數據,動態調整判斷,非常適合小樣本和高度不確定的環境。
比如在商業分析中,結合歷史銷售數據和實時市場反饋,貝葉斯模型能不斷更新對新產品成功率的預測;天氣預報中,貝葉斯模型將歷史氣象數據與實時觀測整合在一起,使天氣預報更加精準。例如,颶風軌跡預測會根據新一輪衛星數據不斷調整模型的后驗概率;視頻網站的推薦系統中通過動態更新用戶的行為數據,實時推薦最可能感興趣的影片。貝葉斯方法也是動態控制和人工智能領域的重要工具,比如無人車綜合歷史傳感器數據更新環境模型,動態預測車輛狀態和道路情況。
但這兩種方法也各有局限性。
比如,頻率主義講究樣本足夠多才能下結論,擅長那些可以一遍遍重復的事情。比如工廠里每天生產的幾萬件螺絲釘,但無法應對“只發生一次”的事,比如要預估一顆小行星撞地球會帶來多大影響,它就犯難了——因為沒有過去的“實驗記錄”。頻率主義沒辦法回答具體概率問題,因為它只和零假設較勁,而不關心假設本身的真偽。另一個槽點就是p值的迷之閾值。p值是頻率主義的標配工具,用來衡量實驗結果和假設是否顯著不同。問題在于它過分依賴人為設定的標準(比如p<0.05就算顯著)。這也可能帶來一些荒謬情況:p=0.049的實驗就成功,p=0.051就不顯著,得出完全相悖的實驗結論,但這里面很可能只是隨機波動。
貝葉斯方法可以說是頻率主義的對立面,它能夠很靈活地結合已有知識和新數據動態調整,及時調整后驗給出決策,但也一樣存在硬傷。其局限性主要在于主觀偏見導致的錯誤放大效應。
首先,貝葉斯的方法的起點是“先驗”。也就是你要提前假設一個初步概率,這個先驗可以基于主觀經驗,但如果一開始就猜錯了,后續結論就可能一直跑偏。比如你主觀認定某投資項目的成功率是90%(先驗),但實際上它只有30%。即便后面有新數據糾正,結論可能依然偏樂觀。更糟糕的是,貝葉斯更新過程中,錯誤的先驗會被一步步強化,最后整個判斷離真相越來越遠。
這就有點像下棋,每一步都要基于上一輪的結果。如果某一步棋下錯了后面的局勢可能全盤崩壞。同理,這也會加強信息繭房,比如推薦系統根據你的觀看記錄推薦電影,如果系統一開始認定你愛看喜劇片(哪怕只是你無意中看了幾部),后續更新可能一直強化這個偏見,最后會一直給你主推喜劇,需要后續大量的「主動糾偏」行為來刷新系統對你的印象。
在實際應用中,兩種方法各有優勢和局限:頻率統計適用于大樣本和明確實驗設計的場景,如臨床試驗、A/B 測試,強調客觀和嚴謹,但缺乏靈活性。貝葉斯統計擅長處理小樣本或結合歷史經驗的復雜問題,如疫情建模、罕見病研究,靈活但易受主觀影響。
兩種方法沒有優劣,真正的智慧在于根據問題選擇合適的工具:用頻率統計把握規律,用貝葉斯統計應對不確定性。
04
哲學迷思:
概率、決定論與自由意志
頻率主義的世界觀中,概率是一種客觀的、可以逼近的真理;貝葉斯主義則認為概率是我們對世界不確定性的主觀表達。
那么,概率的本質是什么?它們描述的是一個決定的世界,還是一個隨機的世界?統計學中關于概率的爭論,實際上讓我們觸及了一個更宏大的哲學問題:
我們是真的能擺脫主觀性,追求真正的“客觀”嗎?
想想即便是極度追求「客觀」的頻率主義,它的實驗設計也依賴隱含的假設——比如世界是可重復和穩定的。這本身也是一種“隱性先驗”。無論是頻率主義還是貝葉斯主義,統計學從未真正擺脫人類思維的主觀性框架。我們的認知方式受限于經驗和假設,可能永遠無法觸及“真實的本質”。
▲ 圖 / DataCafe使用Midjourney生成
人生:書中角色還是書外讀者?
擲骰子時,我們覺得結果是隨機的,因為我們看不到背后的復雜因素。但實際上,骰子的重量、桌面的摩擦力、手腕的角度和力量——所有這些因素早已決定了骰子的軌跡。所謂的隨機性,只是我們對這些變量無法完全掌握時,用概率描述的不完全認知。
想象你正在閱讀一本書。你以為自己是翻閱書頁的讀者,可以選擇章節,為角色的命運嘆息。但事實可能更復雜:或許你更像書中的某個角色。你的每一句話、每一個選擇,早已寫在劇本里。而更有趣的是,這只看似能夠自由翻書的手也可能是書中的一部分,包含在更宏大的劇本中。
那么,如果宇宙中的一切都有其規律和概率的解釋,世界是否完全由因果鏈條所支配?而我們又是否真正擁有自由?
拉普拉斯的決定論提供了一種令人著迷的想象:如果有一個“全知全能”的智慧生物(即“拉普拉斯妖”),能夠完全掌握宇宙中每一個粒子的初始位置和動量,以及自然法則的運行規律,那么它便可以預測未來的一切,甚至還原過去的每一個細節。在這種框架下,世界是完全確定的,沒有任何偶然性,甚至你眼下的每一個選擇,早在初始條件中便已注定。
這種觀點讓人震撼也不安。如果一切都是注定的,那我們所謂的自由意志是否不過是一種錯覺?是否我們所有的決定都只是因果鏈條中的一個環節?假如你今天選擇閱讀這篇文章,這真的是你的主動選擇,還是你的經歷、基因和外部環境決定了這一切?
自由意志的可能性:決定與隨機之間的平衡
貝葉斯主義的哲學意蘊為我們提供了另一種視角。它承認世界的不確定性,主張通過新數據不斷更新信念。這種動態調整的方式也許無法完全擺脫“主觀”,但它提醒我們:我們并非注定被完全束縛在因果鎖鏈中,而是可以在不確定性中尋找突破的可能。
你今天的選擇,究竟是自由意志的體現,還是因果關系的必然結果?
你所定義的“命運”,是隨機性的結果,還是劇本里早已寫好的結局?
我們追求的“客觀”,是世界的真實,還是我們認知能力所構造的假象?
或許,真正的答案并不重要。在決定與隨機之間,正是我們有限的自由,賦予了人生以意義。我們的選擇可能是規則與偶然之間的微妙平衡—— 一種有限的自由,卻足以讓我們為自己的命運負責。
我們可能永遠無法觸及世界的本質真相,但這并不妨礙我們為自己的選擇賦予價值,為自己的故事書寫意義。
▲ 圖 / DataCafe使用Midjourney生成
參考資料:
[1] Laplace’s Demon. Wikipedia.
https://en.wikipedia.org/wiki/Laplace%27s_demon
[2] Bayesian Inference Explained. Towards Data Science.
https://towardsdatascience.com/bayesian-inference-explained-79a4f2dc5d2c
[3] Frequentist vs Bayesian Approaches to Statistics. Wikipedia.
https://en.wikipedia.org/wiki/Frequentist_inference
[4] Bayes’ Theorem. Khan Academy.https://www.khanacademy.org/math/statistics-probability/probability-library
[5] Maximum Likelihood Estimation (MLE). Statology.
[6] The Philosophy of Probability: Bayesian vs Frequentist. Stanford Encyclopedia of Philosophy.https://plato.stanford.edu/entries/probability-interpret/
[7] The Role of P-Values in Frequentist Statistics. American Statistical Association.https://www.amstat.org/asa/files/p-values-guidelines
[8] Decision Theory and Bayesian Statistics. JSTOR.https://www.jstor.org/stable/10.1086/677662
[10] Applications of Bayes’ Theorem in Machine Learning. Analytics Vidhya.https://www.analyticsvidhya.com/blog/2016/06/bayesian-statistics-bayes-theorem/
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.