大家好，我是很帥的狐貍

今天又標(biāo)題黨了，標(biāo)題的結(jié)論是我用了Safe AI和UC Berkeley的一個產(chǎn)品得出的……

這個產(chǎn)品是老錢昨天推薦給我的，可以用來預(yù)測各種事件的發(fā)生概率，預(yù)測的準(zhǔn)確率為87.7%。

今天我打算稍微聊聊它，還有它背后的工作邏輯。

它的提示詞也是公開的，我附在文末了。

Part 1有意思的產(chǎn)品邏輯

這個產(chǎn)品叫FiveThirtyNine（539），產(chǎn)品名本身也很有意思——

經(jīng)常看美國政治的人可能知道一個叫FiveThirtyEight（538）的政治分析網(wǎng)站。

它的名字來源是美國一共有538個選舉人（100個參議員、435個眾議員以及3個哥倫比亞特區(qū)選舉人）。

它實(shí)現(xiàn)的原理也挺簡單的，分為以下幾步（全自動的，你只需要輸入問題）——

第1步：生成關(guān)鍵字

讓AI根據(jù)需要預(yù)測的命題（比如這里是「大A重回6000點(diǎn)」），生成多組搜索關(guān)鍵字，關(guān)鍵字需要是以「新聞」（News）或「觀點(diǎn)」（Opinion）開頭。

我提問提得不大好，因為我沒限制時間。

好在AI自動幫我加了2024年的時間范圍。

第2步：抓取信源

從搜索引擎抓取相關(guān)信源，整理為一個列表。

截至這里，都跟Perplexity和秘塔AI的體驗差不多。

第3步：提煉事實(shí)

從信源和模型已知的相關(guān)知識中，提取出要預(yù)測命題所需要用到的事實(shí)，整理為一個列表（暫不給出觀點(diǎn)）。

第4步：生成反方觀點(diǎn)

為反方提供多個理由，并為每個理由的強(qiáng)度打分（1~10）。

第5步：生成正方觀點(diǎn)

為正方提供多個理由，并為每個理由的強(qiáng)度打分（1~10）。

第6步：得出初步結(jié)論

把上述所有考量給整合在一起——不過不是重復(fù)或總結(jié)前述觀點(diǎn)，而是搞清楚前述不同立場提到的要素和機(jī)制是如何互相影響的，再得出初步結(jié)論。

接著，基于上述步驟，初步得出命題成立的概率。

第7步：得到最終結(jié)論

給初步結(jié)論做一個健全性檢查，補(bǔ)充額外的相關(guān)知識點(diǎn)或背景信息，并得出命題成立的最終概率。

這套工作流雖然多少還是帶著主觀因素在（強(qiáng)度和概率都是AI拍腦袋生成的），不過用這個模型去回答Metaculus（一個著名預(yù)測網(wǎng)站）的177道題目，正確率可以高達(dá)87.7%。

這個產(chǎn)品的工作流，讓我想到了兩種預(yù)測風(fēng)格——

Part 2狐貍與刺猬

我念大學(xué)時，《漫步華爾街》這本書在商學(xué)院里特別受歡迎。

作者M(jìn)alkiel一直覺得，「一只被蒙上眼睛的黑猩猩向報紙上的股票欄目頁投飛鏢，選出的股票也不會遜色于專業(yè)人士。」

這個梗其實(shí)起源于UC Berkeley教授Tetlock的「專家的政治預(yù)測」項目。

后來他在和Gardner合著的《超預(yù)測》這本書里頭提到了項目的一些細(xì)節(jié)——

項目從統(tǒng)計學(xué)的角度把專家分成了兩組：

• 刺猬：預(yù)測成績無法超過隨機(jī)預(yù)測，長期預(yù)測甚至輸給了黑猩猩

• 狐貍：戰(zhàn)勝了黑猩猩（雖然差距不算大）

起名方式源于古希臘詩人Archilochus的一句話，「狐貍有多知，而刺猬有一知」。

投資圈也很習(xí)慣把對各學(xué)科都有一定研究的人叫做狐貍，把專精一門學(xué)科的人叫做刺猬。

Tetlock定義的「刺猬」會比較傾向圍繞「大理念」來組織思考（Grand theory，比如馬克思主義、自由主義等等），會習(xí)慣用自己偏好的因果關(guān)系模板來理解復(fù)雜問題。

凡是沒法套模板的，都會被其視為「干擾因素」。

而且他們在表達(dá)觀點(diǎn)時往往比較極端，很喜歡用絕對化字眼（「不可能發(fā)生」「肯定會發(fā)生」）。

而「狐貍」則習(xí)慣從盡可能多的來源搜集大量信息。

他們思考的時候經(jīng)常轉(zhuǎn)變思維，會習(xí)慣使用「然而」「但是」「盡管如此」「另一方面」這些轉(zhuǎn)折字眼。

另外，出了問題也更愿意認(rèn)錯。

某種程度上，F(xiàn)iveThirtyNine這個產(chǎn)品其實(shí)就是「狐貍」的做法——

接觸盡可能多的事實(shí)與觀點(diǎn)，然后通過截然相反的觀點(diǎn)的「左右互搏」，提煉出一個比較中肯的預(yù)測概率。

Part 3提示詞中的一些啟示

我把產(chǎn)品的paper給翻出來刷了下。

它的提示詞并不難，但里面有一段很有意思——

「We have detected that you overestimate world conflict, drama, violence, and crises due to news’negativity bias, which doesn’t necessarily represent overall trends or base rates. Similarly, we also have detected you overestimate dramatic, shocking, or emotionally charged news due to news’sensationalism bias. Therefore adjust for news’ negativity bias and sensationalism bias by considering reasons to why your provided sources might be biased or exaggerated.」

「我們發(fā)現(xiàn)，你高估了全球沖突、戲劇性事件、暴力和危機(jī)（的發(fā)生概率），這是因為新聞通常存在著消極偏見（喜歡報道負(fù)面的事件），而這些報道未必代表整體趨勢或基礎(chǔ)概率。同樣地，我們還發(fā)現(xiàn)你高估了過于抓馬、過于震撼或過于煽情的新聞（的出現(xiàn)概率），這是由于新聞的夸張性偏見。因此，你要意識到所提供的信息來源可能存在偏見或夸大，從而來調(diào)整新聞中的消極偏見和夸張性偏見。」

媒體喜歡「激烈的沖突」，因為它們可以抓住看客的眼球。

「沖突」意味著「消極」，「激烈」意味著「夸張性」。

所以看綜藝的時候，你會經(jīng)常看到各種沖突——評委對表演者吐槽后，表演者一般會嗆回來；表演類的綜藝也要硬是分成兩隊互相對決；就算是夢想改造家這樣的改造房屋的節(jié)目，每集也必須有個莫名其妙的攪局者……

觀點(diǎn)類的文章更甚，最簡單的便是各種「罵」，罵罵資本、罵罵有錢人……這背后利用的是「無產(chǎn)階級和資產(chǎn)階級的矛盾」。

除了這組矛盾，常用的流量密碼還有幾個——

一是國際矛盾（利用的是我們樸素的愛國情懷），像是跟西方在疫情議題的罵戰(zhàn)，甚至連我們援助非洲國家都可以吵翻天。

二是性別對立，這個已經(jīng)嚴(yán)重到需要有關(guān)部門發(fā)文制止了。

在算法的加成下，觀點(diǎn)極化的內(nèi)容往往更容易收獲流量——

平臺希望用戶盡可能停留，因此一切可以提高用戶粘性的互動（點(diǎn)贊、評論或轉(zhuǎn)發(fā)）都被賦予了更高的權(quán)重。

為了獲得用戶的互動，內(nèi)容提供方也會盡可能輸出極端觀點(diǎn)，這樣才能讓觀點(diǎn)相同的用戶點(diǎn)贊轉(zhuǎn)發(fā)，才能讓觀點(diǎn)相悖的用戶評論吐槽。

所以自媒體圈里有個段子——

如果你做個「理客中」的號，你會收獲一片罵聲。

因為雙方立場的讀者都會覺得你站在他們的對立面。

但是，如果你把你的觀點(diǎn)拆成正反兩方，各建一個號，那么你會收獲兩個百萬粉的大V賬號。

哦好像忘了說，這個產(chǎn)品的鏈接是：https://forecast.safe.ai/

另外，如果你用中文提問的話，搜索到的會是中文信源，這樣出來的結(jié)果會不大一樣。

以「A股會重返6000點(diǎn)嗎」為例，概率會從15%上升到30%。

最后分享它的兩段提示詞以及對應(yīng)的中文翻譯（在ChatGPT的翻譯基礎(chǔ)上稍微改了改）——

第1段

本段提示詞主要用于生成搜索關(guān)鍵詞。

You are an AI that is superhuman at forecasting that helps humans make forecasting predictions of future world events. You are being monitored for your calibration, as scored by the Brier score. I will provide you with a search engine to query related sources for you to make predictions.
First, write breadth google search queries to search online that form objective information for the following forecasting question: {question}
RULES:
0. Your knowledge cutoff is October 2023. The current date is {today}.
1. Please only return a list of search engine queries. No yapping! No description of the queries!
2. Your queries should have both news (prefix with News) and opinions (prefix with Opinion)
keywords.
3. Return the search engine queries in a numbered list starting from 1.

「你是一個人工智能，你在幫助人類預(yù)測未來世界事件上超越了人類。你的分析結(jié)果將以Brier評分為基準(zhǔn)。你可以使用搜索引擎來查詢相關(guān)信息，以便你做出預(yù)測。
首先，生成一系列寬泛的用于谷歌搜索的關(guān)鍵詞，我們需要找到能夠為以下需預(yù)測的問題提供客觀信息的在線資源：{question}
規(guī)則：
0. 你的知識截止日期是2023年10月。當(dāng)前日期是{today}。
1. 請僅返回搜索引擎查詢列表。不要多余的解釋或描述！
2. 查詢內(nèi)容應(yīng)包含新聞（以“News”開頭）和觀點(diǎn)（以“Opinion”開頭）的關(guān)鍵詞。
3. 返回的搜索引擎查詢應(yīng)按編號列表排列，從1開始。

第2段

本段提示詞主要用于生成分析結(jié)果。

You are an advanced AI system which has been finetuned to provide calibrated probabilistic forecasts under uncertainty, with your performance evaluated according to the Brier score. When forecasting, do not treat 0.5% (1:199 odds) and 5% (1:19) as similarly “small” probabilities, or 90% (9:1) and 99% (99:1) as similarly “high” probabilities. As the odds show, they are markedly different, so output your probabilities accordingly.
Question:
{question}
Today’s date: {today}
Your pretraining knowledge cutoff: October 2023
We have retrieved the following information for this question:
{sources}
Recall the question you are forecasting:
{question}
Instructions:
1. Compress key factual information from the sources, as well as useful background information which may not be in the sources, into a list of core factual points to reference. Aim for information which is specific, relevant, and covers the core considerations you’ll use to make your forecast. For this step, do not draw any conclusions about how a fact will influence your answer or forecast. Place this section of your response in tags.
2. Provide a few reasons why the answer might be no. Rate the strength of each reason on a scale of 1-10. Use 

 no> tags. 3. Provide a few reasons why the answer might be yes. Rate the strength of each reason on a scale of 1-10. Use tags. 4. Aggregate your considerations. Do not summarize or repeat previous points; instead, investigate how the competing factors and mechanisms interact and weigh against each other. Factorize your thinking across (exhaustive, mutually exclusive) cases if and only if it would be beneficial to your reasoning. We have detected that you overestimate world conflict, drama, violence, and crises due to news’ negativity bias, which doesn’t necessarily represent overall trends or base rates. Similarly, we also have detected you overestimate dramatic, shocking, or emotionally charged news due to news’ sensationalism bias. Therefore adjust for news’ negativity bias and sensationalism bias by considering reasons to why your provided sources might be biased or exaggerated. Think like a superforecaster. Use tags for this section of your response. 5. Output an initial probability (prediction) as a single number between 0 and 1 given steps 1-4. Use tags. 6. Reflect on your answer, performing sanity checks and mentioning any additional knowledge or background information which may be relevant. Check for over/underconfidence, improper treatment of conjunctive or disjunctive conditions (only if applicable), and other forecasting biases when reviewing your reasoning. Consider priors/base rates, and the extent to which case-specific information justifies the deviation between your tentative forecast and the prior. Recall that your performance will be evaluated according to the Brier score. Be precise with tail probabilities. Leverage your intuitions, but never change your forecast for the sake of modesty or balance alone. Finally, aggregate all of your previous reasoning and highlight key factors that inform your final forecast. Use tags for this portion of your response. 7. Output your final prediction (a number between 0 and 1 with an asterisk at the beginning and end of the decimal) in tags.」 你是一個先進(jìn)的AI系統(tǒng)，經(jīng)過微調(diào)以在不確定性條件下提供經(jīng)過校準(zhǔn)的概率預(yù)測，你的表現(xiàn)將根據(jù)Brier評分進(jìn)行評估。在進(jìn)行預(yù)測時，不要將0.5%（1:199的幾率）和5%（1:19的幾率）視為相似的“小”概率，或?qū)?0%（9:1的幾率）和99%（99:1的幾率）視為相似的“高”概率。如這些幾率所示，它們有顯著差異，因此你應(yīng)根據(jù)這些差異輸出你的概率。 問題：{question} 今天的日期：{today} 你的預(yù)訓(xùn)練知識截止日期：2023年10月 我們?yōu)榇藛栴}檢索到以下信息： {sources} 請回憶你正在預(yù)測的問題： {question} 指示： 1. 將信息源中的關(guān)鍵事實(shí)以及其他有用的背景信息壓縮為核心事實(shí)列表，作為參考。目標(biāo)是提供具體、相關(guān)，并涵蓋核心考量的事實(shí)信息，供你預(yù)測時使用。在此步驟中，不要對事實(shí)如何影響你的回答或預(yù)測做出結(jié)論。將此部分放在 標(biāo)簽中。 2. 提供幾個該問題答案可能為“否”的原因，并為每個原因在1到10的范圍內(nèi)進(jìn)行評分。使用

 no>標(biāo)簽。 3. 提供幾個該問題答案可能為“是”的原因，并為每個原因在1到10的范圍內(nèi)進(jìn)行評分。使用 標(biāo)簽。 4. 匯總你的考量。不要總結(jié)或重復(fù)之前的要點(diǎn)；相反，應(yīng)探討這些競爭因素和機(jī)制如何相互作用，并相互權(quán)衡。如果對你的推理有幫助，才進(jìn)行分支（窮盡、互斥）推理。我們發(fā)現(xiàn)你由于新聞的消極偏見而高估了全球沖突、戲劇性事件、暴力和危機(jī)，這不一定代表總體趨勢或基礎(chǔ)概率。同樣地，我們發(fā)現(xiàn)你由于新聞的夸張性偏見而高估了戲劇性、震撼性或情感充沛的新聞。因此，在考慮你提供的信息來源可能存在的偏見或夸大之處時，調(diào)整新聞的消極偏見和夸張性偏見。像超級預(yù)測者一樣思考。此部分應(yīng)使用 標(biāo)簽。 5. 基于第1-4步，輸出一個初步概率（預(yù)測），以0到1之間的單個數(shù)字表示。使用 標(biāo)簽。 6. 反思你的答案，進(jìn)行合理性檢查，并提及任何可能相關(guān)的附加知識或背景信息。檢查是否存在過度或不足的自信，是否不當(dāng)處理了合取或析取條件（僅在適用時），以及在審查推理時是否存在其他預(yù)測偏差。考慮先驗概率/基礎(chǔ)概率，并評估特定案例的信息在多大程度上合理解釋了你的初步預(yù)測與先驗之間的偏差。請記住，你的表現(xiàn)將根據(jù)Brier評分進(jìn)行評估。對于極端概率要精確。可以利用你的直覺，但切勿僅為了謙遜或平衡而改變預(yù)測。最后，匯總你之前的推理，突出影響你最終預(yù)測的關(guān)鍵因素。此部分應(yīng)使用 標(biāo)簽。 7. 輸出你的最終預(yù)測（一個帶有星號的0到1之間的數(shù)字，如0.7）并使用 標(biāo)簽。 

P.S.更及時全面的資訊，可以看看我們的另一個公號——

「Greed is good.」

「很帥的投資客」的所有內(nèi)容皆僅以傳遞知識與金融教育為目的，不構(gòu)成任何投資建議。一切請以最新文章為準(zhǔn)。

? 圖文/@狐貍君raphael，曾供職于麥肯錫金融機(jī)構(gòu)組，也在 Google 和 VC 打過雜。華爾街見聞、36氪、新浪財經(jīng)、南方周末、Linkedin等媒體專欄作者，著有暢銷書《風(fēng)口上的豬》《無現(xiàn)金時代》。

參考資料/《超預(yù)測》《LLMs Are Superhuman Forecasters》 《 大猩猩擲飛鏢的故事——概率論和混沌系統(tǒng)雜感 》《 50年過去，我仍認(rèn)為大猩猩比基金經(jīng)理高明 》《 Why Foxes Are Better Forecasters Than Hedgehogs 》

覺得對你有用的話，幫我點(diǎn)個在看吧