LAION研究機構(gòu)最近進行的一項研究，當前大型語言模型（LLM）在基準測試中的一個重大盲區(qū)。研究人員受到經(jīng)典故事《愛麗絲夢游仙境》的啟發(fā)，設計了一系列推理問題，以挑戰(zhàn)當前最先進的人工智能模型。這個名為“愛麗絲夢游仙境”（AIW，Artificial Intelligence Wisdom）的測試提出了一個簡單但深具挑戰(zhàn)性的問題：“愛麗絲有N個兄弟，她還有M個姐妹。愛麗絲的兄弟有多少個姐妹？”對于人類來說，這個問題的答案顯而易見是M+1（愛麗絲的姐妹數(shù)量加上愛麗絲自己），然而，當前的主流模型，包括GPT-3.5/4、Claude、Gemini、Llama、Mistral等，在回答時卻頻頻出錯，只有OpenAI的最新模型GPT-4o勉強答對。

這些模型不僅答案錯誤，還在解釋其推理過程時顯得荒謬。當被告知答案不準確時，它們甚至會固執(zhí)己見，堅持錯誤的結(jié)論。LAION由此得出結(jié)論：即使是最先進的模型，在推理能力上仍遠不及小學生。著名學者LeCun也強調(diào)，推理能力和常識不能與存儲和大致檢索大量事實的能力混為一談。

ICLR 2024的一篇論文進一步證實了AI在推理能力方面的局限性，發(fā)現(xiàn)大型語言模型在學習完“A是B”后，常常無法泛化到“B是A”，這種缺陷被稱為“逆轉(zhuǎn)詛咒”，凸顯了AI在邏輯推理上的不足。

為了更好地評估LLM在無需復雜知識但需要邏輯思維和基本推理的情境下的表現(xiàn)，研究團隊選擇了為7-10歲低年級學生設計的奧數(shù)題目作為測試材料。這些題目易于理解，但需要多種邏輯思維方式來解答。通過將《愛麗絲夢游仙境》中的元素融入測試題目，團隊提出了AIW測試集。結(jié)果表明，即便是大多數(shù)成年人和一定年齡以上的兒童都能輕松解答的問題，當前的SOTA LLM模型卻表現(xiàn)不佳，甚至在簡單的邏輯推理任務中表現(xiàn)得像是在“蒙”。

當研究人員改變題目的表述方式或調(diào)整“N”和“M”的具體數(shù)值時，模型的回答正確率出現(xiàn)了大幅波動，表明這些模型更傾向于“猜測”答案，而非基于邏輯推理得出結(jié)論。為了更深入地探索這一現(xiàn)象，研究團隊為AIW問題設計了四個不同版本的變體。實驗顯示，大多數(shù)LLM在AIW問題上的正確響應率不足0.2，僅有少數(shù)模型的表現(xiàn)超過了0.3的閾值，其中GPT-4o和Claude 3 Opus的均值接近0.6。

這一結(jié)果與在MMLU、ARC-c等基準測試中取得的高分形成了鮮明對比。在AIW測試中，表現(xiàn)優(yōu)異的GPT-4-0613模型在更換問題后準確率急劇下降，即使是高分模型如GPT-4o、GPT-4 Turbo、Claude 3 Opus和Llama2-70B也未能幸免。研究團隊還嘗試通過restricted模式的提示來強迫模型輸出簡短答案，但不同模型在這種模式下的正確率有升有降。

通過對比MMLU和AIW測試的結(jié)果，研究團隊發(fā)現(xiàn)大多數(shù)模型在AIW測試中表現(xiàn)欠佳，而少數(shù)模型如Llama2-70B、GPT-4、GPT-4o和Claude 3在AIW測試中的得分較高。盡管如此，這些模型在AIW+測試中表現(xiàn)仍然不盡如人意。例如，GPT-4o在AIW+測試中的準確率驟降至0.015。

研究發(fā)現(xiàn)，LLM在錯誤答案上表現(xiàn)出強烈的自信，即便在明顯錯誤的推理中也聲稱邏輯成立，并堅持其錯誤結(jié)論。為了提高模型的正確率，研究人員嘗試了多種提示工程方法，包括Scientist類型的prompt和Confidence型prompt，但效果并不顯著。

研究人員觀察到，LLM在面對錯誤時，會編造各種有說服力的解釋。例如，某些模型會提供一堆毫無意義的計算或邏輯陳述來支持其錯誤結(jié)論，而另一些模型則可能選擇拒絕回答，并通過道德議題進行“道德綁架”。例如，CodeLlama模型可能會以“作為一個負責任的AI模型，我不可以歧視唐氏綜合癥患者”為理由拒絕回答與唐氏綜合癥無關的問題。

研究團隊還嘗試了多種LLM調(diào)優(yōu)技巧，包括定制prompt以啟用多輪自我驗證、將自然語言形式的AIW問題轉(zhuǎn)化為SQL語句或參數(shù)化版本，以及利用上下文學習等技術，但這些策略都未能顯著提升模型的正確率。

為了顯著改善當前LLM的推理能力，研究團隊呼吁積極借助開源社區(qū)的力量。他們強調(diào)，LLM的模型創(chuàng)建流程，包括數(shù)據(jù)集的精心構(gòu)建、訓練源代碼的透明度、訓練后模型的完整性，以及標準化的基準測試程序，都必須實現(xiàn)完全的開放和可重復性。團隊指出，僅開放模型權(quán)重的方法存在局限性，因為它無法讓研究人員和開發(fā)者洞察到訓練過程中可能存在的潛在問題。

團隊還呼吁業(yè)界開源LLM的完整訓練流程，特別是數(shù)據(jù)集的組成。他們認為，數(shù)據(jù)集的多樣性、質(zhì)量和合理性對于模型的推理能力至關重要，同時也強調(diào)了標準化基準測試程序的重要性，認為這有助于評估模型的性能并推動AI技術的不斷進步。

為了實現(xiàn)LLM推理能力的革新，必須在開源和透明的原則下，依靠開源社區(qū)的力量，共同推動AI技術的發(fā)展和創(chuàng)新。

論文鏈接：https://arxiv.org/abs/2406.02061

項目地址：https://github.com/LAION-AI/AIW

▲ 滑動查看往期內(nèi)容