編輯丨coisini
2022 年,OpenAI 最廣為人知的產品 ChatGPT 問世,此后 OpenAI 又發布了一系列前沿人工智能工具,包括采用逐步「思考」流程、專精邏輯推理任務的模型。這些工具已幫助研究人員潤色文章、編寫代碼、綜述文獻甚至生成假設。
與其他科技巨頭一樣,OpenAI 面臨著模型能耗和訓練數據使用方式的爭議。不同于部分企業的是,OpenAI 幾乎只發布研究人員可用但不可修改的專有模型。這給 OpenAI 的 AI 技術添上了一抹神秘感。
最近,《Nature》就 AI 能否產生原創科學、通用人工智能(AGI)發展及 OpenAI 即將發布的開放權重模型等問題采訪了 OpenAI 首席科學家 Jakub Pachocki。Pachocki 2017 年加入 OpenAI,2024 年起擔任首席科學家。
ScienceAI 對《Nature》訪談內容進行了不改變原意的編譯、整理,內容如下。
科學家們越來越多地使用推理模型,五年后這些模型可能發揮什么作用?
目前,你可以與模型對話,但它只是一個需要持續引導的助手。我預計這一點將發生根本性改變。
我們已經看到,像 OpenAI 的「Deep Research」(一種能整合海量信息的工具)這樣的系統,能在無監督狀態下運行 10-20 分鐘并產出有用成果。但目前用于解決這些查詢的計算資源仍然很少。
對于開放性研究問題,值得投入更多計算資源。我預計未來 AI 將真正具備開展新穎研究的能力。例如,我們將在自主軟件工程、硬件組件的自主設計等領域看到重大進展,其他學科也會有類似應用。
強化學習在 OpenAI 推理模型的開發中有多重要?
初代 ChatGPT 的發布包含無監督預訓練階段,模型通過吸收海量數據構建一種「世界模型」。隨后,我們通過強化學習結合人類反饋,提煉出實用的助手。
你會發現我們真正增強了強化學習階段的作用 —— 我們不僅是在提取某種能力,更是在讓模型發展出自己的思維方式。
問題在于,我們是否還應將這些學習階段割裂看待。推理模型并非在真空中學會思考,它們植根于通過預訓練習得的模型。我重點思考這一階段,并嘗試融合不同方法、理解其相互作用。
你提到模型「思考」,模型真的在推理嗎?還是說它們只是在模擬類似推理的過程?
有一點必須明確:模型的運作方式與人腦不同。經過預訓練的模型雖然學會了關于世界的某些知識,但它并不真正理解自己是如何學會的,也不清楚學習這些知識的時間順序。
但我確信,我們有充分證據表明模型能夠發現新穎的洞見。可以說這是一種推理形式,但這并不意味著它與人類的推理方式相同。
Jakub Pachocki
OpenAI 首席執行官 Sam Altman 表示,公司將很快發布自 2019 年 GPT-2 以來的首個開放模型。你能透露相關計劃嗎?
我非常期待,尤其是向研究人員提供開放權重模型(可供下載并進一步訓練)。隨著模型能力的提升,我們越來越有責任理解不同部署方式對人類的影響。
出于安全考慮,我們很難開放前沿模型的權重。我希望發布的模型能超越現有開源模型。
你對通用人工智能(AGI)的定義是什么?你認為我們何時能實現它?
我的時間預期和定義都已發生重大變化。讀研時,我認為 AI 攻克圍棋是實現 AGI 的里程碑,并以為這需要數十年。但 2016 年 AlphaGo 的勝利徹底顛覆了我的認知。
2017 年加入 OpenAI 時,我仍對實現 AGI 抱有懷疑,但里程碑的達成速度遠超預期。我們在圖靈測試上取得巨大進展,隨后是數學和問題解決能力的突破,預計最難的標準也將很快被超越。
因此,我現在關注的下一個重大里程碑是 AI 產生可量化的經濟影響,尤其是開展原創研究的能力。這最接近我過去對 AGI 的感性認知。這是我們專注的方向,預計本年代末將取得實質性進展。甚至今年,AI 就可能近乎自主地產出有價值的軟件成果 —— 雖然未必能解決重大科學問題。
原文鏈接:https://www.nature.com/articles/d41586-025-01485-2
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.