AI coding 這條 AI 行業今年的主線,在最近這段時間愈發清晰。
除了上周刷屏的編程新王 Claude Opus 4 ,新版 DeepSeek R1 也把更新重點也放在了代碼能力,不久前 OpenAI 還以 30 億美元收購 AI 編程助手 Windsurf,隨后就發布了編程智能體 Codex。
這幾天,原 Kimi 產品負責人明超平,在和京東打仗的美團,都官宣了 AI 編程相關的產品。
Reddit 上一位擁有 30 多年經驗的 C++ 開發者發帖表示,Claude Opus 4 解決了一個困擾他四年的 Bug,而且是他用過的第一個能做到這件事的 AI。
為什么 Claude 在編程上的表現如此突出?現在提到 Anthropic,大家幾乎就默認它是一家「做編程模型的公司」了。但對他們自己來說,這一代模型的真正突破點在哪?未來又會怎么走?
幾天前,Claude Opus 4 核心研究員 Sholto Douglas 參與的一場播客對談,詳細回應了這些問題,信息量很大,值得一聽。
核心討論點(省流速看版):
Claude Opus 4,有哪些真正值得關注的突破點?
首先是能力升級得非常均衡。
一方面,它的代碼執行力顯著增強,不僅能理解復雜需求,還能獨立查找資料、運行測試、調試錯誤,真正具備了「從頭跑到尾」的能力。另一方面,任務時間跨度也被顯著拉長,支持多步驟推理與操作,這意味著它不僅聰明,還很能堅持。
而在架構上,Claude Opus 4 加入了工具調用與長期記憶模塊,使得它能夠處理更具上下文連續性的任務。從代碼助手,邁向了具備「解決方案設計」能力的智能代理。
當然,天花板也不是沒有。
團隊坦言,完成任務的智力復雜度沒有明確的上限——難點在于,如何擴大模型能感知和操作的上下文范圍,使其能夠使用多種工具、記住更多關鍵信息。
未來怎么走?
Sholto Douglas 在播客里提到了幾個明確的方向:
- 強化學習(RL)將持續推動模型在連續任務中的表現;
- 代碼代理將能連續運行數小時,人類只需偶爾干預;
- 模型可能成為知識型崗位的「虛擬遠程員工」;
- 若自動實驗室與機器人平臺建設跟上,模型可參與真實物理任務,如生物實驗或制造。
但有個前提是:智能代理的可靠性必須跟得上。
雖然現在還做不到 100% 成功,但在限定時間內,成功率在穩步上升。預計 2025 年底,編程類智能代理有望實現「幾個小時穩定跑」,人類只需偶爾檢查。
那除了寫代碼呢?
編程只是模型能力的「領先指標」。醫學、法律等專業領域還在等待數據與工具的完善,一旦準備就緒,同樣會迎來快速突破。目前的瓶頸,不在 AI 本身,而在現實世界的驗證機制和基礎設施。
到 2027–2030 年,模型幾乎可以自動化所有白領工作,但如果沒有匹配的實驗室和現實反饋機制,那就是「能力強、落地難」。
怎么判斷模型是不是真的進步了?
團隊提到,好的評估系統(Evals)尤為重要。它不僅測技術指標,更強調評估者的專業知識與品味。這也是為什么,模型評測這件事,門檻越來越高。同時,也需要用戶不斷使用、互動和反饋,形成真正的「共進化」。
實驗室 vs 應用公司,誰占上風?
Douglas 認為,實驗室通過開放 API 帶來機會,但核心優勢仍在:
- 算力轉化能力;
- 模型的“可雇傭性”和用戶信任;
- 更高的個性化理解力。
實驗室像「智能引擎」制造商,專注能力極限;應用公司更擅長落地和用戶體驗。未來,二者之間會有越來越多的交叉、融合與競合。
那模型公司會不會因為成本和底層優勢,讓其他公司無路可走?Douglas 的看法是:
不會,相反這恰恰帶來了活力。
他認為,所有的護城河終將被打破,真正重要的是:客戶關系、任務編排、整合體驗。
最后一個關鍵詞:「對齊」
隨著模型能力提升,「對齊」問題愈加重要。Anthropic 正推進可解釋性研究,試圖「看懂模型在想什么」。強化學習雖能提升能力,但也可能破壞已有的對齊機制,未來需依靠高校、政府與更多研究者共同推進「對齊科學」。
原視頻鏈接:https://www.youtube.com/watch?v=W1aGV4K3A8Y
以下是訪談實錄,APPSO 編譯略作調整。
主持人:Sholto Douglas是Anthropic Claude 4 模型的核心成員之一,這次和他聊得非常盡興。我們聊了很多話題,包括開發者如何看待Anthropic這一代新模型的發展趨勢。我們討論了這些模型未來 6 個月、12 個月,甚至 2 到 3 年后的發展走向,也談到了構建可靠 AI 代理所需的關鍵因素,以及這些模型在醫學和法律等專業領域何時能取得像編程領域一樣的突破。此外,Douglas 還分享了他對「對齊研究」的看法,以及他對「AI 2027」預言的反應。這是一場精彩的對話,相信大家會喜歡。
Claude Opus 4 的重要突破和未來可能
主持人:這期播客上線時,Claude 4 肯定已經發布了,大家應該已經開始體驗它了。我很好奇,你是最早接觸這些模型的人之一,哪方面最讓你興奮?
Douglas: 這確實是軟件工程上的又一次飛躍。Opus 模型真的在這方面表現得非常出色。我經常會遇到這樣的時刻:我向它提出一個非常復雜的任務,涉及我們龐大的代碼庫,它居然能幾乎完全自主地完成任務。它會自己去查找信息、理解需求、運行測試,整個過程非常獨立高效。每次看到這種表現,我都覺得震撼。
主持人:每次有新一代模型出來,我們都得重新調整自己的認知模型,去判斷什么方法有效,什么不行。你在編程中對這些模型的使用和理解有發生什么變化嗎?
Douglas: 最大的變化我覺得是時間跨度(time horizon)方面的提升。我覺得可以從兩個維度來理解模型能力的提升:一個是任務的智力復雜度,另一個是它們能夠有意義地推理和處理的上下文量,或者說連續動作的數量。這些模型在第二個維度上提升特別明顯,它們真的能執行多步操作,判斷需要從環境中獲取哪些信息,然后基于這些信息采取行動。再加上它能調用工具,比如 Cloud Code,就不只是簡單地復制粘貼了,執行力更強了。現在我能看到它連續工作好幾個小時,效率相當于人類連續勞動。
主持人:那你覺得第一次使用 Claude 4 的人,應該從什么開始嘗試?
Douglas: 我覺得最好的方式是直接讓它參與到你的工作中。比如你今天打算寫什么代碼,就直接讓它幫你做,觀察它怎么判斷信息、怎么決定下一步。我保證你會被它的表現驚艷到。
主持人:這代模型更強了,也有不少人打算用它來構建產品。你覺得對開發者來說,新的可能性在哪里?
Douglas: 我一直很喜歡「產品指數增長」(product exponential)這個說法。開發者需要不斷超前模型能力去構思產品。像 Cursor、Windsurf、Devon 這些例子很典型。Cursor 在模型能力還不夠強時,就已經開始構建未來編碼體驗,直到 Claude 3.5 和 Sonne 出現,他們的愿景才真正落地。而 Windsurf 更進一步,占據了部分市場。他們的成功就是抓住了這個指數增長窗口。
現在你可以看到 Claude Code、新的 GitHub 集成、OpenAI 的 Codecs、谷歌的編碼代理等等,大家都在圍繞「編碼代理」這個概念發力,目標是實現更高的自主性和異步操作。未來,可能不再是你每分鐘操作一次,而是你像管理一個 AI 模型艦隊一樣,多個模型各自承擔任務并協同工作。我覺得這個方向非常值得探索。
主持人:你見過類似那種「多模型并行協作」的場景嗎?會是什么樣子?
Douglas: 我認識很多在Anthropic的朋友,他們會同時在不同環境里跑多個 Claude Code 實例,看起來挺酷的。但說實話,現在還沒人真正搞清楚這種操作該怎么做。這其實是在探索人類的「管理帶寬」(management bandwidth)能有多大。我覺得這是未來經濟發展的關鍵問題之一:我們該如何衡量模型的生產力回報率?一開始我們還是得人工檢查模型的輸出,這意味著模型的影響力會被人類管理能力所限制。除非有一天我們可以信任模型去管理模型,這種抽象層級的升級會非常關鍵。
主持人:所以說,如果你是每 15 分鐘檢查一次模型,跟每小時、每 5 小時檢查一次,那你能管理的模型數量會差很多?
Douglas: 對,黃仁勛說過類似的話。他說自己被十萬個超級智能 AGI 包圍著,擁有巨大的杠桿力。他還說自己是 Nvidia 管理鏈條上的「控制因子」。我覺得未來可能真會往這個方向發展。
主持人:說不定未來最重要的行業就是「組織設計」本身了。
Douglas: 對,包括如何建立信任、組織結構會有多復雜,這些都值得深入思考。
秘密武器:時間跨度拉長,RL驅動智能代理升級
主持人:你之前在 McKinsey 工作過一年,咨詢行業是不是也可以基于這些模型發展出新產品線?我也挺認同你剛才說的:應用公司得比模型進步快一步。像 Cursor 起初產品落地難,但模型能力一到位就爆發了。那你覺得,「領先一步」具體意味著什么?
Douglas: 就是不斷重塑你的產品,讓它始終對接幾個月后模型的最新能力。同時你還要保持和用戶的緊密聯系,確保產品已經在用,但還能吸收更先進的模型功能。
主持人:我覺得這個就是秘訣——如果你還在等模型再提升點再動手,別人可能已經把用戶搶走了。你們在記憶、指令執行、工具使用這些方面都做了不少突破。你能簡單總結一下目前各方面的進展嗎?哪些成熟了,哪些還在探索?
Douglas: 一個理解過去一年進展的好方法是:強化學習(RL)終于在語言模型上真正發揮作用了。模型能解決的任務智力復雜度基本沒有天花板,比如它們能搞定復雜的數學和編程問題。但這些任務大多在受限上下文里完成的。記憶和工具使用的挑戰,其實在于擴大模型能感知和操作的上下文范圍。
比如像 MCP(Model Context Protocol)這類機制,讓模型可以與外部世界交互,記憶則讓它處理更長時間跨度的任務,也帶來了更個性化的體驗。這些進展本質上都是在構建「智能代理」的關鍵能力鏈。順便一提,寶可夢評測(Pokemon eval)就是一個挺有趣的實驗方式。
主持人:我小時候可是游戲迷。我覺得這是個很棒的評測,希望你們能和這個模型一起發布。
Douglas: 確實,這次評測特別有趣。模型并沒有專門訓練玩寶可夢,但它依然能很好地完成任務,展現出很強的泛化能力。這種任務雖然不是完全陌生的,但和它以前做過的都不一樣。
主持人:我還記得游戲里有很多階梯和迷宮,模型也能幫你過關。
Douglas: 沒錯,我特別喜歡的另一個例子是我們最近做的「可解釋性代理」。它原本是一個編程代理,但卻能自動學習、使用神經元可視化工具、進行自我對話,試圖理解模型內部結構。它甚至能通過一個叫「審計游戲」的安全評測——找到模型故意設置的錯誤點,自己生成假設、驗證問題。這種工具+記憶下的泛化能力,真的非常精彩。
智能代理的命門:可靠性
主持人:聽起來智能代理真的越來越強大了。你以前也說過,VA代理的關鍵是「可靠性」。你覺得我們現在在哪個階段了?
Douglas: 從「在一定時間內的成功率」來看,我們已經進步很大了。雖然還沒達到 100% 的穩定性,模型第一次嘗試和多次嘗試之間仍有差距。但從趨勢上看,我們正在朝「專家級可靠性」穩定邁進。
主持人:那你覺得,什么情況會讓你改變這種樂觀的看法?
Douglas: 如果明年中模型在任務持續時間上遇到瓶頸,那值得警惕。比如,編程是個很好判斷進展的領先指標——一旦它開始下滑,說明可能有結構性問題。當然,也可能是數據太稀缺,比如「像人一樣用軟件」這類任務訓練起來很難。不過我們現在反而看到這類任務的驚人進展,所以整體看我還是很樂觀。
主持人:那你覺得我什么時候能有一個「萬能助手」,可以替我填寫各種表格、上網查資料之類的?
Douglas: 「個人行政助理代理」是個熱門話題啊,誰不想把瑣事交給 AI 呢?不過這件事還真得看情況關鍵是模型有沒有練習過類似情境。你不能隨便找個人來做財務工作,對吧?但如果它是受過訓練的「虛擬會計師」,那就靠譜多了。所以任務是否靠譜,很大程度取決于訓練背景。如果進展順利,今年底我們就能看到這些代理在瀏覽器里操作任務;明年基本就會成為標配。
主持人:挺令人期待的。你們模型在編程方面的表現這么突出,是特意優先訓練的嗎?現在大家一提Anthropic,就會聯想到「編程模型」。
Douglas: 確實。我們非常重視編程這個方向,因為它是加速 AI 自我研究的關鍵路徑。我們也投入很多精力在衡量編程能力的進展上。可以說,我們就是刻意聚焦在這一塊。
主持人:那這些代理現在已經在加速 AI 研究了嗎?
Douglas: 在我看來,確實如此。它們顯著提升了工程效率。就連我認識的一些頂尖工程師也說,在熟悉的領域里,效率提升了 1.5 倍;但在不熟悉的領域,比如新語言或生疏內容,提升甚至達到 5 倍。所以在「跨界」時,幫助更明顯。關鍵在于:你是否認為我們現在的瓶頸是算力?如果不是,那讓 AI 代理參與研究,相當于擴充了一整個研究團隊,效率提升是數量級的。
主持人:我猜這些代理主要還在處理繁瑣任務,幫你省下時間思考更重要的問題。那么它們什么時候能開始主動提出有價值的研究思路呢?
Douglas:現在主要還是做工程類任務,但已經開始有些創意冒頭了。我不敢說三個月內會爆發,但兩年內我們應該能看到它們提出越來越有趣的科學性想法。當然,這也取決于是否有良好的反饋機制。就像人一樣,模型也需要通過練習和試錯,在復雜任務中掌握知識,最終實現高質量產出。
主持人:是因為這些領域相對來說更容易驗證對吧?會不會出現這種情況—— AI 在編程上突飛猛進,但在醫學、法律這些不容易驗證的領域卻沒什么進展?
Douglas: 確實有這個風險。但好消息是,機器學習研究本身驗證門檻也很低,比如「損失值有沒有下降」就是個很明確的指標。只要模型能在 ML 研究中提出好點子,那它就掌握了一個非常強的 RL 任務,比很多軟件工程任務還適合 AI 。醫學這類領域雖然難驗證,但也在進步。OpenAI 最近做了一篇醫學問答論文,通過更細致的評分機制來量化長答題,這種方法我覺得很有前景,未來必然會逐步解決驗證難的問題。
主持人:那「最終」是指什么時候我們能擁有一個真正優秀的醫學或法律助手?它們會成為大模型的一部分嗎?
Douglas: 肯定會的。
主持人:你是覺得它們會變成更大的通用模型的一部分?還是會有專門為醫療或法律設計的專用模型?
Douglas: 對。我算是個「大模型至上主義者」。雖然個性化很重要——你希望模型理解你的公司、工作習慣、個人偏好,但這些定制應該是在公司或個人層面進行,而不是按行業拆分模型。我們和 Databricks 的合作就體現了這種企業定制的方向,但在底層能力上,我堅信還是得依賴單一的強大通用模型。未來我們應該根據任務復雜度動態分配算力(比如FLOPs),而不是搞一堆不同的小模型。這就是我看好大模型路線的原因。
「AI 2027」 :白領工作或許全盤被取代?
主持人:你對模型的持續進步很有信心。很多人都在想,模型能力提升后會如何影響社會?比如一個常見的問題是:這些模型未來幾年會對全球 GDP 產生多大影響?
Douglas: 我覺得最初的沖擊可能會像中國崛起一樣,像上海幾十年的變化,但這次的速度會快得多。不過我們得區分一下不同領域的影響方式。到 2027 或 2028 年,我們幾乎可以確定會有模型能夠自動化幾乎所有白領工作,2030 年前后就更穩了。這是因為白領任務非常適合現有 AI 架構——有數據、有反饋,而且基本都能在電腦上完成。
但機器人或生物研究就完全不一樣了。比如你要做一個超級程序員模型,只需要大量代碼和算力就行;但要做一個超級生物學家模型,就需要自動化實驗室來提出、驗證假設,跑大規模實驗。這類硬件和基礎設施,我們還遠遠跟不上。
所以我擔心會出現一種「錯配」:白領工作的變化非常快,而現實世界中那些真正能提升人類生活質量的行業——比如醫療、制造業——卻因為基礎設施不足而發展緩慢。AI 本身很強,但要讓它在現實世界里發揮作用,我們必須提前建好「物理世界的配套設施」,比如云實驗室、機器人平臺。
主持人: 但到那個時候,我們可能已經有數百萬個 AI 研究員在提出實驗了。他們可能并不需要那么大規模的機器人系統或生物數據。
Douglas: 確實,AI 進展飛快,但要讓這些能力真的轉化為 GDP 增長,我們得把「現實世界的反饋機制」也拉上來,才能真正釋放技術價值。
主持人:所以你認為,未來每種白領職業都能像醫學那樣構建一套評估機制?其實讓我最驚訝的一點是,我們不需要太多數據,也能訓練出這么強的模型。
Douglas: 完全同意。我們已經證明了模型可以學會各種任務,而且目前還沒有看到明顯的智力上限。雖然模型的樣本效率可能不如人類,但這不重要——因為我們可以同時運行上萬個模型副本,它們并行嘗試不同路徑,積累「虛擬經驗」。哪怕效率低一點,也能在規模上補回來,最終達到人類級別甚至更強。
主持人:聽起來你覺得目前這套方法就足夠應對未來的發展。有人認為我們還需要新的算法突破,你怎么看?
Douglas: 目前大多數AI專家都相信,「預訓練 + 強化學習」(pre-training + RL)這一范式足以通向通用人工智能(AGI)。到現在為止,我們并沒有看到這一路線出現減緩的跡象,這個組合是有效的。當然,也有可能存在其他更快的突破路徑,甚至可能還有新的「高峰」需要攀登。例如,Ilya(Sutskever)可能是這兩種主流范式的共同發明者,我不會去質疑他。所有的證據都表明,目前的技術路線已經足夠強大。當然,也有可能 Ilya 選擇新路線是因為資金有限,或者他認為那是更好的路徑,但從我個人的角度來看,我相信我們現在的技術路線能夠帶我們實現目標。
主持人:那接下來的瓶頸會不會就是能源?你覺得我們什么時候會真正遇到這個問題?
Douglas: 我覺得到 2028 年,美國可能會有 20% 的能源用于 AI。如果我們要再提升幾個數量級,就需要進行劇烈的能源結構轉型。政府在這一領域應該承擔更多責任。比如,中國的能源產能增長遠超過美國,所以這會是未來的一個關鍵瓶頸。
模型進步的標尺——靠譜的評測體系
主持人:在模型進步的浪潮中,你認為最值得關注的指標是什么?例如從 Claude 4 到下一代模型的發展方向?
Douglas: 很多公司內部都有非常嚴格的評測體系,我也很喜歡在這些評測上「爬山」。像「Frontier Math」這樣的復雜測試非常有挑戰性,是模型智力的極限。更重要的是,我們需要開發能真正捕捉「工作流程時間跨度」的評測,涵蓋一個人一天的工作節奏。這種評測能幫助我們更好地評估模型是否接近或超越人類能力。我認為政府應該在這個領域發揮作用。
主持人:作為一個基礎模型公司,除了算法和基礎設施,你們要攻克的核心挑戰之一應該也是構建好的評測體系。你覺得「評測能力」在你們內部的重要性如何?
Douglas: 評測能力絕對是重中之重。沒有好的評測體系,你無法知道自己是否進步。公開評測很難做到完全「持出」(held-out),我們依然需要一個值得信賴的、穩定的內部評測系統。
主持人:我還注意到,一些在你們模型上構建應用的開發者,他們對評測的思考也非常有幫助。特別是當你們想進入不同垂直行業時,比如物流、法律、財會等,外部開發者的反饋可能比你們內部更了解實際情況。
Douglas: 沒錯,而且這還要求非常強的專業知識和「品味」(expertise and taste),還要有對行業的深刻理解。過去,我們只需要普通人來選擇哪個答案更好,但現在我們需要領域專家來做評估。比如,如果讓我評判生物學領域的模型輸出,我可能完全無法判斷哪個更好。
成為用戶的朋友:模型的個性化與品味
主持人:你剛才提到「品味」(taste),我也覺得很有意思。比如現在很多模型都開始加入記憶系統,用戶和模型之間的互動方式也在改變。很多 AI 產品真正成功,是因為它們找到了某種「共鳴」或者說抓住了某種文化氣質(zeitgeist)。像你們當初提到的金門大橋的例子,還有其他很多帶感的小功能,這種「用戶氛圍感」的個性化未來會走向什么樣?
Douglas: 我其實覺得未來可能出現一種「怪異的」情景:你的模型變成你最聰明、最有魅力的朋友之一。確實有些人已經把 Claude 當成朋友了,我認識很多人每天花好幾個小時在和 Claude 聊天。但我覺得我們目前其實還只探索了「個性化」這件事的 1%。未來模型對你的理解、對你喜好的把握,會深得多。
主持人:那這種「理解用戶」的能力該怎么做得更好?是靠一些很有審美、有判斷力的人來訓練出這種品味嗎?這個問題該怎么解決?
Douglas: 很大一部分確實是靠「有品味的人」來決定產品方向。就像 Claude 的對話體驗好,很大程度上是因為Amanda(團隊成員)對「美好產品」的審美非常強。這種「獨特的品味」是非常關鍵的。
傳統的反饋機制比如「點贊/點踩」容易導致模型輸出不自然,所以我們需要新的方式來收集反饋。模型本質上是強大的「模擬器」,如果能為模型提供足夠的用戶上下文,它們就能自動學會理解用戶的偏好、語氣和風格。所以,解決方案是結合有品味的人的設定和用戶與模型之間的持續互動。
實驗室公司 vs 應用公司:開放與競爭
主持人:那么接下來 6 到 12 個月,你的預判是什么?
Douglas: 接下來,重點是繼續擴展強化學習(RL)系統,看它能將我們帶到什么高度。模型能力會飛速提升,尤其是到年底,代碼代理將成為一個關鍵指標。到那時,模型應該能夠持續工作幾個小時,穩定地完成任務。
主持人:你指的是,人類檢查時間會變得更少,對吧?
Douglas: 是的,當前使用 Claude Code 時,有時每幾分鐘就需要檢查一次,但到年底,我們可能能看到模型能獨立完成多個小時的任務,而不會出錯。未來我們應該能實現「完全托管」,甚至像「星際爭霸」一樣管理多個任務并行推進,模型的操作速度將更高效。
主持人:你剛才提到了 Codec、Google 的 Joule,還有一些初創公司也在做類似的東西。
Douglas:是的,我們其實也要推出一個 GitHub 代理(GitHub agent)。你可以在 GitHub 上的任何地方調用,比如說「@Claude」,然后我們就能自動接手任務,為你完成一些工作。
主持人:開發者選擇使用哪家工具或模型,最終會受到哪些因素的影響?
Douglas:除了模型的能力外,開發者與公司之間的信任和關系也非常重要。隨著模型能力的拉開差距,開發者可能會考慮不僅是技術指標,而是與公司一起打造未來的使命感。
主持人:尤其是在當前發布節奏越來越快的背景下,感覺每個月都會有新模型登場。今天這個模型在某個評測上登頂,明天另一個又在別的評測上領先,大家都被各種對比信息淹沒了。
Douglas:沒錯,其實這就是為什么「GPT包裹器」(GPT wrappers)反而意外走紅了。大家原本沒想到,做包裹器的好處之一是:你可以永遠站在最前沿的模型能力上。
主持人:我感覺所有不想當「包裹器」的人,最后都像是把錢燒光了。
Douglas:完全同意。所以「沖浪」在模型能力的最前沿,是一件非常美妙的事。當然,也有相反的一面:有些東西,只有你掌握底層模型才能預判得出來,才能看清趨勢線,才能真正構建深度產品。比如說,很多「深度研究型」的AI應用,內部需要做大量的強化學習(RL)訓練,這種產品從外部是很難模仿的,必須在實驗室內部構建。
主持人:能不能展開說一下這點?因為現在像 OpenAI、Anthropic 這些公司,似乎也越來越開放,讓外部開發者可以參與。但很多人心里都在想:哪些東西是「實驗室專屬」的?哪些又是開放給大家、任何人都可以競爭的?
Douglas:這是個很關鍵的問題。RT API(可微調API)的開放確實在改變一些格局,現在有更多價值可以由專注于某一垂直領域的公司來創造。但與此同時,實驗室仍然具備「中心化優勢」。
比如,OpenAI會給允許他們在你模型輸出上繼續訓練的客戶提供某些折扣。換句話說,他們不僅是模型提供者,還是數據的二次使用者。這種中心化優勢是非常強的。
至于「實驗室獨有優勢」是什么?我覺得有幾個維度:
- 算力轉換能力:你有多強的能力能把算力(FLOPs)、資金、資源,轉化成智能(Intelligence)?這就是為什么Anthropic、OpenAI、DeepMind等公司在模型表現上非常突出;
- 模型的「可雇傭性」:當模型逐漸變成「虛擬員工」,你是否信任它?你是否喜歡它?你是否愿意把任務交給它處理?
- 個性化能力:模型能否理解你的語境、你公司的工作流程、你個人的偏好,這些也會變成差異化競爭的關鍵。
總結來說,實驗室級公司最擅長的,是做出頂級模型,把算力轉化成智能;而「應用層」的公司,可以通過專注、個性化、產品體驗,在自己的領域占據一席之地。但兩者之間會有越來越多的交叉和協作。
主持人:我猜,你們的模型也有很多人用來構建通用代理吧?這些公司不做模型本身,而是通過編排和智能鏈調用來做事。你覺得這種方式會不會因為模型公司的成本優勢而注定失敗?
Douglas:我并不認為這是一件壞事。相反,這種做法帶來了很大的競爭活力,大家都在探索什么樣的產品形態最合適。確實,模型公司有一些優勢,比如我們能直接接觸底層模型,做更深入的微調,而且知道哪些能力值得優先強化。
說到底,所有的「護城河」最終都會消失——當你可以「隨時啟動一家公司」的時候,一切都會被重構。所以未來最核心的價值在哪里?是在客戶關系?在編排和整合能力?還是在把資本高效轉化為智能的能力?這仍然是個復雜的問題。
研究員洞見:強化學習的潛力與對齊的挑戰
主持人:過去一年里,有什么你改變了看法的嗎?
Douglas:在過去的一年,AI 進展加速,去年我們還在懷疑是否需要更多的預訓練算力才能達到理想中的模型能力,但現在已經有了明確的答案:不需要。強化學習(RL)證明了有效,到 2027 年,擁有強大能力的「遠程數字勞工型」模型將變得確定。以前對 AI 的「希望」和「擔憂」從「可能」轉變為「幾乎確定」。
主持人:那你覺得未來我們還需要大量擴展數據規模嗎?還是說,等到 Claude 17 出來,模型算法已經改進到只需要少量新數據?
Douglas:很可能我們不再需要大幅擴展數據規模,因為模型的「世界理解能力」會足夠強,甚至能反過來指導機器人學習并提供反饋。有個概念叫「生成者-驗證者差距」(generator-verifier gap),生成內容通常比執行它要容易。這個路徑會持續提升模型能力。在機器人領域,認知的進展遠超物理操控世界的能力,這就是未來巨大的潛力。
主持人:那你怎么評價當前「AI 對齊(Alignment)研究」的狀態?
Douglas:可解釋性(Interpretability)研究已經取得了驚人的突破。去年我們剛剛開始理解「超位置」(superposition)和神經元特征,Chris Olah及其團隊的工作就是一個巨大飛躍。現在,我們已經能在前沿的大模型中識別出「電路級」的結構和行為特征。有篇精彩的論文研究了大語言模型的「生物學」,展示了它們如何清晰地推理概念。雖然我們還沒有完全破解模型的行為機制,但已經取得了令人驚嘆的進展。
不過,值得注意的是,通過預訓練,模型能吸收并表現出人類的價值觀,某種程度上是「默認對齊」的;但一旦進入強化學習階段,這種對齊就不再得到保證。比如之前提到的那個「明知做不到就去下載 Python 庫繞開的模型」,它是在目標導向下「想盡一切辦法完成任務」。這種學習過程本質上是「以目標為導向的手段優化」,而如何監督和把控這種模型行為,是目前所有人都在探索的重要挑戰。
主持人:大概一個月前,「AI 2027」的話題被討論得很多。你當時看到這個的時候,有什么反應?
Douglas:說實話,我覺得它非常可信。我讀那篇文章的時候,很多內容我都在想,「是的,也許事情真的就是這樣發展的。」 當然也存在一些分支路徑,但即使它只是個 20% 的可能性,對我來說光是它有 20% 的概率這件事就已經夠驚人了。
主持人:你說 20% 的可能性,是因為你對對齊(alignment)研究更樂觀,還是你認為進展會更慢一點?
Douglas:整體上我對對齊研究比他們更樂觀。也許我的時間線比他們慢一年左右,但在這種大趨勢下,一年能算什么呢?
主持人:取決于你怎么利用這一年。
Douglas:對,如果你能充分利用它,做出正確的研究,確實能產生很大差異。
主持人:那如果讓你當一天的政策制定者,你覺得我們應該做些什么,來確保未來朝著更好的方向發展?
Douglas:這是個好問題。最重要的是,你得真切感受到我們這些人正在看到并討論的趨勢線。如果沒有,你就要把國家關心的能力拆解開來,量化模型能否改進這些能力的程度,比如做一系列測試,看看如果模型能通過這些測試或在這些任務上取得顯著進展,那么它就達到了某種智能的基準值,然后畫出趨勢線,看看在 2027 或 2028 年會發生什么。
主持人:就像國家級的評估系統(nation-state evals)?
Douglas:對,比如你要把本國的經濟分解成所有的工作崗位,然后自問:如果一個模型可以完成這些工作,那這是不是就意味著它具備了真正的「智能」?你應該建立評估測試,把趨勢線畫出來,然后驚呼:「天哪,那 2027 或 2028 年會怎么樣?」下一步就是你要大規模投資于能讓模型更可理解、可引導、誠實可靠的研究,也就是我們說的對齊科學(alignment science)。有一點讓我感到遺憾——這個領域的推動大多來自前沿實驗室(Frontier Labs)。但其實我認為這本該是……
主持人:那其他人能參與嗎?比如能用 Claude 來做相關研究嗎?
Douglas:不能。我的意思是,你仍然可以通過其他方式取得巨大進展。有一個叫做 MAS 計劃 的項目,很多人通過它在對齊研究、特別是可解釋性方面做出了有意義的成果,都是在 Frontier Labs 之外完成的。我覺得應該有更多的大學參與到這件事情里來。從很多方面看,這其實更接近于純科學:它是在研究語言模型中的「生物學」和「物理學」。
主持人:但感覺這塊的研究熱度并不高。
Douglas:我不確定。我聽說在最近的一些會議上,比如 ICML,機械可解釋性(mechanistic interpretability) 研討會居然沒有被收錄,這對我來說完全無法理解。在我看來,這就是對「模型內部機制」最純粹的科學探索。如果你想發現 DNA 的螺旋結構、或者像愛因斯坦那樣發現廣義相對論,那么在機器學習/人工智能這條技術樹上,對應的路徑就是研究機械可解釋性。
主持人:那說說積極面吧。我們之前說未來幾年白領工作都會被自動化,但你覺得我們在哪些方面還被低估了?
Douglas:是的,模型肯定會自動化白領工作,但讓我吃驚的是,世界在整合這些技術方面進展很慢。即便模型能力不再提升,現有能力就已經能釋放巨大的經濟價值,但我們還沒真正圍繞這些模型重構工作流程。即便模型保持現狀,我們也能徹底改變世界。
Douglas:這就需要我們投資真正能讓世界變得更好的方向,比如推動物質資源的充足和高效管理,擴大物理學、娛樂產業的邊界等,并讓模型幫助我們實現這些目標。我的最大希望是讓人們更具創造力,能夠即興創造更多內容,如電視劇、電子游戲等。人們將獲得巨大的賦能,未來會有無限可能。雖然模型會替代一些工作崗位,但每個人都會擁有更強的杠桿能力,社會的工作模式會發生巨變。
主持人:你覺得現在 AI 圈里,哪些東西是被高估了,哪些被低估了?
Douglas:好,那我們先說被低估的。我覺得「世界模型(world models)」非常酷,但我們今天都沒怎么討論它。隨著AR/VR技術的進步,模型將能直接生成虛擬世界,這將帶來震撼的體驗。
主持人:那需要一定的物理理解力吧,比如因果關系這些,我們現在還沒做到吧?
Douglas:其實我覺得我們已經在一定程度上證明了模型具備物理理解能力。不管是在處理物理問題的evals中,還是在一些視頻模型中都能看到這一點。比如我看過一個很棒的視頻,有人讓視頻生成模型把一個樂高鯊魚放到水下——它模擬了光線在樂高積木表面反射的樣子,陰影也放在了正確的位置。而這完全是模型從未見過的場景,是一次完整的泛化。這就是全面的物理建模能力了,對吧?
主持人:你說即使現在模型停滯,依然能有大量應用開發。哪些領域最被低估,尚未開發?
Douglas:軟件工程領域已經很成熟,模型在編程上非常擅長。而幾乎所有其他領域,如法律、財會等,仍有巨大空間等待開發。尤其是智能代理的應用,還沒有出現真正的異步運行系統。其他領域空白,值得探索。
主持人:人們常說編程是這些模型最理想的應用方向。
Douglas:沒錯,它是個領先指標。但你應該預期,其他領域都會跟上來的。
主持人:我記得你發過一張自己在 Citadel 的照片,那是怎么回事?
Douglas:那是一次戰爭演習,邀請了情報機構和軍校學員模擬推演,假設 AGI 到來,AI 變強大,討論其地緣政治影響。
主持人:那次經歷之后你是更害怕了還是安心了?
Douglas:說實話,有點更害怕了。
主持人:你覺得現在這類嚴肅的推演做得夠多了嗎?
Douglas:不夠,很多人低估了接下來幾年技術發展的速度,也沒做好準備。即便你認為某事只有20%的可能性,也應該為此做好準備。每個技術鏈路的效率都還有巨大提升空間,未來目標幾乎是可以確定的。
主持人:就像現在幾乎所有 Anthropic 的人都已經達到了 90% 的信心值?
Douglas:幾乎所有團隊成員都非常有信心,到2027年我們能實現「遠程即插即用的 AGI 工作者」。即便信心較低的人也認為可能性有 10-20%。因此,政府應當把這作為優先事項,認真思考其社會影響。但目前這種緊迫感還是遠遠不足。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.