近期，DeepMind首席研究科學(xué)家David Silver發(fā)表了重要論文《Welcome to The Era of Experience》，提出人工智能的發(fā)展正從“人類(lèi)數(shù)據(jù)時(shí)代”（Era of Human Data）邁向“經(jīng)驗(yàn)時(shí)代”（Era of Experience）。

在DeepMind的官方播客中，David Silver詳細(xì)解讀了該論文，在“經(jīng)驗(yàn)時(shí)代”，AI 系統(tǒng)將通過(guò)與環(huán)境的直接交互自主生成經(jīng)驗(yàn)數(shù)據(jù)，并通過(guò)試錯(cuò)和自我改進(jìn)實(shí)現(xiàn)能力的不斷突破，最終有望超越人類(lèi)水準(zhǔn)。

他認(rèn)為：“AI真正的能力，既不是模仿人類(lèi)，也不是照本宣科，而在于發(fā)現(xiàn)人類(lèi)尚未觸及的真知。”

在參數(shù)規(guī)模和數(shù)據(jù)體量逐漸成為“香餑餑”的當(dāng)下，Silver反其道而行，他堅(jiān)信：“AI的未來(lái)，或許不在于變得更會(huì)答題，而在于敢先學(xué)會(huì)犯錯(cuò)。”

以下為采訪實(shí)錄：

Hannah Fry：歡迎回到 Google Deep Mind 播客。今天的嘉賓是不可多得的David Silver，他是 DeepMind 的元老級(jí)人物，同時(shí)也是 AlphaGo 背后的關(guān)鍵人物之一。這款程序首次征服了世界上最復(fù)雜的棋盤(pán)游戲，取得了超越人類(lèi)的表現(xiàn)。

這個(gè)周末我讀了你的新論文，能不能為我們簡(jiǎn)單介紹一下，這個(gè)概念到底指的是什么？

David Silver：如果你看看過(guò)去這幾年 AI 的發(fā)展，其實(shí)主要處于我所謂的“人類(lèi)數(shù)據(jù)時(shí)代”。這一時(shí)期的所有AI方法，核心思路都很相似——就是把人類(lèi)擁有的全部知識(shí)，都提取出來(lái)，統(tǒng)統(tǒng)輸入給機(jī)器。這種方式確實(shí)非常強(qiáng)大，但還有另一條路，這也是我們即將步入“經(jīng)驗(yàn)時(shí)代”的關(guān)鍵：讓機(jī)器真正與世界互動(dòng)，通過(guò)自身的經(jīng)歷獲得經(jīng)驗(yàn)。

它會(huì)在現(xiàn)實(shí)世界中不斷嘗試，逐步積累起屬于自己的經(jīng)驗(yàn)。這些經(jīng)驗(yàn)是推動(dòng)下一代AI的“燃料”。某種程度上，這其實(shí)就是在強(qiáng)調(diào)——大模型并不是AI的唯一形式，我們還有其他不同的路徑可以選擇。過(guò)去這些年，AI領(lǐng)域的確已經(jīng)在大語(yǔ)言模型上取得了巨大進(jìn)展，特別是利用了海量的人類(lèi)語(yǔ)言數(shù)據(jù)， 我們讓機(jī)器去吸收、整合所有人類(lèi)曾經(jīng)寫(xiě)下的一切，從而讓AI幾乎了解了人類(lèi)所知的全部?jī)?nèi)容，實(shí)現(xiàn)了“全知”。但總有一天，我們要突破那個(gè)界限，超越人類(lèi)已有的知識(shí)。

而要實(shí)現(xiàn)這一點(diǎn)，AI需要采用全新的學(xué)習(xí)方式，自己去探索、去發(fā)現(xiàn)那些人類(lèi)尚不知曉的領(lǐng)域。我認(rèn)為，這將開(kāi)啟AI全新的篇章，對(duì)社會(huì)的影響也會(huì)是極其深遠(yuǎn)的。

HannahFry：那我們來(lái)聊聊別的一些著名AI算法，尤其是AlphaGo和AlphaZero，它們十年前擊敗了世界頂級(jí)圍棋棋手。你能說(shuō)說(shuō)這些系統(tǒng)所用的方法，以及它們與現(xiàn)在大語(yǔ)言模型的區(qū)別嗎？

David Silver：尤其是AlphaZero，其實(shí)和我們最近常見(jiàn)的“以人為數(shù)據(jù)”的方法完全不同，“Zero”就代表著它完全沒(méi)用任何人類(lèi)數(shù)據(jù)。沒(méi)有任何人類(lèi)知識(shí)被預(yù)設(shè)進(jìn)這個(gè)系統(tǒng)。

那么，如果不依賴(lài)于人的經(jīng)驗(yàn)、不知道下圍棋的正確方式，它是怎么獲得棋藝的？

方法其實(shí)是“試錯(cuò)學(xué)習(xí)”——AlphaZero會(huì)自己和自己對(duì)弈幾百萬(wàn)盤(pán)，通過(guò)不斷地比賽，漸漸得出：“原來(lái)在這個(gè)情境下，如果下某種棋步，我贏的幾率就會(huì)高一些。”這個(gè)經(jīng)驗(yàn)就被納入系統(tǒng)，不斷讓它變強(qiáng)。

每當(dāng)它嘗試新的走法，意識(shí)到“哦，這個(gè)棋形又能提高我的勝率”，它就會(huì)進(jìn)一步地優(yōu)化自己的策略。這樣通過(guò)自我生成的經(jīng)驗(yàn)，AlphaZero就可以從一開(kāi)始的完全隨機(jī)，最終成長(zhǎng)為世界上最強(qiáng)的圍棋和國(guó)際象棋AI程序。

Hannah Fry：其實(shí)一開(kāi)始設(shè)計(jì)AlphaGo時(shí)，你們也是把人類(lèi)棋譜喂進(jìn)數(shù)據(jù)庫(kù)的，對(duì)吧？

David Silver：沒(méi)錯(cuò)，最早擊敗李世石那版AlphaGo，確實(shí)用了一些人類(lèi)棋譜作為開(kāi)端。我們給AI輸入了專(zhuān)業(yè)棋手的對(duì)局?jǐn)?shù)據(jù)，讓它先學(xué)習(xí)模仿人類(lèi)。隨后，AI會(huì)基于這些初步能力，繼續(xù)靠自我對(duì)弈積累經(jīng)驗(yàn)。但后來(lái)我們發(fā)現(xiàn)，人類(lèi)的數(shù)據(jù)其實(shí)不是必需的，甚至可以完全舍棄。

我們通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，不僅可以不用人類(lèi)棋譜，AI照樣能達(dá)到很高的水平，而且比原先用人類(lèi)棋譜啟動(dòng)還學(xué)得更快、表現(xiàn)更強(qiáng)。也就是說(shuō)，人類(lèi)的數(shù)據(jù)不僅不是必須的，反而可能限制了AI的上限。這實(shí)際上是AI領(lǐng)域里著名的“苦澀啟示”（bitter lesson）：人類(lèi)很愿意相信自己辛苦積累的知識(shí)很重要，也自然希望把這些都嵌入系統(tǒng)里。但這樣反而可能讓算法更局限、更難突破。當(dāng)你放棄這些人類(lèi)數(shù)據(jù)，轉(zhuǎn)而著力讓系統(tǒng)自學(xué)、生長(zhǎng)，AI反而能無(wú)限進(jìn)步。

這個(gè)“苦澀啟示”其實(shí)就是要我們承認(rèn)，AI的表現(xiàn)完全可能超越人類(lèi)，而且只有舍棄人類(lèi)知識(shí)的“天花板”，AI才能實(shí)現(xiàn)飛躍。

Hannah Fry：是的，人類(lèi)的數(shù)據(jù)固然能讓AI入門(mén)，但終究會(huì)有個(gè)極限——人類(lèi)所達(dá)到的最高高度。要突破這個(gè)界限，就得另辟蹊徑。AlphaZero就是通過(guò)自我對(duì)弈，不斷自學(xué)自進(jìn)步，一步步?jīng)_破了人類(lèi)極限。

我想，“經(jīng)驗(yàn)時(shí)代”就是要把這樣的辦法推廣到所有領(lǐng)域，讓AI的能力全面超越人類(lèi)天花板，用新的方法突破那些傳統(tǒng)認(rèn)知上的邊界。我們想辦法讓AI超級(jí)化、全方位超越人類(lèi)的“天生優(yōu)勢(shì)”。

你說(shuō)“放棄所有人類(lèi)的棋譜，從零開(kāi)始學(xué)會(huì)圍棋”，聽(tīng)起來(lái)有點(diǎn)像是魔術(shù)——你能具體講講技術(shù)細(xì)節(jié)嗎？機(jī)器到底是如何做到把成千上萬(wàn)個(gè)想法串聯(lián)起來(lái)，最終下出不可思議的棋來(lái)的？

David Silver：核心思路叫做“強(qiáng)化學(xué)習(xí)”。基本方法是，每一局棋我們給最后的結(jié)果打一個(gè)分，比如贏了就+1，輸了就-1。強(qiáng)化學(xué)習(xí)系統(tǒng)會(huì)在每次決策后得到獎(jiǎng)勵(lì)信號(hào)，逐步調(diào)整自己的行為策略。

以AlphaGo里的神經(jīng)網(wǎng)絡(luò)為例，每步棋就是讓網(wǎng)絡(luò)的參數(shù)往“能帶來(lái)更大獎(jiǎng)勵(lì)”的方向微調(diào)。這是強(qiáng)化學(xué)習(xí)最本質(zhì)的要義。

Hannah Fry：但圍棋一盤(pán)很長(zhǎng)，怎么讓AI知道哪些落子在開(kāi)局中是最終獲勝的關(guān)鍵？怎么分配這一分，讓AI明白哪些步驟最重要？

David Silver：這個(gè)問(wèn)題其實(shí)在AI里有專(zhuān)門(mén)的名字——“歸因分配問(wèn)題（credit assignment problem）”。你的確可能要經(jīng)歷上百步，最后只獲得一個(gè)輸贏的結(jié)果。如何追溯哪些決策幫助了勝利？有很多數(shù)學(xué)辦法。最簡(jiǎn)單的假設(shè)就是，把“功勞”均勻分配，比如每一步都略作調(diào)整，長(zhǎng)期來(lái)看效果會(huì)體現(xiàn)在整體表現(xiàn)上。

AlphaGo的成名局里，第37手就是個(gè)讓大家津津樂(lè)道的標(biāo)志性時(shí)刻。在和李世石的第二盤(pán)對(duì)局，AlphaGo下出了著名的“第37手”，挑戰(zhàn)了所有人類(lèi)對(duì)圍棋的認(rèn)知。

傳統(tǒng)認(rèn)知里，大家只會(huì)在三路、四路布局——三路講領(lǐng)地，四路求勢(shì)力，再高或再低都是“反常”的。AlphaGo卻果斷落在五路，而且盤(pán)面邏輯無(wú)懈可擊，把全局串聯(lián)了起來(lái)。這種完全超出人類(lèi)想象的下法，后來(lái)統(tǒng)計(jì)過(guò)，人類(lèi)高手可能萬(wàn)分之一才會(huì)做這樣的選擇。 這一步震驚了所有人，卻直接成為勝負(fù)手。

這就是機(jī)器帶來(lái)的“創(chuàng)新”：它創(chuàng)造了人類(lèi)所未曾想到的思路，并突破了我們的知識(shí)邊界。如果我們真的希望AI繼續(xù)前進(jìn)，就一定希望出現(xiàn)更多這種“外星人”的創(chuàng)新想法。

Hannah Fry：那么，大語(yǔ)言模型里有沒(méi)有出現(xiàn)過(guò)類(lèi)似“第37手”的創(chuàng)新時(shí)刻？

David Silver：某種意義上，“第37手”之所以特別，是因?yàn)樗悄欠N史無(wú)前例的大突破。而大語(yǔ)言模型現(xiàn)在的時(shí)代，由于我們太注重模仿人類(lèi)，只重現(xiàn)了人的能力，很少主動(dòng)超越。只有等我們真正重視AI自學(xué)、主動(dòng)突破人類(lèi)資料的局限時(shí)，才可能在現(xiàn)實(shí)世界里“復(fù)制”出類(lèi)似“第37手”那樣的重大創(chuàng)新。只要你握住人類(lèi)的數(shù)據(jù)，AI終究只能做出“類(lèi)人”的回應(yīng)，難以有顛覆性的突破。

Hannah Fry：其實(shí)我覺(jué)得有些做法可以嘗試在兩者之間找到一點(diǎn)平衡。如果你要我說(shuō)最像“第37手”的突破性時(shí)刻，我可能會(huì)選MIT科學(xué)家們發(fā)現(xiàn)新型抗生素的那項(xiàng)研究，那種全新人類(lèi)此前毫無(wú)所知的成果，我覺(jué)得真的非常非常了不起。

David Silver：這項(xiàng)發(fā)現(xiàn)對(duì)人類(lèi)來(lái)說(shuō)意義巨大。從這個(gè)意義上說(shuō)，它甚至超越了“第37手”。但我喜歡“第37手”的原因是，它不僅僅是個(gè)孤立的突破，而是無(wú)數(shù)創(chuàng)新中的一個(gè)節(jié)點(diǎn)——一個(gè)無(wú)限創(chuàng)新序列中的一點(diǎn)。只要采用這種基于經(jīng)驗(yàn)的學(xué)習(xí)方式，這類(lèi)突破就可以無(wú)窮出現(xiàn)。所以“第37手”對(duì)我而言很重要，它象征著一條無(wú)限延伸的創(chuàng)新之路，而不限于那一刻的勝負(fù)本身。

Hannah Fry：能不能簡(jiǎn)單介紹一下AlphaZero的原理？

David Silver：AlphaZero其實(shí)非常簡(jiǎn)單。雖然有些算法很復(fù)雜，但它的核心思想很直白：首先你需要一個(gè)策略函數(shù)，負(fù)責(zé)選擇走法；以及一個(gè)價(jià)值函數(shù)，用來(lái)評(píng)估每一步棋局和每個(gè)決策的好壞。你先從這些出發(fā)，運(yùn)行一次搜索。然后，每當(dāng)搜索結(jié)果告訴你某一步最優(yōu)，就把策略函數(shù)向這樣的決策靠攏一點(diǎn)，同時(shí)根據(jù)棋局實(shí)際結(jié)果來(lái)調(diào)整價(jià)值函數(shù)。就這么循環(huán)上百萬(wàn)次，最后就能培養(yǎng)出超越人類(lèi)的棋類(lèi)AI。

Hannah Fry：基本上就像魔法一樣對(duì)吧？

David Silver：有時(shí)候確實(shí)讓人感覺(jué)像魔法。我第一次真正感受到這種“魔法感”，是在AlphaZero下國(guó)際象棋的時(shí)候。有人提出，我們?yōu)槭裁床辉囋噭e的游戲呢？于是我們把AlphaZero用到了日本象棋，也就是將棋，這是一種我們沒(méi)人會(huì)下的棋。我們其實(shí)只是把規(guī)則教給AI，自己并不會(huì)什么戰(zhàn)略、戰(zhàn)術(shù)。要是讓我們真人去玩，大概只會(huì)犯一堆低級(jí)錯(cuò)誤。我們什么也不懂，于是直接讓AlphaZero跑了起來(lái)。

這其實(shí)是AlphaZero第一次下將棋。我們完全不知道它的水準(zhǔn)，也沒(méi)法自己評(píng)判。就把成果發(fā)過(guò)去給Demis看——他本身就下得不錯(cuò)。他說(shuō)“嗯，感覺(jué)還挺厲害的”，又交給了世界冠軍。冠軍的評(píng)價(jià)是：“我覺(jué)得這已經(jīng)是超人級(jí)的水平了。”

所以這種感覺(jué)真的就像“魔法”：我們按下啟動(dòng)鍵，完全不知道它如何決策與成長(zhǎng)，但最后真的誕生了一位超強(qiáng)的將棋AI。

Hannah Fry：那AI能不能設(shè)置自己的強(qiáng)化學(xué)習(xí)法？

DavidSilver：其實(shí)我們確實(shí)在這方面做過(guò)嘗試，幾年前的項(xiàng)目最近才正式發(fā)表。我們?cè)O(shè)計(jì)了一個(gè)系統(tǒng)，它通過(guò)自身的試錯(cuò)和強(qiáng)化學(xué)習(xí)，去探索到底哪種強(qiáng)化學(xué)習(xí)算法效果最好。它就像是在“元層（Meta-level）”用強(qiáng)化學(xué)習(xí)優(yōu)化自己的算法，結(jié)果它真的學(xué)出了比我們這些年所有人類(lèi)設(shè)計(jì)的強(qiáng)化學(xué)習(xí)算法都更優(yōu)秀的算法。

Hannah Fry：說(shuō)穿了，這還是一個(gè)老故事：人工嵌入越多，系統(tǒng)最終表現(xiàn)越差；剔除人類(lèi)因素，AI反而做得更好。AlphaGo和AlphaZero是極致強(qiáng)化學(xué)習(xí)的典范，但其實(shí)你現(xiàn)在依然能在大語(yǔ)言模型里看到強(qiáng)化學(xué)習(xí)，只是用法不同。你能聊聊現(xiàn)在強(qiáng)化學(xué)習(xí)在這些系統(tǒng)中的作用嗎？

David Silver：幾乎所有大語(yǔ)言模型都用了強(qiáng)化學(xué)習(xí)，但主要是跟人類(lèi)數(shù)據(jù)結(jié)合，不像AlphaZero那樣徹底自學(xué)。做法是：讓系統(tǒng)生成幾個(gè)候選回答，然后請(qǐng)人去打分，告訴AI哪個(gè)答案更好。系統(tǒng)就朝著人類(lèi)更喜歡的方向優(yōu)化。這種“基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)”，極大推動(dòng)了大語(yǔ)言模型的發(fā)展，讓它們不再是簡(jiǎn)單地模仿網(wǎng)絡(luò)上的文字，而是真的可以給出人們真正想收到的有用答案。這確實(shí)是個(gè)巨大進(jìn)步。

不過(guò)我認(rèn)為，這種方法其實(shí)“連孩子和洗澡水都一起倒掉了”。RLHF（基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)）固然很強(qiáng)，但它有個(gè)致命弱點(diǎn)：它沒(méi)法突破人類(lèi)知識(shí)的上限。如果人類(lèi)評(píng)價(jià)員無(wú)法識(shí)別新的、更好的解法，AI永遠(yuǎn)也學(xué)不到那條路線，因?yàn)樵u(píng)價(jià)員本身意識(shí)不到那才是真正更高明的做法。

Hannah Fry：不過(guò)這種人類(lèi)反饋，似乎還是給了大模型某種“扎根感”（sense of grounding）。記得我們上次聊“扎根”問(wèn)題時(shí)，這也是你特別關(guān)注的話題：你希望算法能對(duì)現(xiàn)實(shí)世界有真正的理解。如果去掉人類(lèi)的反饋，模型還能有這種“扎根”現(xiàn)實(shí)的能力嗎？

David Silver：其實(shí)我?guī)缀跸胝f(shuō)——恰恰相反。我的觀點(diǎn)是，如果你用人類(lèi)反饋去訓(xùn)練系統(tǒng)，反而會(huì)讓它“脫離現(xiàn)實(shí)”。

一般RH（人類(lèi)反饋）系統(tǒng)的流程是，模型給出答案，人在模型真正采取行動(dòng)前，先判斷答案好不好。等于說(shuō)，人類(lèi)是在系統(tǒng)真正產(chǎn)生效果之前就先入為主地評(píng)價(jià)了它的輸出。比如讓大模型給你推薦蛋糕食譜，人類(lèi)評(píng)價(jià)員只是看一眼菜譜，覺(jué)得好或不好，但沒(méi)人真的按這個(gè)菜譜去烤蛋糕、嘗一口。

這種“未落地”的反饋，其實(shí)是不扎根的。真正有“扎根”的反饋應(yīng)該是：有人真的做了這個(gè)蛋糕，吃過(guò)以后判定好吃還是難吃。只有這種基于現(xiàn)實(shí)結(jié)果的反饋，才能讓系統(tǒng)不斷嘗試新方案，哪怕那些在專(zhuān)家眼里“看起來(lái)很糟”的點(diǎn)子，也許實(shí)際做出來(lái)會(huì)非常好吃。

Hannah Fry：這很有意思，因?yàn)槲移鋵?shí)聽(tīng)過(guò)，比如和Demis的對(duì)話，他們談到“扎根”是如何進(jìn)入這些模型的，如何逐步構(gòu)建起對(duì)概念的理解。聽(tīng)你說(shuō)下來(lái)，好像他們所謂的扎根其實(shí)只是一種表層的扎根，對(duì)嗎？

David Silver：我認(rèn)為人類(lèi)的數(shù)據(jù)是深深扎根于人類(lèi)經(jīng)驗(yàn)的。像大模型獲得的所有信息，其實(shí)都是繼承了人類(lèi)早已通過(guò)自身實(shí)驗(yàn)發(fā)現(xiàn)的東西。比如科學(xué)探索中，一個(gè)人可能?chē)L試過(guò)走在水面上，結(jié)果掉進(jìn)去了，后來(lái)又發(fā)明了船，發(fā)現(xiàn)船能浮起來(lái)……所有這些經(jīng)驗(yàn)最終都被大模型“繼承”了。

但如果我們希望系統(tǒng)能夠自己做出發(fā)現(xiàn)，比如創(chuàng)造出一種全新的水上推進(jìn)方式，或者提出某個(gè)全新的數(shù)學(xué)思想、全新的醫(yī)學(xué)假說(shuō)或全新的生物學(xué)方法，那樣的數(shù)據(jù)現(xiàn)在還不存在。系統(tǒng)必須依靠自身實(shí)驗(yàn)、試錯(cuò)和“落地”的反饋，去發(fā)現(xiàn)這些創(chuàng)意到底好不好。

Hannah Fry：我之前和Oral Vignales聊過(guò)，他說(shuō)現(xiàn)在的問(wèn)題是人類(lèi)數(shù)據(jù)快被用光了。他的一個(gè)解決方案是用大模型自己來(lái)生成更多“類(lèi)人”的對(duì)話數(shù)據(jù)。這其實(shí)和你的話題也是相關(guān)的，只不過(guò)和用LLM生成對(duì)話不太一樣，你的方法是從另外一個(gè)角度去解決這個(gè)問(wèn)題。

David Silver：沒(méi)錯(cuò)，合成數(shù)據(jù)可以有很多種實(shí)現(xiàn)方式，但通常情況下，就是用現(xiàn)有的大模型生成一批新數(shù)據(jù)。我認(rèn)為，這種方法和人類(lèi)數(shù)據(jù)類(lèi)似，總有一天也會(huì)遇到上限——再好的合成數(shù)據(jù)，最終也會(huì)對(duì)系統(tǒng)能力的提升變得無(wú)效。

而自學(xué)習(xí)系統(tǒng)的美妙之處在于：它“燃燒”的動(dòng)力是自己的體驗(yàn)。當(dāng)系統(tǒng)變得更強(qiáng)時(shí)，遇到的新問(wèn)題就變得更難——但正好和它的能力匹配。這樣系統(tǒng)總能自己生成能讓它更進(jìn)一步的新體驗(yàn)，就能不停地進(jìn)化，永遠(yuǎn)沒(méi)有極限。這也是用自我生成體驗(yàn)和其他合成數(shù)據(jù)方法最本質(zhì)的差異。

Hannah Fry：再回到你之前舉的做蛋糕的例子。如果“吃蛋糕的人”給出反饋，說(shuō)“這蛋糕好吃”，那么我們最后其實(shí)還是借助了人類(lèi)反饋。這是不是說(shuō)，我們談的是系統(tǒng)完全不依賴(lài)人類(lèi)評(píng)價(jià)，變成有實(shí)體、真的能在現(xiàn)實(shí)世界里通過(guò)自身獲得反饋的AI？

David Silver：理想狀態(tài)下，就像AlphaZero一樣，我們希望系統(tǒng)能在很多領(lǐng)域里生成大量自我驗(yàn)證的數(shù)據(jù)和經(jīng)驗(yàn)，這在一些領(lǐng)域是完全可行的，但在另外一些則不行。

在那些不可行的領(lǐng)域，我們必須承認(rèn)人類(lèi)是環(huán)境的一部分，是我們希望智能體能生活其中的一部分世界。所以，讓AI把人類(lèi)當(dāng)作環(huán)境的一部分，觀察和學(xué)習(xí)人類(lèi)的行為完全是合理的。

我要反對(duì)的是什么不扎根呢？其實(shí)是這樣的流程：智能體學(xué)到的回報(bào)其實(shí)來(lái)自人類(lèi)對(duì)一系列動(dòng)作的好壞的直接判斷，而不是讓系統(tǒng)根據(jù)這些動(dòng)作在現(xiàn)實(shí)世界里的實(shí)際后果去自己判定好壞。

我們沒(méi)必要把“人類(lèi)數(shù)據(jù)”當(dāng)作智能體經(jīng)驗(yàn)的特權(quán)。它不過(guò)是世界里眾多觀察對(duì)象中的一個(gè)，AI應(yīng)該學(xué)會(huì)像處理其他數(shù)據(jù)一樣去學(xué)習(xí)人類(lèi)數(shù)據(jù)。舉AlphaGo為例，如果我們?cè)谟?xùn)練過(guò)程中每走十步棋就插入人類(lèi)評(píng)價(jià)，說(shuō)“這十步不錯(cuò)”，那就相當(dāng)于沒(méi)有讓整個(gè)過(guò)程自己完整演化，就打斷了它的成長(zhǎng)。

想象一下，如果我們訓(xùn)練AlphaGo時(shí)，每走一步棋，都讓最強(qiáng)的職業(yè)棋手來(lái)評(píng)價(jià)，說(shuō)“這步厲害”或者“這步錯(cuò)了”，AlphaGo就只會(huì)學(xué)會(huì)像人一樣下棋，永遠(yuǎn)不會(huì)走出“第37手”這種前所未有的創(chuàng)新——只會(huì)變成和人下得一樣，不會(huì)開(kāi)辟新天地。

我想到數(shù)學(xué)：這是人類(lèi)智慧的巔峰，凝聚了幾千年的人類(lèi)努力，也代表了人類(lèi)心智成就的上限。AI能否追趕上這種成就，也成了我們關(guān)注的課題之一。

Hannah Fry：對(duì)，數(shù)學(xué)真的是人類(lèi)極致智慧的結(jié)晶，也難怪大家會(huì)想讓AI去挑戰(zhàn)能否達(dá)到這樣幾千年來(lái)人類(lèi)不斷努力的巔峰。

David Silver：我們最近開(kāi)發(fā)了一個(gè)很激動(dòng)人心的系統(tǒng)叫AlphaProof。它能通過(guò)自身的經(jīng)驗(yàn)學(xué)習(xí)如何正確證明數(shù)學(xué)命題。只要你給它一個(gè)定理，不用告訴它任何證明步驟，它就能自己琢磨出完美的證明——而且我們甚至可以完全驗(yàn)證、保證其正確性。 這其實(shí)和現(xiàn)在的LLM完全相反。你現(xiàn)在讓大模型證明一個(gè)數(shù)學(xué)問(wèn)題，它通常會(huì)輸出一段非正式的數(shù)學(xué)推理，然后說(shuō)“請(qǐng)相信我，這是對(duì)的”。大模型有可能證明對(duì)了，但也可能完全編造一通；大家都知道LLM特別愛(ài)“胡謅”。

而AlphaProof的最大優(yōu)勢(shì)就是，它可以確保輸出的內(nèi)容完全真實(shí)可靠。

Hannah Fry：那我們舉個(gè)例子，方便大家理解。比如說(shuō)質(zhì)數(shù)，質(zhì)數(shù)只能被1和它本身整除，而且這種數(shù)有無(wú)窮多個(gè)。好了，你來(lái)證明一下。

David Silver：AlphaProof工作的方式是：它會(huì)在成百上千萬(wàn)個(gè)不同的定理問(wèn)題上進(jìn)行訓(xùn)練，而不是只關(guān)注一個(gè)。一開(kāi)始它幾乎什么都不會(huì)，大約99.999%的定理都做不出來(lái)——這些定理以前其實(shí)都已經(jīng)有了人類(lèi)證明。我們會(huì)給系統(tǒng)輸入，比如一百萬(wàn)個(gè)人類(lèi)數(shù)學(xué)家設(shè)計(jì)出來(lái)的定理，但我們只給它題目，并不提供人類(lèi)的證明過(guò)程，只告訴它問(wèn)題，不給答案。

Hannah Fry：所以你們給它的都是已知結(jié)果的內(nèi)容，但其實(shí)沒(méi)有告訴它怎么證明。有時(shí)候你們甚至不知道這些結(jié)論到底是不是對(duì)的？

David Silver：實(shí)際上我們做的是，把這些人類(lèi)定理、這些數(shù)學(xué)問(wèn)題，全部轉(zhuǎn)換成一種可供機(jī)器理解的形式化語(yǔ)言。

Hannah Fry：這種“語(yǔ)言”和大語(yǔ)言模型用的自然語(yǔ)言不一樣，而是用一種數(shù)學(xué)語(yǔ)言對(duì)吧？

David Silver：沒(méi)錯(cuò)。實(shí)際上我們會(huì)用一個(gè)小型的大語(yǔ)言模型來(lái)輸出程序語(yǔ)言，尤其是用一種名為 Lean 的編程語(yǔ)言，這種語(yǔ)言可以表達(dá)所有數(shù)學(xué)內(nèi)容。數(shù)學(xué)家們最妙的想法就是——你可以用形式化的數(shù)學(xué)語(yǔ)言，把我們平時(shí)用英文或者任何自然語(yǔ)言說(shuō)的那些復(fù)雜抽象內(nèi)容，全部轉(zhuǎn)換成清晰、可驗(yàn)證的數(shù)學(xué)程序表達(dá)出來(lái)。

這種語(yǔ)言能表達(dá)所有數(shù)學(xué)思想，也能表達(dá)所有數(shù)學(xué)證明手段。比如你可以說(shuō)A蘊(yùn)含B，B蘊(yùn)含C——用Lean語(yǔ)言你就可以編寫(xiě)一個(gè)“程序”，讓它自動(dòng)從A到C，完成整個(gè)邏輯推演，這就是一種數(shù)學(xué)證明。 基本就是寫(xiě)一個(gè)“程序”，一步一步把常識(shí)推到結(jié)果，這樣你就得出了一個(gè)定理的“證明”。我們會(huì)用人類(lèi)發(fā)明的一百萬(wàn)個(gè)問(wèn)題，基于這些再自動(dòng)生成一億道形式化的數(shù)學(xué)問(wèn)題，其中有些甚至可能提法有誤甚至本身錯(cuò)誤。但沒(méi)關(guān)系，我們只要讓系統(tǒng)去試著證明即可。那些沒(méi)法證明的題繼續(xù)嘗試，能證明的就算完成了。如果被系統(tǒng)證偽，那也沒(méi)問(wèn)題，這些題也就淘汰了。

最后留下來(lái)的，就是那些真正有挑戰(zhàn)性的、難以證明的問(wèn)題。AI會(huì)從一開(kāi)始只會(huì)做一兩道題，逐步慢慢攀升到會(huì)做十道、二十道、甚至一百萬(wàn)道。

Hannah Fry：那么，這種“對(duì)了/錯(cuò)了”的瞬間，是不是相當(dāng)于AlphaGo里的贏或者輸？

David Silver：完全一樣。Lean會(huì)判斷“你證明得對(duì)了”，那這個(gè)信息就成了獎(jiǎng)勵(lì)。AI每次做對(duì)就加一分，做錯(cuò)就減一分，通過(guò)強(qiáng)化學(xué)習(xí)讓AI持續(xù)進(jìn)步，越來(lái)越會(huì)證明定理。其實(shí)我們真的就是用AlphaZero代碼框架來(lái)訓(xùn)練它的，只不過(guò)“棋盤(pán)游戲”換成了“數(shù)學(xué)游戲”。你們?cè)趺茨苓@么簡(jiǎn)化我的學(xué)科呢！

它還沒(méi)達(dá)到“超級(jí)人類(lèi)數(shù)學(xué)家”水準(zhǔn)，雖然我們未來(lái)希望能做到。但AlphaProof已經(jīng)在全球最著名、最難的數(shù)學(xué)競(jìng)賽——國(guó)際數(shù)學(xué)奧林匹克（IMO）上，達(dá)到了銀牌選手的表現(xiàn)。這可是聚集了全世界頂級(jí)天才高中生的賽事，題目極其刁鉆。

Hannah Fry：比賽題可真“辣手”——我作為數(shù)學(xué)教授有時(shí)候都覺(jué)得夠嗆。

David Silver：你聽(tīng)Hannah說(shuō)，這比賽的確很難。AlphaProof居然能達(dá)到銀牌水平，也就是全球只有大概10%的選手能做到這一水平。 而且在所有參賽者里，有一道題只有不到1%的人能解出來(lái)，AlphaProof做出了標(biāo)準(zhǔn)、完美的證明。這個(gè)結(jié)果非常令人驚喜。 Tim Gowles（菲爾茲獎(jiǎng)得主、前IMO多次金牌選手）為我們的結(jié)果做了“裁判”，確保所有證明都完全合規(guī)且沒(méi)有作弊。他能理解這些證明，并評(píng)價(jià)說(shuō)，這確實(shí)比以往任何AI數(shù)學(xué)系統(tǒng)都有遠(yuǎn)大的“飛躍”。

所以，這只是AI數(shù)學(xué)發(fā)展的第一步，我們的目標(biāo)是希望AI有朝一日能全面超越人類(lèi)數(shù)學(xué)家。

Hannah Fry：也就是說(shuō)，現(xiàn)在這系統(tǒng)基本就像擁有了一個(gè)極其聰明的17歲天才少年數(shù)學(xué)家，對(duì)吧？

David Silver：沒(méi)錯(cuò)，而且得說(shuō)明的是，參加IMO的AI系統(tǒng)，其實(shí)用的時(shí)間比人類(lèi)參賽者允許的時(shí)間要長(zhǎng)得多。這個(gè)問(wèn)題我覺(jué)得會(huì)隨著機(jī)器速度提升逐漸改善。

Hannah Fry：IMO是個(gè)很理想的測(cè)試平臺(tái)，因?yàn)橛袠?biāo)準(zhǔn)答案，可以評(píng)判，也能和人類(lèi)的表現(xiàn)做直接對(duì)比。但如果我們輸入的是猜想，比如那些還沒(méi)人知道真假的，比如……我想到像ABC猜想、黎曼猜想，或者那些數(shù)學(xué)里的“世紀(jì)難題”。如果AlphaProof輸出了一個(gè)結(jié)果，說(shuō)“我們查過(guò)，這個(gè)證明是成立的！” 那我們真的能相信它嗎？甚至說(shuō)，如果我們自己看不懂，這證明還有什么意義嗎？

David Silver：Lean的好處在于，總有比我更厲害的數(shù)學(xué)家能把Lean代碼的證明翻譯成人能理解的形式。其實(shí)我們甚至開(kāi)發(fā)了一個(gè)AI系統(tǒng)，能做這種“去形式化”——把任何形式化證明轉(zhuǎn)譯成非常直觀易懂的語(yǔ)言。如果哪天我們真的攻克了黎曼猜想（雖然現(xiàn)在還早），全球會(huì)有百萬(wàn)數(shù)學(xué)家無(wú)比激動(dòng)，去解讀這個(gè)新知識(shí)到底蘊(yùn)含著什么。而我們已經(jīng)有AI可以把任何形式化證明“去形式化”，翻譯回人類(lèi)能讀懂的語(yǔ)言。如果哪天搞定了黎曼猜想，相信會(huì)有無(wú)數(shù)數(shù)學(xué)家致力于把它轉(zhuǎn)成易于理解的新數(shù)學(xué)。

Hannah Fry：那我還有個(gè)問(wèn)題，比如克雷數(shù)學(xué)研究所2000年為七大數(shù)學(xué)難題提供了百萬(wàn)獎(jiǎng)金。過(guò)去25年，只有一題被人類(lèi)攻克。你覺(jué)得下一道難題，有可能被AI解出來(lái)嗎？

David Silver：說(shuō)實(shí)話，我覺(jué)得真的有可能。雖然還需要時(shí)間，現(xiàn)在的AI還沒(méi)達(dá)到那個(gè)水平，但這是個(gè)正確的方向。像AlphaProof這樣的系統(tǒng)只會(huì)越來(lái)越強(qiáng)大。IMO競(jìng)賽只是個(gè)開(kāi)始。一旦有個(gè)可以持續(xù)學(xué)習(xí)、持續(xù)進(jìn)步的系統(tǒng)，未來(lái)2年、5年、甚至20年后會(huì)怎樣？可能一切都難以想象。我個(gè)人覺(jué)得，AI數(shù)學(xué)家將徹底改變數(shù)學(xué)界，這一天絕對(duì)會(huì)到來(lái)。 數(shù)學(xué)是極少數(shù)領(lǐng)域之一，從理論上講，可以完全數(shù)字化，由機(jī)器自我交互、自我進(jìn)化，因此對(duì)“經(jīng)驗(yàn)驅(qū)動(dòng)型”AI來(lái)說(shuō)，實(shí)現(xiàn)數(shù)學(xué)領(lǐng)域的全面突破并沒(méi)有本質(zhì)障礙。

Hannah Fry：我真的很認(rèn)可你說(shuō)的AlphaProof，也包括AlphaZero，它們確實(shí)是強(qiáng)化學(xué)習(xí)能達(dá)到多高水平的絕佳案例，但這些例子都有極明確的成功標(biāo)準(zhǔn)：比如圍棋就是贏或輸了，證明就是對(duì)或錯(cuò)。這種思想如何轉(zhuǎn)化到那些評(píng)價(jià)標(biāo)準(zhǔn)很模糊、不清晰的領(lǐng)域？

David Silver：首先我想說(shuō)，這其實(shí)正是為什么強(qiáng)化學(xué)習(xí)這類(lèi)經(jīng)驗(yàn)驅(qū)動(dòng)方法還沒(méi)滲透到所有AI領(lǐng)域的根本原因。如果要真正迎來(lái)“經(jīng)驗(yàn)時(shí)代”，那就必須解答這個(gè)問(wèn)題，我覺(jué)得答案其實(shí)就在我們眼前。

因?yàn)楝F(xiàn)實(shí)世界充滿著無(wú)數(shù)信號(hào)，各種各樣的反饋。比如你在互聯(lián)網(wǎng)的行為：點(diǎn)贊、點(diǎn)踩、收益、損失、愉悅、痛苦、材料性能……全都是用各種數(shù)字來(lái)衡量。這些數(shù)據(jù)都代表著不同的體驗(yàn)。我們需要打造能適應(yīng)、能自主判斷“此刻該優(yōu)化什么目標(biāo)”的AI系統(tǒng)。

換句話說(shuō)，理想的系統(tǒng)是：人類(lèi)提出自己想要的方向，AI把它轉(zhuǎn)成一系列能自主持續(xù)優(yōu)化的指標(biāo)，然后全自動(dòng)提升。

Hannah Fry：比如說(shuō)，我今年想變得更健康，這說(shuō)法又模糊又抽象。你說(shuō)的意思是，這個(gè)需求可以轉(zhuǎn)成各種身體指標(biāo)，像靜息心率、BMI等，然后綜合這些當(dāng)成強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)機(jī)制，是這樣理解嗎？

David Silver：完全正確。

Hannah Fry：那這個(gè)獎(jiǎng)勵(lì)指標(biāo)應(yīng)該是單一的，還是一組指標(biāo)綜合？

David Silver：通常是一組。比如“我想變健康”，系統(tǒng)就能自主學(xué)習(xí)、不斷嘗試哪些指標(biāo)有助于健康，然后這些指標(biāo)的組合也會(huì)逐漸變化調(diào)整。 比如最開(kāi)始只覺(jué)得“靜息心率”重要，后來(lái)發(fā)現(xiàn)“焦慮水平”也有影響，那就把這個(gè)也納入組合，讓獎(jiǎng)勵(lì)機(jī)制也隨反饋不斷自適應(yīng)。基于反饋，系統(tǒng)會(huì)不斷調(diào)整。換句話說(shuō)，很少量的人類(lèi)數(shù)據(jù)就能讓系統(tǒng)設(shè)定長(zhǎng)期自學(xué)、自我成長(zhǎng)的目標(biāo)，極大推動(dòng)經(jīng)驗(yàn)驅(qū)動(dòng)的AI進(jìn)步。

Hannah Fry：但這其實(shí)也引出了對(duì)齊難題。比如你讓AI只優(yōu)化“最低靜息心率”，那會(huì)發(fā)生什么？

Hannah Fry：我的意思是，比如單純把靜息心率降到零，確實(shí)能實(shí)現(xiàn)“最小化”這個(gè)目標(biāo)，但結(jié)果很可能完全不是你想要的。顯然，你會(huì)極力避免這種情況，所以，你要如何確定自己選的指標(biāo)不會(huì)帶來(lái)其他額外問(wèn)題呢？

David Silver：一種可行的方法，其實(shí)就是借鑒AI其他領(lǐng)域已經(jīng)非常有效的思路：如果我們要優(yōu)化的目標(biāo)是針對(duì)人的，那在這一層面上就該引入一定的人類(lèi)反饋。比如說(shuō)，如果人感到不舒服，應(yīng)該有機(jī)制讓人及時(shí)反饋出來(lái)。

當(dāng)然我不是說(shuō)我們現(xiàn)在已經(jīng)有全部答案，這方面還需要大量研究，才能真正把它做好、確保安全。但引入這種反饋，其實(shí)對(duì)于安全和自適應(yīng)甚至可能是有幫助的。

有個(gè)經(jīng)典案例是“造紙夾悖論”：如果讓AI只追求生產(chǎn)盡可能多的回形針，最后可能會(huì)把整個(gè)世界都鋪滿回形針。如果你讓系統(tǒng)的總體目標(biāo)是促進(jìn)人類(lèi)福祉——而且它能敏銳捕捉到人類(lèi)的痛苦和快樂(lè)信號(hào)，一旦出現(xiàn)人類(lèi)開(kāi)始因造太多回形針而感到痛苦——它就會(huì)自動(dòng)調(diào)整目標(biāo)組合，改為優(yōu)化不會(huì)帶來(lái)負(fù)面影響的新指標(biāo)，從而避免“用回形針?shù)仢M世界”這種極端后果。

我們當(dāng)然還沒(méi)做到這個(gè)地步，但我認(rèn)為，這種版本的系統(tǒng)可能不僅能解決過(guò)去“目標(biāo)對(duì)齊”遇到的問(wèn)題，甚至還有望變得更自適應(yīng)、更安全，比我們今天用的系統(tǒng)更好。

Hannah Fry：跳出AI領(lǐng)域，人們完全依賴(lài)量化指標(biāo)來(lái)定義成功其實(shí)本身也有問(wèn)題。比如考試分?jǐn)?shù)、GDP等，這種只關(guān)注數(shù)據(jù)、最終被“指標(biāo)暴政”困住的例子其實(shí)比比皆是。

David Silver：我完全同意，如果我們?cè)诂F(xiàn)實(shí)中機(jī)械地追求某個(gè)單一指標(biāo)，結(jié)果往往會(huì)適得其反。但同時(shí)，整個(gè)人類(lèi)社會(huì)其實(shí)就是圍繞優(yōu)化各種目標(biāo)建立起來(lái)的。沒(méi)有可優(yōu)化的目標(biāo)，我們根本不可能取得任何進(jìn)步。我們正是依靠各種信號(hào)和指標(biāo)去推動(dòng)進(jìn)步—— 然后當(dāng)人們發(fā)現(xiàn)“也許這個(gè)指標(biāo)不是最合適的”，就會(huì)主動(dòng)調(diào)整它。

Hannah Fry：現(xiàn)在的問(wèn)題是不是AI系統(tǒng)的交互太短暫了？沒(méi)有那種長(zhǎng)期學(xué)習(xí)和目標(biāo)調(diào)整機(jī)制。 比如一旦你決定GDP是唯一目標(biāo)，你就會(huì)盲目追GDP直到永遠(yuǎn)，缺乏自我修正的機(jī)制。

David Silver：你說(shuō)得非常對(duì)。現(xiàn)在的AI系統(tǒng)其實(shí)沒(méi)有“生命史”，不像人或動(dòng)物那樣有持續(xù)多年、不斷累積自我經(jīng)驗(yàn)的過(guò)程。我們必須改變這一點(diǎn)——因?yàn)橹挥羞@樣，AI才能持續(xù)學(xué)習(xí)、持續(xù)適應(yīng)、持續(xù)理解，最終更好地實(shí)現(xiàn)我們真正想要的那些復(fù)雜目標(biāo)。

Hannah Fry：那把算法從人類(lèi)數(shù)據(jù)里“徹底解鎖”，會(huì)不會(huì)有巨大的風(fēng)險(xiǎn)？

David Silver：當(dāng)然會(huì)有風(fēng)險(xiǎn)，也會(huì)有潛在益處。我認(rèn)為我們對(duì)接下來(lái)的轉(zhuǎn)變絕對(duì)要極為謹(jǐn)慎，一定要非常鄭重地對(duì)待“經(jīng)驗(yàn)時(shí)代”帶來(lái)的新問(wèn)題。

其實(shí)我之所以寫(xiě)那篇論文，就是因?yàn)槲腋杏X(jué)大家還沒(méi)意識(shí)到這種轉(zhuǎn)變即將到來(lái)，它肯定會(huì)帶來(lái)深刻影響，所以更要認(rèn)真思考。

現(xiàn)在大多數(shù)人還只關(guān)心“人類(lèi)數(shù)據(jù)”這一路子，真正關(guān)注這些關(guān)鍵新問(wèn)題的人還遠(yuǎn)遠(yuǎn)不夠。

Hannah Fry：上次你來(lái)播客時(shí)我們討論過(guò)你那篇論文——《獎(jiǎng)勵(lì)就夠了》，它的觀點(diǎn)基本就是只靠強(qiáng)化學(xué)習(xí)就能實(shí)現(xiàn)AGI。你還這樣認(rèn)為嗎？

David Silver：我現(xiàn)在的觀點(diǎn)是，人類(lèi)數(shù)據(jù)也許能讓AI贏在起跑線，有點(diǎn)像我們采集和燃燒的“化石能源”——大模型靠人類(lèi)數(shù)據(jù)起步，獲得了免費(fèi)優(yōu)勢(shì)。但之后我們需要“可持續(xù)能源”，讓系統(tǒng)持續(xù)運(yùn)行下去。這種“可持續(xù)能源”其實(shí)就是強(qiáng)化學(xué)習(xí)：一種能自我生成、自我消化、自我成長(zhǎng)的動(dòng)態(tài)經(jīng)驗(yàn)。 這才是未來(lái)AI進(jìn)步的真正驅(qū)動(dòng)力。我無(wú)意貶低“人類(lèi)數(shù)據(jù)”的貢獻(xiàn)，今天的AI非常令人驚嘆、極具價(jià)值，我自己也很喜歡做這方面研究，但一切都只是開(kāi)始。

Hannah Fry：當(dāng)然，現(xiàn)在AI領(lǐng)域正在發(fā)生巨大變革，但如果認(rèn)真思考，其實(shí)我們對(duì)于AI的理念和思路反而變得越來(lái)越單一狹窄了。

其實(shí)多模態(tài)模型取得的成功真的是太快、太深刻了，遠(yuǎn)遠(yuǎn)超出了大多數(shù)人的預(yù)期，以至于讓整個(gè)更廣泛的討論都幾乎被它們帶偏了。

現(xiàn)在很明顯我們?cè)絹?lái)越多地聽(tīng)到有人低聲議論，說(shuō)我們已經(jīng)快要用盡所有可用的人類(lèi)數(shù)據(jù)了。當(dāng)然，讓AI擺脫對(duì)人類(lèi)數(shù)據(jù)的依靠，這條路蘊(yùn)含著風(fēng)險(xiǎn)，有很多方面確實(shí)需要認(rèn)真思考和留意。但我不得不說(shuō)，我挺認(rèn)同David剛表達(dá)的觀點(diǎn)。如果我們真的想要獲得超越人類(lèi)的智能，也許現(xiàn)在就是時(shí)候逐漸擺脫“以人為中心”的局限了。

掃碼邀請(qǐng)進(jìn)群，我們帶你一起來(lái)玩轉(zhuǎn)ChatGPT、GPT-4、文心一言、通義千問(wèn)、訊飛星火等AI大模型，順便學(xué)一些AI搞錢(qián)技能。

往期文章回顧