Z Talk 是真格分享認(rèn)知的欄目。

瑞典皇家科學(xué)院宣布，2024 年諾貝爾物理學(xué)獎(jiǎng)授予美國(guó)科學(xué)家約翰·霍普菲爾德（John J. Hopfield) 和加拿大科學(xué)家杰弗里·辛頓 (Geoffrey E. Hinton)，以表彰其利用人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的奠基性發(fā)現(xiàn)和發(fā)明。Hinton 也因此成為迄今為止唯一獲得圖靈獎(jiǎng)和諾貝爾物理學(xué)獎(jiǎng)的科學(xué)家。

獎(jiǎng)項(xiàng)公布后，眾多學(xué)者開(kāi)玩笑說(shuō)「諾貝爾物理學(xué)獎(jiǎng)在搶圖靈獎(jiǎng)飯碗」，Hinton 也在接受電話采訪時(shí)直言：「I have no idea that will happen，我現(xiàn)在住在加利福尼亞的一家廉價(jià)旅館里，這里的網(wǎng)絡(luò)和電話都不好。我今天本來(lái)要做核磁共振掃描，但我不得不取消了！」

在 2022 年加州大學(xué)伯克利分校教授 Pieter Abbeel 主持的 The Robot Brains Podcast 節(jié)目中，Hinton 非常坦誠(chéng)地分享了自己的學(xué)術(shù)生涯，深度學(xué)習(xí)的未來(lái)和研究心得，以及拍賣(mài) DNN-research 的內(nèi)幕。

以下是他的講述，原文由 OneFlow 社區(qū)編譯，經(jīng)真格基金編輯。

Geoffrey Hinton

他從未正式上過(guò)計(jì)算機(jī)課程，本科在劍橋大學(xué)讀的是生理學(xué)和物理學(xué)，期間曾轉(zhuǎn)向哲學(xué)，但最終拿到的卻是心理學(xué)方向的學(xué)士學(xué)位；他曾因?yàn)橐欢葏拰W(xué)去做木匠，但遇挫后還是回到愛(ài)丁堡大學(xué)，并拿到「冷門(mén)專業(yè)」人工智能方向的博士學(xué)位；數(shù)學(xué)不好讓他在做研究時(shí)倍感絕望，當(dāng)了教授之后，對(duì)于不懂的神經(jīng)科學(xué)和計(jì)算科學(xué)知識(shí)，他也總要請(qǐng)教自己手下的研究生。

學(xué)術(shù)道路看似踉踉蹌蹌，但在近半個(gè)世紀(jì)后，他被譽(yù)為「深度學(xué)習(xí)教父」。2018 年，Geoffrey Hinton 獲得計(jì)算機(jī)領(lǐng)域的最高榮譽(yù)「圖靈獎(jiǎng)」，以表彰其在深度學(xué)習(xí)領(lǐng)域做出的奠基性貢獻(xiàn)。

2024 年 10 月，諾貝爾物理學(xué)獎(jiǎng)公布，Hinton 成為迄今為止人類(lèi)歷史上唯一獲得圖靈獎(jiǎng)和諾貝爾物理學(xué)獎(jiǎng)的科學(xué)家。

Hinton 出身于英國(guó)的科學(xué)「豪門(mén)」，但他一生所經(jīng)歷的學(xué)術(shù)生涯和坎坷生活豐富而離奇。他的父親 Howard Everest Hinton 是英國(guó)昆蟲(chóng)學(xué)家，母親 Margaret 是一名教師，他們都是共產(chǎn)主義者。

他的叔叔是著名的經(jīng)濟(jì)學(xué)家 Colin Clark，發(fā)明了「國(guó)民生產(chǎn)總值」這個(gè)經(jīng)濟(jì)術(shù)語(yǔ)，他的高祖父是著名的邏輯學(xué)家 George Boole，他發(fā)明的布爾代數(shù)奠定了現(xiàn)代計(jì)算機(jī)科學(xué)的基礎(chǔ)。

在厚重的科學(xué)家家族底蘊(yùn)熏陶下，Hinton 從小擁有獨(dú)立思考能力以及堅(jiān)韌品質(zhì)，并且肩負(fù)著繼承家族榮譽(yù)的擔(dān)子。母親給了他兩種選擇，「要么成為一名學(xué)者，要么做個(gè)失敗者。」他沒(méi)有理由選擇躺平，即便讀大學(xué)時(shí)幾經(jīng)折騰，但他還是完成了學(xué)業(yè)。

1973 年，在英國(guó)愛(ài)丁堡大學(xué)，他師從 Christopher Longuet-Higgins 攻讀人工智能博士學(xué)位，但那時(shí)幾乎沒(méi)人相信神經(jīng)網(wǎng)絡(luò)，導(dǎo)師也勸他放棄研究這項(xiàng)技術(shù)。周遭的質(zhì)疑并不足以動(dòng)搖他對(duì)神經(jīng)網(wǎng)絡(luò)的堅(jiān)定信念，在隨后的十年，他接連提出了反向傳播算法、玻爾茲曼機(jī)，不過(guò)他還要再等數(shù)十年才會(huì)等到深度學(xué)習(xí)迎來(lái)大爆發(fā)。那時(shí)他的這些研究將廣為人知。

博士畢業(yè)后，Hinton 的生活也歷經(jīng)困苦。他和第二任妻子 Rosalind Zalin（分子生物學(xué)家）前往美國(guó)，并在卡耐基梅隆大學(xué)獲得教職。由于對(duì)里根政府存有不滿，以及在人工智能研究基本由美國(guó)國(guó)防部支持的情況下，他們于 1987 年前往加拿大，Hinton 開(kāi)始在多倫多大學(xué)計(jì)算機(jī)科學(xué)學(xué)院任教，并在加拿大高級(jí)研究所 CIFAR 開(kāi)展機(jī)器和大腦學(xué)習(xí)項(xiàng)目的研究。

1994 年，妻子 Rosalind Zalin 因卵巢癌逝世，Hinton 只能獨(dú)自撫養(yǎng)由他們收養(yǎng)的兩個(gè)年幼的孩子，而且，兒子還患有注意力缺陷多動(dòng)癥和其他學(xué)習(xí)障礙。后來(lái)他與第三任妻子 Jackie（藝術(shù)史學(xué)家）再婚，但苦難再度逼近，Jackie 也因患上癌癥而去世。

Hinton 本人也患有嚴(yán)重的腰椎疾病，這讓他無(wú)法像正常人那樣坐下，日常的大部分時(shí)間都必須站立工作，由此他也排斥坐飛機(jī)，因?yàn)槠痫w降落時(shí)都要求必須坐直，這也限制了他去外地做學(xué)術(shù)報(bào)告。

從左到右依次為 Ilya Sutskever、Alex Krizhevsky 和 Geoffrey Hinton

經(jīng)過(guò)近半個(gè)世紀(jì)的技術(shù)堅(jiān)守和生活磨礪，終于，2012 年曙光乍現(xiàn)，他與學(xué)生 Alex Krizhevsky、Ilya Sutskever 提出的 AlexNet 震動(dòng)業(yè)界，就此重塑了計(jì)算機(jī)視覺(jué)領(lǐng)域，啟動(dòng)了新一輪深度學(xué)習(xí)的黃金時(shí)代。

也是在 2012 年底，他與這兩位學(xué)生成立了三人組公司 DNN-research，并將其以 4400 萬(wàn)美元賣(mài)給了 Google，他也從學(xué)者身份轉(zhuǎn)變?yōu)?Google 副總裁、Engineering Fellow。2023 年 5 月，Hinton 離開(kāi)了谷歌，「為了能夠自由談?wù)撊斯ぶ悄茱L(fēng)險(xiǎn)」。

飽經(jīng)風(fēng)霜之后，這位即將 77 歲的「深度學(xué)習(xí)教父」依然奮戰(zhàn)在 AI 研究一線，他不憚?dòng)谄渌麑W(xué)者發(fā)出的質(zhì)疑，也會(huì)坦然承認(rèn)那些沒(méi)有實(shí)現(xiàn)的判斷和預(yù)言。不管怎樣，他仍然相信，在深度學(xué)習(xí)崛起十年之后，這一技術(shù)會(huì)繼續(xù)釋放它的能量，而他也在思索和尋找下一個(gè)突破點(diǎn)。

01

1970 年代，

研究神經(jīng)網(wǎng)絡(luò)的「孤勇者」

8 歲的 Hinton

對(duì)我影響最為深遠(yuǎn)的是童年時(shí)所接受的教育。我的家庭沒(méi)有宗教信仰，父親是一名共產(chǎn)主義者，但考慮到私立學(xué)校的科學(xué)教育比較好，7 歲時(shí)，他堅(jiān)持送我去一所昂貴的基督教私立學(xué)校讀書(shū)，除了我，那里所有的孩子都相信上帝。

一回到家，家人就說(shuō)宗教都是胡扯，當(dāng)然，可能因?yàn)槲矣休^強(qiáng)的自我意識(shí)，我自己也不信，意識(shí)到信仰上帝是錯(cuò)的，并且養(yǎng)成了質(zhì)疑別人的習(xí)慣。當(dāng)然，多年之后，他們也確實(shí)發(fā)現(xiàn)自己當(dāng)初的信仰是錯(cuò)的，并意識(shí)到上帝也許并不是真的存在。

不過(guò)，如果我現(xiàn)在告訴你要有信仰，信仰很重要，可能聽(tīng)起來(lái)很諷刺，但我們確實(shí)需要對(duì)科學(xué)研究要有信仰，這樣即使別人說(shuō)你是錯(cuò)的，你也能在那條正確的道路上堅(jiān)持走下去。

我的教育背景很豐富。在劍橋大學(xué)讀大一那年，我是唯一一位同時(shí)修讀物理學(xué)和生理學(xué)的學(xué)生，這為我后來(lái)的科研生涯奠定了一定的理工科基礎(chǔ)。

不過(guò)，我數(shù)學(xué)不太好，只好放棄學(xué)物理，可是，我又很好奇生命的意義，于是轉(zhuǎn)而去學(xué)哲學(xué)，取得一定成績(jī)后，又開(kāi)始修讀心理學(xué)。

在劍橋的最后一年，我過(guò)得很艱難，也不開(kāi)心，所以一考完試就退學(xué)，去做一名木匠。其實(shí)，相比于做其他事情，我更喜歡做一名木匠。

高中時(shí)，白天上完課后，我回家就會(huì)做一些木工活，那是我最開(kāi)心的時(shí)刻。慢慢地，我就成為了一名木匠，但大概做了六個(gè)月左后，就發(fā)現(xiàn)木匠掙得錢(qián)少得難以維生，盡管木匠需要做的事情遠(yuǎn)比表面看到的要多。搞裝修輕松得多，來(lái)錢(qián)快，所以在做木匠的同時(shí)，我也會(huì)兼職裝修活計(jì)。除非你是一名高級(jí)木匠，否則做木匠賺的錢(qián)肯定不如做裝修。

直到一天，我遇到了一名真正出色的木匠，才意識(shí)到自己不適合這行當(dāng)。一家煤炭公司讓這位木匠給陰暗潮濕的地下室做一扇門(mén)，鑒于環(huán)境特殊，他就將木料以反方向排列，以此來(lái)抵消木料因潮濕膨脹產(chǎn)生的變形，這是我此前從未想過(guò)的方式。他還可以用手鋸將一塊木料切成正方形。他向我講解道：要是想將木料切成正方形，那么你必須將鋸床和木料跟房間對(duì)齊。

當(dāng)時(shí)我就感覺(jué)，跟他相比自己差得太遠(yuǎn)了，就想或許還是回學(xué)校研究人工智能吧。

后來(lái)，我就去愛(ài)丁堡大學(xué)攻讀神經(jīng)網(wǎng)絡(luò)的博士，導(dǎo)師是著名的 Christopher Longute-Higgins 教授。30 多歲時(shí)，他就弄清了硼氫化物的結(jié)構(gòu)，差點(diǎn)因此獲得諾貝尓獎(jiǎng)，真的很厲害。直到現(xiàn)在，我仍然不清楚他研究的是什么，只知道是跟量子力學(xué)有關(guān)，這項(xiàng)研究的事實(shí)基礎(chǔ)是「恒等算子的旋轉(zhuǎn)不是 360 度，而是 720 度」。

他曾經(jīng)對(duì)神經(jīng)網(wǎng)絡(luò)和全息圖之間的關(guān)系很感興趣，只是在我到愛(ài)丁堡大學(xué)后，他突然對(duì)神經(jīng)網(wǎng)絡(luò)失去了興趣，主要是因?yàn)樗x了 Winograd（美國(guó)計(jì)算機(jī)科學(xué)家）的論文后被徹底說(shuō)服了，認(rèn)為神經(jīng)網(wǎng)絡(luò)沒(méi)有發(fā)展前景，而是應(yīng)該轉(zhuǎn)做符號(hào)人工智能，那篇論文對(duì)他影響挺大的。

事實(shí)上，他并不贊同我的研究方向，想讓我做一些更容易獲獎(jiǎng)的研究，但他的為人不錯(cuò)，仍然告訴我要堅(jiān)定自己的方向，也從未阻止我去研究神經(jīng)網(wǎng)絡(luò)。

1970 年代初，身邊的所有人都質(zhì)問(wèn)我，Marvin Minsky 和 Seymour Papert（人工智能先驅(qū)）都說(shuō)神經(jīng)網(wǎng)絡(luò)前途渺茫，為什么還要堅(jiān)持下去？說(shuō)實(shí)話，我感覺(jué)很孤獨(dú)。

Marvin Minsky 和 Seymour Papert

1973 年，我第一次給一個(gè)小組做演講，內(nèi)容就是關(guān)于如何用神經(jīng)網(wǎng)絡(luò)做真正的遞歸。在第一個(gè)項(xiàng)目中，我發(fā)現(xiàn)，如果你想讓神經(jīng)網(wǎng)絡(luò)繪制圖形，將圖形分割成多個(gè)部分，并且這些圖形的部分都能被類(lèi)似的神經(jīng)硬件繪制出來(lái)，那么儲(chǔ)存整個(gè)圖形的神經(jīng)中樞就需要記住整體圖形的位置、方向和大小。

如果正在繪制圖形的神經(jīng)網(wǎng)絡(luò)突然停止運(yùn)行了，你想使用另一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)繼續(xù)繪制圖形，那么就需要有地方來(lái)存儲(chǔ)這個(gè)圖形以及工作進(jìn)度，然后可以繼續(xù)繪制工作。現(xiàn)在的難點(diǎn)在于，如何使神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)這些功能。顯然，僅僅靠復(fù)制神經(jīng)元是不行的，因此我想設(shè)計(jì)一個(gè)系統(tǒng)通過(guò)快速權(quán)重（fast weight）來(lái)實(shí)時(shí)適配并記錄工作進(jìn)度。如此一來(lái)，通過(guò)恢復(fù)相關(guān)狀態(tài)，就可以繼續(xù)完成任務(wù)。

因此，我創(chuàng)建了一套神經(jīng)網(wǎng)絡(luò)，通過(guò)重用相同的神經(jīng)元和權(quán)重來(lái)執(zhí)行遞歸調(diào)用（就像用于高級(jí)調(diào)用一樣），以此來(lái)實(shí)現(xiàn)真正的遞歸。但是，我不擅長(zhǎng)演講，所以感覺(jué)可能并沒(méi)有人理解我演講的內(nèi)容。

他們說(shuō)，明明可以使用 Lisp 遞歸，為什么要在神經(jīng)網(wǎng)絡(luò)中進(jìn)行遞歸。他們不知道的是，除非神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)遞歸之類(lèi)的功能，否則有一大堆事情無(wú)法解決。

那時(shí)，也不是所有人都反對(duì)神經(jīng)網(wǎng)絡(luò)。如果再往前追溯到 1950 年代，如馮·諾依曼和圖靈這樣的研究者還是很相信神經(jīng)網(wǎng)絡(luò)，他們都對(duì)大腦的工作方式很感興趣，特別是圖靈，很相信神經(jīng)網(wǎng)絡(luò)的強(qiáng)化訓(xùn)練，這也讓我對(duì)自己的研究方向很有信心。

可惜他們英年早逝，若是能多活幾年，他們的智慧足以影響一個(gè)領(lǐng)域的發(fā)展，英國(guó)在這方面可能早已取得突破，說(shuō)不定人工智能的現(xiàn)狀也會(huì)大有不同。

02

從一個(gè)純粹的學(xué)者

到 Google 員工

去 Google 工作的主要原因是，我的兒子患有殘疾，我得為他掙錢(qián)。

2012 年，我覺(jué)得在 Coursera 上講課能掙到很多錢(qián)，所以就開(kāi)設(shè)了神經(jīng)網(wǎng)絡(luò)相關(guān)課程。早期的 Coursera 軟件并不好用，加上我自己并不太擅長(zhǎng)操做軟件，因此我時(shí)常感到煩躁。

最初我與多倫多大學(xué)達(dá)成了一項(xiàng)協(xié)議，如果這些課程能賺到錢(qián)的話，那么大學(xué)會(huì)把到手的錢(qián)分一部分給講課老師。雖然他們沒(méi)有明確說(shuō)具體的分成比例，但有人說(shuō)是對(duì)半分，我也就欣然接受了。

在錄課過(guò)程中，我曾要求過(guò)學(xué)校幫我錄制視頻，但他們卻反問(wèn)我，「你知道制作視頻有多貴嗎？」我當(dāng)然知道，因?yàn)槲易约阂恢痹谥谱饕曨l，校方還是沒(méi)有提供任何支持。然而在我開(kāi)課之后（當(dāng)時(shí)我已經(jīng)騎虎難下了），教務(wù)長(zhǎng)在沒(méi)有咨詢我和其他任何人的情況下就單方面決定學(xué)校會(huì)拿走所有的錢(qián)，而我則一分錢(qián)也拿不到，這就完全違反了當(dāng)初的協(xié)議。

他們讓我好好錄課，并說(shuō)那本就是我教學(xué)工作的一部分，但那實(shí)際上并不屬于我的教學(xué)范疇，而只是基于我之前做過(guò)的相關(guān)講座的課程。因此，我在后續(xù)的教學(xué)工作中再也沒(méi)有用過(guò) Coursera。那件事讓我很生氣，甚至開(kāi)始考慮是否要從事其他的職業(yè)。

就在此時(shí)，突然有很多公司向我們拋出了橄欖枝，愿意贊助一大筆經(jīng)費(fèi)，或者支持我們創(chuàng)立一家公司，這說(shuō)明還是有很多公司對(duì)于我們的研究?jī)?nèi)容很感興趣。

鑒于州政府已經(jīng)給過(guò)我們一筆研究經(jīng)費(fèi)，我們也不再想賺外快，還是把精力放在自己的研究上。但那次學(xué)校騙我賺錢(qián)的經(jīng)歷不禁讓我萌生想多賺點(diǎn)錢(qián)的想法，所以后來(lái)把成立不久的 DNN-research 拍賣(mài)了。

這樁買(mǎi)賣(mài)發(fā)生在 2012 年 12 月的 NIPS（神經(jīng)信息處理系統(tǒng)大會(huì)）期間，會(huì)議在塔霍湖邊的一個(gè)娛樂(lè)場(chǎng)所舉辦，地下室里燈光閃耀，一群光著膀子的賭徒在煙霧繚繞的房間里盡情高呼，「你贏了 25000，這些都是你的」......與此同時(shí)，樓上進(jìn)行拍賣(mài)一家公司。

當(dāng)時(shí)就像在演電影，與社交媒體上看到的情形一模一樣，真的很棒。我們之所以拍賣(mài)公司，是因?yàn)槲覀兺耆恢雷陨淼膬r(jià)值，所以我就咨詢了一個(gè)知識(shí)產(chǎn)權(quán)方面的律師，他說(shuō)，現(xiàn)在有兩個(gè)辦法：一是直接雇一名專業(yè)的談判員去和那些大公司談判，但這可能會(huì)遇到不愉快；二是發(fā)起一場(chǎng)競(jìng)拍。

據(jù)我所知，像我們這樣的小公司進(jìn)行拍賣(mài)在歷史上還是第一次。最終我選擇通過(guò) Gmail 進(jìn)行競(jìng)拍，因?yàn)槟悄晗奶煳乙恢痹?Google 工作，我知道他們不會(huì)隨意竊取用戶的郵件，即使到現(xiàn)在，我還是這樣認(rèn)為的。但對(duì)于我們這一決定，微軟表現(xiàn)出不滿。

拍賣(mài)過(guò)程如下：參與競(jìng)拍的公司必須通過(guò) Gmail 將他們的報(bào)價(jià)發(fā)給我們，然后我們?cè)賹⑵溥B同 Gmail 的時(shí)間戳發(fā)送給其他參與者。起拍價(jià)為 50 萬(wàn)美元，然后有人出價(jià) 100 萬(wàn)美元，看到競(jìng)價(jià)不斷上漲時(shí)，我們真是太高興了，同時(shí)也意識(shí)到我們的價(jià)值遠(yuǎn)比預(yù)想的要高。當(dāng)競(jìng)價(jià)達(dá)到一定程度時(shí)（當(dāng)時(shí)我們認(rèn)為是天文數(shù)字了），我們更傾向于在 Google 工作，于是叫停了拍賣(mài)。

相比其他公司，人們都更喜歡在 Google 工作，我也一樣。我喜歡這家公司的主要原因是 Google Brain 團(tuán)隊(duì)很棒。我更專注于研究如何構(gòu)建大型學(xué)習(xí)系統(tǒng)和研究大腦的工作機(jī)制，Google Brain 不僅有研究大型系統(tǒng)所需要的豐富資源，還能跟眾多優(yōu)秀人才交流學(xué)習(xí)。

我屬于那種直性子，而 Jeff Dean 是一個(gè)聰明人，跟他相處很愉快。他想讓我做一些基礎(chǔ)研究，嘗試提出新的算法，而這正是我喜歡做的事。我不擅長(zhǎng)管理大型團(tuán)隊(duì)，相比之下，我更樂(lè)意將語(yǔ)言識(shí)別的精度提升一個(gè)百分點(diǎn)，為這個(gè)領(lǐng)域帶來(lái)一場(chǎng)新的變革是我一直想做的事。

03

深度學(xué)習(xí)的下一個(gè)大事件

深度學(xué)習(xí)的發(fā)展取決于，在擁有海量數(shù)據(jù)和強(qiáng)大算力的大型網(wǎng)絡(luò)中做隨機(jī)梯度下降，基于此，一些想法得以更好地生根發(fā)芽，比如隨機(jī)失活（dropout）和現(xiàn)在的很多研究，但這一切離不開(kāi)強(qiáng)大算力、海量數(shù)據(jù)以及隨機(jī)梯度下降。

經(jīng)常有人說(shuō)深度學(xué)習(xí)遇到了瓶頸，但事實(shí)上它一直在不斷向前發(fā)展，我希望懷疑論者能將深度學(xué)習(xí)現(xiàn)在不能做的事寫(xiě)下來(lái)。五年后，我們會(huì)證明深度學(xué)習(xí)能做到這些事。

當(dāng)然，這些任務(wù)必須經(jīng)過(guò)嚴(yán)格定義。比如 Hector Levesque（多倫多大學(xué)計(jì)算機(jī)系教授）是一個(gè)典型的 AI 人士，他本人非常優(yōu)秀。Hector 制定了一個(gè)標(biāo)準(zhǔn)，即 Winograd 句子，其中一個(gè)例子是，「獎(jiǎng)杯不適合放在手提箱中，因?yàn)樗×耍华?jiǎng)杯不適合放在手提箱里，因?yàn)樗罅恕！?/p>

如果你想把這兩句翻譯成法語(yǔ)，必須明白在第一種情況下，「它」指的是手提箱，而在第二種情況下，「它」指的是獎(jiǎng)杯，因?yàn)樗鼈冊(cè)诜ㄕZ(yǔ)中是不同的性數(shù)，而且早期的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯是隨機(jī)的，所以當(dāng)機(jī)器把上述句子翻譯成法語(yǔ)時(shí)，機(jī)器無(wú)法正確識(shí)別性數(shù)。但這種情況一直在改進(jìn)，至少 Hector 給神經(jīng)元下了一個(gè)非常明確的定義，指出神經(jīng)元可以做什么。雖然做的并不完美，但這樣至少比隨機(jī)翻譯要好得多。我希望懷疑論者能提出更多類(lèi)似的質(zhì)疑。

我認(rèn)為，深度學(xué)習(xí)這種非常成功的范式將繼續(xù)保持繁榮：即根據(jù)一些目標(biāo)函數(shù)的梯度來(lái)調(diào)整大量的實(shí)值參數(shù)，但我們很可能不會(huì)使用反向傳播機(jī)制來(lái)獲得梯度，而目標(biāo)函數(shù)可能會(huì)更加局部和分散。

我個(gè)人猜測(cè)，下一個(gè) AI 大事件肯定是脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。它能夠解決是否進(jìn)行脈沖的離散判定，以及何時(shí)進(jìn)行脈沖的連續(xù)性決策，這樣就可以利用脈沖時(shí)間來(lái)進(jìn)行有趣的計(jì)算，這在非脈沖神經(jīng)網(wǎng)絡(luò)中其實(shí)很難做到。之前沒(méi)能深入研究脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，這是我研究生涯的一大遺憾。

我沒(méi)打算研究 AGI，也盡量避免定義什么是 AGI，因?yàn)?AGI 愿景背后有各種各樣的問(wèn)題，而僅僅通過(guò)擴(kuò)大帶參數(shù)的神經(jīng)元數(shù)量或神經(jīng)連接還無(wú)法實(shí)現(xiàn)通用人工智能。

AGI 設(shè)想了一個(gè)類(lèi)似人類(lèi)的智能機(jī)器人，它和人類(lèi)一樣聰明。我不認(rèn)為智能一定會(huì)這樣發(fā)展，而是希望它更多地以共生方式發(fā)展。我認(rèn)為，也許我們會(huì)設(shè)計(jì)出智能計(jì)算機(jī)，但它們不會(huì)像人類(lèi)一樣擁有自主意識(shí)。如果它們的目的是用來(lái)殺死其他人，那它們可能必須得有自主意識(shí)，但希望我們不會(huì)往那個(gè)方向發(fā)展。

04

相信直覺(jué)，好奇心驅(qū)動(dòng)

每個(gè)人的思維方式都有所不同，我們不一定了解自己的思維過(guò)程。我喜歡按直覺(jué)行事，更傾向于在做研究時(shí)運(yùn)用類(lèi)比，我認(rèn)為，人類(lèi)推理的基本方式是基于在大向量中利用正確的特征來(lái)進(jìn)行類(lèi)比，我本人也是這樣做研究的。

我經(jīng)常在電腦上對(duì)某一研究反復(fù)進(jìn)行試驗(yàn)，來(lái)看看哪些有用，哪些沒(méi)用。弄清事物的數(shù)學(xué)底層邏輯和進(jìn)行基礎(chǔ)研究確實(shí)很重要，進(jìn)行一些論證也很有必要，但這些不是我想做的事。

做一個(gè)小測(cè)試：假如現(xiàn)在 NIPS 會(huì)議上有兩場(chǎng)講座，一場(chǎng)是關(guān)于用一種全新、聰明和優(yōu)雅的方法來(lái)證明一項(xiàng)已知的結(jié)論；另一場(chǎng)則是關(guān)于一種新的、強(qiáng)大的學(xué)習(xí)算法，但算法背后的邏輯暫時(shí)無(wú)人知曉。

如果你必須在這兩場(chǎng)講座中選擇一場(chǎng)去聽(tīng)講座，你會(huì)做何選擇？相比第二場(chǎng)講座，第一場(chǎng)可能更容易被人們所接受，大家似乎更好奇證明已知事物的新方法，但我會(huì)去聽(tīng)第二場(chǎng)，畢竟在神經(jīng)網(wǎng)絡(luò)領(lǐng)域，幾乎所有的進(jìn)步都源于人們?cè)谶M(jìn)行數(shù)學(xué)推演時(shí)瞬間萌生的直覺(jué)，而非常規(guī)推理。

那么你是否要相信自己的直覺(jué)？我有一個(gè)標(biāo)準(zhǔn)——要么你有敏銳的直覺(jué)，要么干脆沒(méi)有。如果沒(méi)有敏銳的直覺(jué)，那做什么都沒(méi)關(guān)系；但如果有敏銳的直覺(jué)，那應(yīng)該相信直覺(jué)，去做你認(rèn)為對(duì)的事。

當(dāng)然，敏銳的直覺(jué)源自你對(duì)世界的理解以及大量的辛勞付出。當(dāng)你在同一件事上積累了大量經(jīng)驗(yàn)，就會(huì)產(chǎn)生直覺(jué)。

我患有輕微的狂躁抑郁癥，所以一般會(huì)游走在兩種狀況之間：適當(dāng)?shù)淖晕遗u(píng)會(huì)讓我非常有創(chuàng)造力，而極度自我批評(píng)會(huì)讓我產(chǎn)生輕度抑郁。但我認(rèn)為這樣比僅有單一情緒的效率更高。當(dāng)你感到煩躁時(shí)，你只要忽視那些顯而易見(jiàn)的問(wèn)題，并且確信一些有趣的、激動(dòng)人心的東西正等你去發(fā)現(xiàn)，繼續(xù)前進(jìn)。當(dāng)你面對(duì)問(wèn)題感到措手不及時(shí)，一定要堅(jiān)持下去，理清思路，仔細(xì)斟酌想法的好壞。

由于有這樣的情緒交替，我經(jīng)常會(huì)告訴大家，我弄清大腦的工作機(jī)制了，可過(guò)段時(shí)間，我又失望地發(fā)現(xiàn)之前的結(jié)論是錯(cuò)誤的，但事情就應(yīng)該是這樣發(fā)展的，正如 William Blake 的那兩句詩(shī)，「將快樂(lè)和憂傷編織，披在我神圣的心上」。

我認(rèn)為科研工作的本質(zhì)也是如此，如果你不會(huì)因?yàn)槌晒Χ械脚d奮，也不會(huì)因?yàn)槭《械骄趩剩撬悴簧险嬲饬x上的研究者。

研究生涯里，盡管有時(shí)會(huì)覺(jué)得自己完全摸不著一些算法的門(mén)道，但我還從未真正感到迷茫和毫無(wú)希望。在我看來(lái)，無(wú)論最終結(jié)果如何，總有值得去做的事情。優(yōu)秀的研究人員總是有很多想做的事情，只是苦于沒(méi)有多余的時(shí)間。

在多倫多大學(xué)任教時(shí)，我發(fā)現(xiàn)計(jì)算機(jī)科學(xué)專業(yè)的本科生都很優(yōu)秀，而很多輔修計(jì)算機(jī)科學(xué)的認(rèn)知科學(xué)專業(yè)的本科生也表現(xiàn)得相當(dāng)出色，這一部分同學(xué)并不擅長(zhǎng)技術(shù)，但他們?nèi)匀话蜒芯孔龅煤芎茫麄儫釔?ài)計(jì)算機(jī)科學(xué)，非常想弄清人類(lèi)的認(rèn)知如何形成，有著源源不斷的興趣。

像 Blake Richards（蒙特利爾神經(jīng)學(xué)研究所助理教授）這樣的科學(xué)家，他們很清楚自己想解決什么問(wèn)題，然后就只管朝著這個(gè)方向前行。現(xiàn)在，很多科學(xué)家都不知道自己到底想做什么。

回頭看，我覺(jué)得年輕人要找到自己感興趣的方向，而不是單純地學(xué)些技術(shù)。在自身興趣的驅(qū)動(dòng)下，你會(huì)主動(dòng)去掌握一些應(yīng)有的知識(shí)來(lái)尋找你想要的答案，這比盲目地學(xué)習(xí)技術(shù)更重要。

現(xiàn)在想想，我年輕時(shí)就應(yīng)該再多學(xué)一點(diǎn)數(shù)學(xué)知識(shí)，這樣做線性代數(shù)就會(huì)容易很多。

數(shù)學(xué)時(shí)常讓我感到絕望，導(dǎo)致很難讀懂一些論文，尤其要弄懂那一大堆符號(hào)，真是一項(xiàng)莫大的挑戰(zhàn)，所以我并沒(méi)有讀太多論文。關(guān)于神經(jīng)科學(xué)方面的問(wèn)題，一般我會(huì)向 Terry Sejnowski（計(jì)算神經(jīng)學(xué)教授）請(qǐng)教，計(jì)算機(jī)科學(xué)方面的問(wèn)題，我會(huì)請(qǐng)研究生解釋給我聽(tīng)。當(dāng)我需要用數(shù)學(xué)來(lái)證明某項(xiàng)研究是否可行時(shí)，我也總能找到合適的方法。

通過(guò)做研究讓這個(gè)世界變得更美好的想法很不錯(cuò)，但我更享受探索人類(lèi)創(chuàng)造力上限的樂(lè)趣，我真的很想了解大腦的工作機(jī)制，我相信我們需要一些新的想法，比如通過(guò)脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法了解大腦的運(yùn)作方式。

我認(rèn)為，最棒的研究工作應(yīng)該由一大群研究生來(lái)完成，并且給他們提供豐富的資源。科研工作需要年輕的活力，源源不斷的動(dòng)力，以及對(duì)研究的強(qiáng)烈興趣。

你必須有好奇心的驅(qū)動(dòng)才能做出最好的基礎(chǔ)研究。只有這樣，你才有動(dòng)力去忽視那些明顯的障礙，去預(yù)估自己會(huì)取得怎樣的結(jié)果。如果是一般性研究，創(chuàng)造力就不是最重要的。

如果能弄清一大批聰明人正在研究什么，然后你再去做不一樣的研究，總是一個(gè)好主意。如果你已經(jīng)在某個(gè)領(lǐng)域取得一定的進(jìn)展，那就不需要其他新的想法，只需要將現(xiàn)有的研究深挖下去就可以成功。但如果你想研究一些新想法，比如構(gòu)建大型硬件，那也非常不錯(cuò)，盡管前路可能有些曲折。