未經許可不得轉載，務必保留原文鏈接出處和公眾號按鈕

（ 關注本城公眾號并設為標，

第一時間獲取最新世界頂級科技認知 ）

文：Web3天空之城·城主

關于AI大神Andrej karpathy不需多費筆墨介紹， 除了OpenAI的聯合創始人，以及特斯拉AI框架的打造者，他還是這個星球上關于AI和深度學習最好的布道者。

以下是他前不久在伯克利AI黑客松頒獎典禮上的主旨演講全文。此前有個5分鐘的流出視頻圈里還很是傳播了一下， 這里是新鮮熱辣的完整版。

B站傳送：【精校】AI大神Andrej Karpathy六月伯克利AI黑客松主旨演講完整版 【中英】-嗶哩嗶哩】

https://b23.tv/H0eA0AE

---天空之城書面整理版---

大家好。

感謝你們的邀請，能來到這里我感到非常高興。我非常熱愛黑客馬拉松，因為這里充滿了巨大的能量和創造力，年輕人們在這里嘗試做一些很酷的事情，一起學習和創造。這是我最喜歡的地方，我參加過很多次黑客馬拉松。所以，今天能在這里和你們交流，真的非常高興。

這次活動的規模比我預期的要大得多，確實非常龐大。我認為黑客馬拉松的規模實際上相當大。首先，我想說的是，以防你們好奇，這對人工智能來說并不常見。我從事人工智能大約15年了，可以自信地說，這個領域已經有了很大的發展。

對我來說，人工智能曾經是幾百名學者聚在一起，比如在一個會議研討會上，討論一些數學的深奧細節。這是我大約15年前進入人工智能領域時的情況。比如說，當你訓練神經網絡時，你會使用來自MNIST的數據集，這些微小的數字來訓練受限玻爾茲曼機，并使用對比散度來訓練網絡，然后在第一層仔細檢查這些以確保網絡訓練正確。我知道這些聽起來可能沒有什么意義，因為已經過去很久了，但那時的氛圍確實不同，也沒有現在這么瘋狂。

我認為事情確實在某種程度上變得不成比例，但看到這種能量真的很美。今天，15年過去了，人工智能的現狀已經大不相同，這也是為什么這個活動如此盛大的原因。我想，這就是我們今天生活的時代，NVIDIA作為GPU的制造商，負責我們神經網絡的所有繁重工作，現在已經成為美國最有價值的公司，并且主導了市場。這就是為什么我們有這么多這樣的黑客馬拉松等活動，我認為這是相當了不起的，也是史無前例的，這是一個非常獨特的時間點。

你們中的許多人可能現在正在進入人工智能領域，這并不常見，它非常有趣且獨特，有很多事情正在發生。我認為，這背后的根本原因是計算的性質正在發生變化，我們正在進入一種新的計算范式，這是非常罕見的。我幾乎覺得這又回到了20世紀80年代的計算時代。

我們不再使用基于字節的指令的中央處理器，而是擁有這些大型語言模型，它們有點像處理Token的中央處理器。Token是小字符串片段，除此之外，我們還有一個Token上下文窗口，而不是字節RAM，我們有磁盤等其他東西的等價物。所以它有點像一臺計算機，這是編排器，這就是我稱之為大型語言模型操作系統（LMOS）的原因，我之前在推特上更詳細地談到過這一點。因此，我將其視為一臺新型計算機，我們都在學習如何編程。學習人工智能擅長什么、不擅長什么，如何將其融入產品中，以及如何最大限度地利用它，這些都是非常令人興奮的話題。我想你們中的許多人可能已經看過兩三周前OpenAI發布的GPT-4o演示，你們真的開始感覺到這是一個你可以與之交談的東西。它會在你的自然界面（如音頻）中做出回應，它可以看到、聽到、繪畫，能夠做所有這些事情。

我想你們中的許多人可能都看過電影《她》。如果你還沒有看過，我強烈推薦你去看。這部電影對我們今天來說非常鼓舞人心。實際上，在這部電影中，當主角與人工智能交談時，這個人工智能被稱為OS，即操作系統。這在電影中非常明顯。這是一部美麗的電影，我鼓勵你去看。

現在，我認為在這部電影中，重點是這些模型的情商方面。但在實踐中，在我們的社會中，這些模型可能會在數字空間中解決大量的問題。它不會只是一種單一的數字實體，在某種程度上與人類相似，你可以與它交談，但它當然不完全是人類。它不僅僅是一個數字實體。也許有很多這樣的數字實體，我們可以給它們分配任務，它們可以互相交談和協作，它們有虛假的Slack線程，在數字空間中做著大量的工作。它們正在自動化大量數字基礎設施。不僅是數字基礎設施，也可能是物理基礎設施。

我想說，這還處于早期階段，可能會稍微落后于許多數字創新，因為處理比特比處理原子容易得多。但這是另一部我絕對要推薦的電影。這是我最喜歡的電影之一，雖然它一點也不出名。它叫《iRobot》，是2004年的電影，由威爾·史密斯主演。很棒的電影，它探索了人類機器人在社會中完成許多任務的未來。劇透警告，這部電影中的人類不太順利，機器人有點接管了一切。但我認為這很有趣，我絕對鼓勵你也看這部電影。

據說這部電影發生在2035年，還有10年。所以也許10年后，你可以想象我們會處在一個什么樣的地方。這些東西四處走動，和我們交談，在物理世界和數字世界中執行任務。那是什么樣子？那意味著什么？我們如何對它們進行編程？我們如何確保它們按照我們的意愿行事，等等。

所以，當你把所有這些放在一起時，我認為人們經常談論的感覺就是這種AGI的感覺。比如，你感覺到AGI了嗎？這意味著，如果這些東西真的繼續發揮作用，你真的可以直觀地了解即將發生的事情的嚴重程度。我們在數字空間和物理空間中可能擁有的自動化程度?，F在，我不知道你怎么想，但我覺得這幅圖有點暗淡。這是我將最后幾分鐘的談話內容輸入圖像生成器后得到的結果。我其實不喜歡這幅圖。我覺得我們可以做得更好。我們這里有幾千人。你即將進入這個行業，你將研究很多這種技術，你將塑造它，并對其產生某種積極的影響。

所以，我不知道，也許我們希望它看起來像這樣。這就是我想要的。這是人類、動物和自然和諧共存的圖景。但實際上，這是一個高科技社會，有機器人和四軸飛行器，還有大量的自動化，但它們被隱藏起來，并不像在你面前那樣顯眼。也許這才是我們想要的東西。

你應該對你想要的未來有很大的自主權，因為你將要構建它。也許我們現在可以同意，這比之前的畫面更好。我不知道你是怎么想的，但我希望如此，因為我將生活在那個未來。

這次黑客馬拉松的問題是，很多人在過去一兩天里參與了許多非?？岬捻椖?。問題是，我們如何從黑客轉向真正改變世界并構建這個未來？無論這對你來說是什么。因此，我想在這次演講中回顧一下我過去15年左右在這個行業的工作經歷。我想我對項目如何變成現實世界的變化有了一些了解，有一些收獲和經驗，我可能想談談。

我發現真正令人難以置信的第一件事是，有時非常小的項目，就像小雪球一樣，實際上可以滾雪球變成非常大的項目，這是多么令人難以置信。作為一個例子，我參加過很多黑客馬拉松，就像我提到的那樣。這些是我在過去15年左右從事的一些很久以前的項目。

我有一個小魔方顏色提取器，我在13年前在YouTube上發布了一些游戲編程教程，并嘗試教人們為我制作的電子游戲和很多游戲編程。我有一個有趣的神經進化模擬器，并且不出所料，并非所有這些項目都能真正滾雪球，其中很多只是探索，只是在修修補補。所以實際上這三個項目并沒有給我帶來任何進展。我不會說這真的是浪費精力，只是它沒有累積起來，也沒有滾雪球，但它仍然幫助了我。我稍后會再談這個問題。

但游戲編程教程實際上在某種程度上讓我滾雪球，因為它讓我從游戲編程教程轉向了一堆當時很流行的魔方視頻。這激發了我對教學的興趣。當我在斯坦福大學讀博士時，我開始教授這門課程CS231N，并開發和教授它，這是斯坦福大學第一門大型深度學習課程，很多人都喜歡它。之后我又創建了另一個YouTube頻道，這是我的深度學習和LLM的Zero to Hero系列，很多人也喜歡它。

除了繼續滾雪球，我目前非常感興趣的項目是下一堂課，它會是什么樣子，以及我如何讓它變得更好。我稱之為LLM101N，它是關于構建一個講故事的人工智能，類似于ChatGPT。你可以用它來生成故事。這個想法是從頭開始構建一切，從基本先決條件一直到講故事領域的ChatGPT克隆。我認為從頭開始構建它會非常有啟發性，也可能非常有趣。

我兩三天前才在GitHub上發布了這個項目，所以它還很原始，處于早期階段，但我真的很興奮。這對我來說是一個滾雪球的例子。它始于13年前的小游戲編程，我正在研究一門我認為會非常有趣的課程。

另一個例子是我在OpenAI上見證的滾雪球效應。正如之前簡單提到的，我是OpenAI的創始成員研究員，七年前就在那里。這些是一些公開的照片，記錄了我們八個人在Greg的公寓里工作時的情景。OpenAI成立的目的是為了平衡谷歌。當時谷歌就像一只擁有700億美元自由現金流的大猩猩，雇傭了幾乎一半的人工智能研究行業員工。所以我覺得這有點像一個有趣的設置。我們只有八個人，還有一臺筆記本電腦。

與我的背景非常相似，OpenAI最終在內部探索了大量項目。我們雇傭了一些非常優秀的人才，他們中的許多人并沒有走得太遠，但有些人確實做了重要的工作。例如，這是一個處于早期階段的項目，是OpenAI早期歷史上的一個非常小的雪球。有人在開發Reddit聊天機器人。如果你來到他們的辦公桌旁，你會想，當有人在開發Reddit聊天機器人時，這是什么樣子？我們正試圖與谷歌競爭，而你在開發Reddit聊天機器人，就好像我們應該做更大的事情一樣。

因此，很容易忽略這些小雪球，因為它們太脆弱了。這些項目一開始就很脆弱。但實際上，這個Reddit聊天機器人，雖然看起來很幼稚，但它實際上是一個語言模型。它恰好是在Reddit上訓練的，但實際上你可以在任何任意數據上訓練語言模型，而不僅僅是Reddit。當Transformer問世時，它被改造成效果更好的東西。然后領域從Reddit擴展到許多其他網頁。突然間，你得到了GPT-1、GPT-2、GPT-3、GPT-4。因此，實際上，這個很容易被忽視的Reddit聊天機器人最終引領并發展為GPT-4o，我們目前認為這是計算范式的改變。你可以和它交談，這真是太神奇了。所以，親眼目睹這些滾雪球的過程對我來說真的太不可思議了。當然，如今 OpenAI 的價值可能略低于 1000 億美元左右?？吹竭@些滾雪球在實踐中發揮作用真的令人難以置信。

在過去的兩天里，你們中的很多人也參與了一些小項目，可能是小雪球。對我來說，有些項目可能不會有任何進展，但有些項目可能會成功，這真的很不可思議。你應該繼續保持項目的勢頭，也許它們可以累積成一個大雪球。這真的很不可思議。

我想簡單談談馬爾科姆·格拉德威爾推廣的 10,000 小時概念。我非常相信這個概念。我認為，在很大程度上，成功來自于反復練習和大量的練習。你應該非常愿意投入這 10,000 個小時并真正地去計算。不要太擔心我正在做什么，我是成功還是失敗了，等等。只需簡單地計算一下你做了多少小時，所有的事情加起來就很有意義了。

即使是我失敗了，沒有滾雪球般發展成任何事情的項目，這些也增加了我花在發展我的專業知識和進入一種充滿信心的狀態，能夠自信地承擔這些項目并讓它們發揮作用的時間。

這里有幾個例子。幾周前我做了一個非常簡陋的網站。這是一個周末項目，叫做 awesomemovies.life，你可以訪問它。我認為它仍然有效，但我不是 100% 確定。我不建議你去那里。它試圖成為一個電影推薦引擎，因為我想知道那個星期六要看什么，然后我想，好吧，我需要為自己建立一個電影推薦引擎。

我把這個貼出來了，其中一條回復的推文是，哇，你在周末就把這個做成了，真是太酷了。當時我有點在反思，因為這對我來說并不那么神奇。原因是這個人沒有看到這是我第 20 次制作這樣的網站。因此，我看到了我要遵循的所有步驟。好的，我需要 Linode，我需要一個 Flask 服務器，我要編寫一些 JavaScript 樣式表、HTML，我要將它們組合在一起。我需要抓取所有這些網頁，我需要提取 tf.idf 向量，我需要訓練 SVM。所有這些事情都是我已經做過 20 次的事情。我已經有以前項目的代碼片段。我只是重新混合我所擁有的東西。我已經完成了所有這些。因此，將所有內容重新混合成新形式實際上并不需要太多工作，讓我可以在周末完成它。這并不那么瘋狂。這只能來自專業知識。這只能來自做過 20 次才能如此自信地做到這一點。

我生命中的下一個例子是特斯拉自動駕駛儀。大約七八年前，我被聘為領導特斯拉自動駕駛儀的計算機視覺團隊。加入團隊后，我在頭幾個月里基本上用PyTorch從頭重寫了計算機視覺深度學習網絡的訓練代碼庫。這套代碼庫最終成為了現在的核心。

當時，這對某些人來說可能顯得非常令人印象深刻，但對我來說并不是這樣，因為我剛剛獲得博士學位，并且花了五年時間做類似的事情。我確切地知道需要投入什么：訓練集、評估集、PyTorch中的訓練循環、配置、日志目錄、引入ResNet、加入檢測等。我們正在做回歸分類，所以我能夠預測所有步驟。這種能力只能來自經驗，來自之前做過20次的經歷。

如果你之前做過20次，那么看起來令人印象深刻的事情對你來說可能就不那么令人印象深刻了。真的要努力達到10,000小時的水平，這會產生巨大的影響。順便說一句，如果你每天工作6小時，10,000小時大約相當于五年，這大致相當于一個博士學位的長度，你需要在這個領域發展專業知識。

我發現另一件非常有用的事情是保持多巴胺流動。了解你的心理、你的大腦是如何工作的，它需要什么才能繼續前進以及如何保持靈感。具體來說，你的大腦是一臺獎勵機器，它需要獎勵。那么，有什么好方法可以給予獎勵呢？在我的實踐中，就是通過做項目，并致力于項目并繼續發布它們。

這里我有一個網頁片段，上面是我過去參與過的一些項目。這些是黑客馬拉松項目和隨機項目，并不是所有項目都很好，其中一些項目不太好。但我喜歡項目的原因有很多。首先，項目讓你從頭到尾、深入地工作。通常上課時，你是在以廣度的方式學習，學習了很多東西，以防將來需要它。而當你在做一個項目時，你知道你需要什么，你會按需學習，只是想讓它發揮作用。這是一種非常不同的學習模式，它真正補充了廣度學習，非常重要。所以我100%鼓勵人們參與項目。

另一件事是，根據我的經驗，把項目掛起來實際上也像是一個非常好的心理技巧。原因是，如果你要發布某個東西，你會考慮所有將要查看它的人。你的朋友、隊友、家人和未來的雇主等都會查看你的工作。因此，這確實提高了你自己工作的標準。這會讓你更加努力，因為如果他們看到你的工作很糟糕，你會感到羞愧。你會付出額外的努力讓它變得非常好，這真的非常有幫助。

當其他人查看你的項目時，你會得到獎勵，因為他們喜歡它、欣賞它、分叉它，并在其基礎上工作。這會讓你的大腦感覺良好。因此，這一切結合在一起的方式就是你獲得多巴胺，你會感覺良好。

通過這種方式，你可以積累多達10,000小時的經驗，這對你有很大幫助。你可以將你的項目從小雪球滾成大雪球，并真正改變世界。所以總而言之，我認為，這就是它在高層次上的運作方式。而信息只是繼續黑客攻擊。就是這樣。

希望這是我們在滾雪球般積累所有東西時共同構建的未來，就是這樣。謝謝。