白小交 發自 凹非寺
量子位 | 公眾號 QbitAI

奧特曼稱他是愛因斯坦級別的天才；OpenAI總裁更是直言：

• 只要他想要的，我們都給。

Alec Radford大神離職OpenAI，現在牽出更多細節：

改變世界的GPT，竟然是在Jupyter notebook上誕生的。

而他只負責提供背后的靈感，剩下的由工程師來解決。

（網友：那在Excel也可以做到這一點）

奧特曼高度評價：沒有他應有的知名度。

他在Jupyter notebooks上發明了GPT

在奧特曼帖子下面，更多細節軼事被扒了出來。

比如事實是，他差點就放棄了將語言作為通往 AGI 的道路。

據這位OpenAI員工描述，在Alec在職最后一天他們有機會第一次謀面，他向Alec詢問了堅持語言模型背后的原因。

大概在2017年，Alec花了幾年時間來研究RNN，但是進展不大。

于是Alec就感覺很沮喪，就想著要不要退出OpenAI。最終他決定休息一個月來調整，重新思考自己的方案。

回來后不久，Ilya就跟他推薦了谷歌前同事的新論文，也就是那篇著名的Attention is all you Need。

于是乎，他就開始了新的架構嘗試，并將其與無監督預訓練相結合。

結果效果非常好，GPT時代就此開始。

同樣還有CLIP，他曾為此閉關一年來解決計算機視覺問題，最終才得以推出。CLIP也成為后續解決2D計算機視覺問題的基礎。

不過能造就GPT、CLIP，也是少不了OpenAI諸位同事對他的全力支持——

當時他在Jupyter notebooks上編寫代碼，然后就讓研究工程師在那里翻譯。好奇心勝過一切。

OpenAI總裁Greg Brockman曾提到過這位天才：只要他想要的，我們都給。

當時是在2023年SXSW大會上，Greg Brockman表示，Alec Radford對語言非常感興趣，一直在研究如何構建小型聊天機器人。

• 我們非常喜歡他，所以我們非常支持他做任何他想做的事情。與此同時，我們也在投資一些嚴肅的項目，我們就想，你知道，無論亞歷克需要什么，我們都會確保他得到。
• 也正因如此，2017誕生了第一個有趣的結果——一個根據亞馬遜評論訓練出來的模型，它可以預測下一個角色、下一個角色、下一個字母是什么。實際上，它學會了最先進的情感分析分類器。你可以給它一個句子，它會說這是正面的還是負面的。這聽起來并不令人印象深刻，但就是在這一刻，我們知道它一定能成功。”

還有同行們表示，他的一些想法是整個AI領域研究者們重要靈感來源。并且他從來也不吝惜地去分享他的時間和想法。

據這位朋友分享，當時他在學習ML，在MNIST訓練一個普通的MLP，結果遇到了一個愚蠢的小問題。

然后Alec沒有敷衍，又或者是幫忙修復這個小問題，而是立即開始教關于CNN方面的知識。

奧特曼：愛因斯坦級別的天才

他畢業于富蘭克林·歐林工程學院（Franklin W. Olin College of Engineering）。

據網友透露，這是個規模很小、以項目為導向的工程學院。其聲譽與Rose-Hulman理工學院和Harvey Mudd College等學校類似。

他們的學生在項目方向上往往有很大的個人自由度，并能直接接觸到大量的教師和研究工作，這與其他院校的研究生經歷不相上下。

隨后就加入OpenAI，一干就是八年。

截至今日，他的論文被引數已超過19萬。被引量排名前三的論文，分別與GPT-3、CLIP和GPT-2相關。

這三篇論文都為今天的ChatGPT打下了重要基礎，實際上，Alec幾乎參與了OpenAI所有的重大突破。

除了被引量最高的這三篇，從第一代GPT到GPT-4o的作者名單中，Alec的名字都赫然在列，并且前兩代中都是第一作者。

Alec同樣作為一作的CLIP，則是OpenAI在多模態路線上的重要成果，甚至在整個行業都極具影響力；同時，Alec也是OpenAI初代繪圖模型DALL·E的參與者。

其他模態方面，OpenAI開源的語音識別系統Whisper，一作仍然是他。不過，最新的o1模型貢獻者列表中已經沒有了Alec的名字。

接下來，奧特曼表示，期待他以獨立開發者的身份與OpenAI合作。

網友：不用博士學位也能干大事？

Alec Radford的經歷，牽出來更多研究層面上的討論。

• 是不是不用博士學位也能干大事了？
  Stability AI創始人回憶，他們自己的博士占比也不高，大概80個研究者/工程師中只有16個博士。

這樣看，博士學位是不是就不是招聘中的必選項了。

但也有持反對意見，這樣以偏概全未免有點夸張和過于簡單化了。博士學位不僅僅是一個證書，更是一個教會你如何批判性思考和系統地解決復雜問題的旅程。

而圍繞這些細節，另一個討論的主角是Jupyter notebook，網友們直呼：是個誕生天才想法的地方。

所以新的一年，從開始學習如何使用notebook開始吧。

[1]https://x.com/sama/status/1872666383210971560
[2]https://x.com/Yuchenj_UW/status/1874171107705811285
[3]https://x.com/ahatamiz1/status/1874228975175950487?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
[4]https://x.com/priceindex/status/1873134352395051093?s=46&t=R82LqSqpRZuVhcZxqH_Vlw