近日，Dylan Patel參加了Matthew Berman的播客訪談節目，對目前“硅谷AI大戰”進行了深度而富有洞察的剖析。

Dylan Patel 是一位在半導體和人工智能領域有著深厚見解的專家。他創辦了 SemiAnalysis，一家提供深入技術分析和市場洞察的機構。Patel 以其對芯片產業、AI模型發展趨勢、以及大型科技公司戰略布局的獨到見解而聞名。

Dylan Patel認為，近期Meta收購Scale AI并非看重其日漸“過氣”的數據標注業務，而是為了Alexandr Wang及其核心團隊。Wang的加入標志著扎克伯格在AI戰略上的重大轉變，從之前的“AI很好，但AGI不會很快實現”轉變為全力追逐“超級智能”，因為他意識到Meta在該領域已經落后，需要“迎頭趕上”。

而蘋果在吸引頂級AI研究人員方面存在劣勢，因為他們無法提供像Anthropic或Meta那樣具有吸引力的企業文化、高薪酬和充足的計算資源。

對OpenAI而言，Patel認為更大的隱憂在于微軟對IP的控制權。微軟理論上可以在AGI實現的前一刻擁有所有的IP，這給OpenAI的研發人員帶來了巨大的不確定性。

英偉達憑借其卓越的硬件互聯和成熟的軟件生態系統構筑了強大的護城河。然而，英偉達也面臨挑戰。其近期收購Lepton并推出DGX Cloud，直接與云服務商競爭，引發了部分云服務商的不滿，導致他們開始轉向AMD。Dylan Patel將此視為英偉達的一個“重大錯誤”。

在設備端AI方面，Dylan Patel表達了悲觀的看法。他認為，盡管設備端AI在安全和低延遲方面有優勢，但消費者對價格的敏感度更高，更傾向于使用免費的云端AI服務。他預測，設備端AI的應用將主要限于低價值、輕量級的任務，例如在可穿戴設備上進行圖像識別或手部追蹤，而復雜且有價值的AI功能仍將依賴于云端。蘋果自身也在建設大型數據中心，表明其也認識到云端是AI發展的關鍵方向。

Patel認為，盡管許多公司聲稱自己在做不同的事情，但底層技術和方法大致相同，即都是在預訓練大型Transformer模型并進行強化學習。他提到了“重寫人類知識語料庫”的重要性，因為現有數據中存在大量低質量信息。他認為 Grok 在處理實時事件和時事信息方面具有優勢。

Dylan Patel認為，AI的最終目標是減少人類工作時間，雖然可能導致少數人過度工作，而多數人工作更少。AI最先沖擊的是白領創意性工作（如平面設計師），而非體力勞動，這與人們的普遍認知相反。他預測，未來AI將承擔更多長期、復雜任務，最終可能完全脫離人類審核。關于時間線，他認為十年內實現20%工作自動化不太可能，更可能發生在十年末或下個十年初。

誰將贏得超級智能競賽？Patel認為，OpenAI 領跑，Meta 將緊隨其后。他相信Meta有能力吸引到足夠的頂尖人才，從而在超級智能競賽中脫穎而出。

• “如果超級智能就是一切，那么1億美元，甚至10億美元，與Meta目前的市值以及人工智能的整體潛在市場相比，都只是滄海一粟。”
• “去Meta的人，很多顯然是為了錢，但也有很多人離開（原有崗位），是因為他們現在能掌控一家市值萬億美元公司的AI發展路徑。他們可以直接與扎克伯格對話，并能說服一個對整個公司擁有完全投票權的人。”
• “OpenAI的估值會持續飆升，因為他們正在構建的東西短期內并無盈利計劃。……所以在這個整個過程中，他們會一直虧損，需要不斷籌集資金，還得能夠說服全球的每一位投資者。而且這些條款既不光彩、不簡潔，也不易理解。”
• “GPT 4.5 Orion是出了什么問題嗎？這就是他們內部所說的、他們希望能成為GPT 5的東西……總體來說，它沒那么實用，速度太慢，而且和其他模型相比成本太高。”
• “這也是我有時會用到Grok的另一個領域：時事。你可以向Grok提問，它能比谷歌搜索、甚至Gemini或OpenAI的查詢更準確地告訴你發生了什么，因為它可以獲取所有這些信息（X的數據）。”
• “就蘋果而言，他們在吸引AI研究人員方面一直存在問題，這些研究人員喜歡夸夸其談，喜歡發布和發表自己的研究成果。蘋果一直是一家神秘的公司。”
• “即便你有優秀的人才，由于組織問題，要真正做出好的成果也很有挑戰性，因為合適的人沒有處在合適的位置，決策者可能選錯了人，讓他們搞政治，把他們的想法和研究路徑納入模型，而這些想法不一定是好主意。”
• “總體而言，我對設備端AI持悲觀態度，并不看好它。安全固然很棒，但我了解人類心理：免費比付費好，有廣告的免費模式比單純的安全更有吸引力。其實沒多少人真正關心安全問題。”
  
• “設備端AI的一個重大挑戰在于硬件限制。模型的推理速度取決于芯片的內存帶寬。如果我想增加芯片的內存帶寬，硬件成本可能要增加50美元，這最終會轉嫁給客戶，導致iPhone貴上100美元。”
  
• “設備端AI真正發揮作用的場景，會是在可穿戴設備上，比如耳機或智能眼鏡。你在本地做的都是些零碎的小事，比如圖像識別、手部追蹤，但實際的推理和思考是在云端進行的。”
• “AMD確實很努力，但他們的硬件在某些方面比較落后，尤其是與Blackwell相比。他們面臨的真正挑戰是軟件，開發者體驗并不出色。英偉達能夠通過芯片上搭載的NVLink網絡硬件將GPU連接組網。英偉達構建服務器的方式能讓72個GPU非常緊密地協同工作，而AMD目前只能做到8個。這對推理和訓練至關重要。”
• “英偉達最近犯了一個重大錯誤：收購了Lepton公司。現在英偉達收購了這家開發軟件層的公司，并正在研發名為DGX Cloud的產品。這意味著，如果任何云服務商有閑置的GPU，可以將其作為裸機交給英偉達，英偉達會在上面部署Lepton的軟件并將其出租給用戶。這讓云服務商非常惱火，因為英偉達在與他們直接競爭。”
• “我不認為在這十年內，會有20%的工作被自動化。我感覺可能要到這個十年末或下個十年初，才能實現20%工作的自動化。”
• “人工智能理應讓我們的工作時間變得更少。未來可能會出現一種情況：像我（可能還有你）這樣的人工作過度，而普通人的工作時間則少得多。”
• “誰將贏得超級智能競賽？OpenAI。他們總是第一個取得每一項重大突破，甚至在推理方面也是如此。”
• “我認為Meta會吸引到足夠多的優秀人才，從而真正具備競爭力。”

以下為訪談全文，內容由AI翻譯：

Meta Llama 4和被推遲的“巨獸”項目

Matthew Berman：

迪倫，非常感謝你今天能來和我一起。我真的很興奮能和你交談。我看過你做過不少演講和采訪。我們要談很多事情。我想先談的是Meta。讓我們從Llama 4開始。自從那款產品發布以來，在AI領域已經過了一段時間，但當時人們充滿了期待。還不錯，但不算很棒。當時它并沒有改變世界。然后他們推遲了巨獸項目。你覺得那里正在發生什么？

Dylan Patel：

這很有趣。大概有3種不同的型號，而且它們都有很大差異。巨獸項目被推遲了。我實際上認為他們可能永遠不會發布它。它存在很多問題，他們訓練它的方式，以及他們做出的一些決策都沒有取得預期效果。還有馬弗里克和斯考特。實際上，其中一個模型還不錯。相當不錯。它發布時并非最佳，但與發布時的最佳中國型號相當。但后來，阿里巴巴推出了一款新車型，深海也推出了一款新車型。于是情況更糟了。另一個客觀來說就是很糟糕。

我確切知道，他們訓練它是為了應對深度搜索試圖更多地使用深度搜索架構的元素，但他們做得并不恰當。這真的只是個倉促的活兒，而且搞砸了，因為他們在Moe的稀疏性上用力過猛。但有趣的是，如果你真的查看模型，它往往甚至不會將標記路由到某些專家那里。基本上就像是一種訓練的浪費，在每一層之間，路由器可以路由到它想要的任何專家，它會學習路由到哪個專家，而每個專家也會學習。

這就像擁有獨立的事物。這真的不是人們能觀察到的東西。但你能看到的是代幣。他們會將哪些專家路由到哪里，或者當他們通過模型時，就好像其中一些根本沒有被路由到。就好像你有一堆無所事事的空專家。顯然，培訓方面存在問題。

Matthew Berman：

這在內部算是一種專業技能方面的事情嗎？我的意思是，他們肯定擁有世界上一些最優秀的人才，我們接下來會談到他們最近的招聘舉措。但是為什么他們一直沒能真正做到呢？

Dylan Patel：

我覺得這是各種事物的結合與匯聚。他們有大量的人才，也有大量的計算資源。但人員的組織安排始終是最具挑戰性的事情。哪些想法實際上是最好的？誰是那個挑選最佳創意的技術負責人？這就好比如果你有一群優秀的研究人員，那可太棒了。但要是在他們之上安排產品經理，卻沒有技術負責人來評估該如何選擇，那就會有很多問題。

OpenAI，山姆是個很棒的領導者，他能獲取所有資源。但是技術負責人是格雷格·布羅克曼。而且格雷格·布羅克曼正在做很多決策，還有很多其他的人，就像馬克·陳和其他類似的技術領袖一樣，他們實際上在決定，從技術角度來說我們該走哪條路，因為研究人員會進行他們的研究，他們會認為自己的研究是最好的。是誰在評估每個人的研究，然后決定哪個想法很棒，哪個想法很糟糕呢。咱們別用那個了。這真的非常困難。

當研究人員沒有一位技術過硬、能夠做出選擇，而且真的能做出正確選擇的領導者時，最終就會陷入困境。我們確實有所有正確的想法。但AI研究的一部分在于，你也會有各種錯誤的想法，你從這些錯誤想法中學習，然后產生正確的想法，并做出正確的選擇。現在，如果你的選擇非常糟糕，實際上你選擇了一些錯誤的想法，然后你走上了某種研究的分支，會怎么樣呢？

就像你選擇了這個餿主意一樣，這是我們要做的事。咱們再往下去。然后現在你會想，從這個餿主意衍生出來的，還有更多的研究。因為我們不會回頭去撤銷我們做的決定。每個人都在說，我們做了那個決定。好吧，讓我們看看從這里能研究出什么。于是你最終會面臨這樣的情況，即優秀的研究人員可能在浪費他們的時間。我走的路不對。研究人員常提及一種東西，那就是品味。

這很有趣。你覺得這些就像那些渴望成為國際數學奧林匹克選手的人一樣，那就是他們成名的途徑。但當他們像青少年時，19歲就去OpenAI或其他公司，或者Meta或其他地方工作了。

但實際上這里面涉及到很多品味問題。在某種程度上，判斷什么值得研究、什么不值得研究是一種藝術形式。這是一種選擇最佳方案的藝術形式，因為你在這個尺度上把所有這些想法都羅列出來，然后突然你就會想，現在我們就來，那些實驗都是用100個GPU完成的。太棒了。現在讓我們用100,000個GPU運行一次。

有了這個想法，就好像，事情并非總能完美地轉換。這里面有很多個人品味和直覺的成分。并不是他們沒有優秀的研究人員。就好像很難說誰選的口味是對的。就像你不在乎影評人的評價，你在乎的是爛番茄，也許是觀眾評分。而且就好像，你到底在聽哪位批評家的意見？即便你有優秀的人才，由于組織問題，要真正做出好的成果也很有挑戰性，因為合適的人沒有處在合適的位置，決策者可能選錯了人，讓他們搞政治，把他們的想法和研究路徑納入模型，而這些想法不一定是好主意。

ScaleAI 收購案與 Meta 的“超級智能”野心

Matthew Berman：

我們來探討一下誰在做決策。上周有很多新聞報道，扎克伯格給出了1億美元的報價，山姆·奧特曼也證實了這一點。Meta收購Scale AI，似乎是沖著亞歷山大·王（Alexandr Wang）及其團隊去的，他正處于創始人模式。那么，Scale AI的收購究竟給Meta帶來了什么？

Dylan Patel：

我覺得從某種程度上說，AI數據標注業務現在有點“過氣”了。

Matthew Berman：

作為一項服務，因為各家公司都在取消訂單。

Dylan Patel：

是的，谷歌要退出了。我聽說Scale AI今年和他們有大約2.5億美元的合作，但他們卻要退出。顯然，谷歌已經投入了大量資金，項目也已騎虎難下，但這些投入會大幅縮減。據說OpenAI也切斷了與外部的Slack連接，所以現在Scale AI和OpenAI之間不再有任何聯系了。

Matthew Berman：

公司之間的徹底決裂。

Dylan Patel：

是的，所以（像OpenAI這樣的公司）不希望Meta知道他們如何處理數據，因為模型的獨特之處就在于你想用自定義數據做什么。Meta收購Scale AI并不是為了Scale AI這家公司本身，而是為了得到亞歷山大和他幾位最核心的同事。Scale AI還有其他一些非常出色的人才，Meta將他們一并招入麾下。

Dylan Patel：

目前的問題是，Scale AI帶來的數據是否優質？了解所有這些其他公司正在進行的各種數據標注路徑固然有益，但更重要的是，Meta想找個人來牽頭這項超級智能（Superintelligence）的工作。亞歷山大·王和我年齡相仿，大概28或29歲。他在各方面都取得了驚人的成功。人們可以不喜歡他，但他顯然非常成功，尤其是當他說服馬克·扎克伯格——一個非常理智和聰明的人——買下他的公司時。這家公司的營收差不多有10億美元，而他卻說“我們去追求超級智能吧”。

這（對扎克伯格而言）是一個巨大的轉變。如果你看扎克伯格幾個月前的采訪，他當時并沒有在追逐超級智能，他只是在宣揚AI很好、很棒，但認為通用人工智能（AGI）不會很快實現。所以這在策略上是一個重大轉變，因為他現在基本上是在說：“超級智能才是最重要的，我相信我們正在朝著這個方向前進。現在我該怎么做才能迎頭趕上？因為我落后了。”

Matthew Berman：

似乎所有這些大公司的敘事現在都轉向了“超級智能”，即便在一個月前還是“通用人工智能”（AGI）。為什么會有這種轉變？

Dylan Patel：

AGI這個詞沒有明確的定義。

Matthew Berman：

是的，含義多變。

Dylan Patel：

你可以直接問一位人類研究人員“AGI是什么意思？”，他們可能真的認為這僅僅意味著一個自動化的軟件開發人員，但這并不是通用人工智能。生態系統中的許多研究人員都這么認為。伊利亞·蘇茨克維（Ilya Sutskever）是第一個洞察這一切的人，然后他創辦了自己的公司Safe Superintelligence（SSI）。我認為這開啟了（行業）品牌重塑的潮流。幾個月過去了，差不多九個月到一年后，大家都在說“哦，超級智能是現實了”。所以這是另一個由伊利亞首先提出的研究方向，就像預訓練擴展、推理網絡等，他即便不是首創者，也為此付出了很多努力。這種品牌重塑，也許說明他也懂營銷。

Matthew Berman：

有傳言說，扎克伯格曾試圖收購SSI，但被伊利亞拒絕了。我還想問你關于丹尼爾·格羅斯（Daniel Gross）和納特·弗里德曼（Nat Friedman）的事。這些謠言現在可能已得到證實，扎克伯格似乎也在試圖聘請他們。這兩個人能帶來什么？

Dylan Patel：

扎克伯格試圖收購SSI，他還試圖收購Thinking Machines和Perplexity。這些都見諸于一些媒體報道。具體來說，流傳的謠言是馬克試圖收購SSI，但伊利亞顯然拒絕了，因為他致力于實現超級智能的核心使命，并不為產品發愁，而且他可能并不太看重金錢，他主要專注于構建它，在各方面都是一個真正的信徒。他很可能擁有足夠強大的投票權和控制權來說“不”。如果關于丹尼爾·格羅斯的傳聞屬實，那么很可能是他想促成這次收購。他會說，這是一個超棒的創始人。

另一位創始人納特并非來自AI研究背景，但他和丹尼爾一起有自己的風險投資基金，并共同創立了SSI。他可能希望進行收購，但最終沒有實現。我猜測，如果他（丹尼爾）真要離開，很可能就是因為（在收購SSI這件事上）產生了分歧和裂痕，所以他要繼續前行。

總的來說，當你觀察許多非常成功的人時，會發現成功的關鍵并非金錢，而更多的是權力。去Meta的人，很多顯然是為了錢，但也有很多人離開（原有崗位），是因為他們現在能掌控一家市值萬億美元公司的AI發展路徑。他們可以直接與扎克伯格對話，并能說服一個對整個公司擁有完全投票權的人。

這其中蘊含著巨大的能量。他們可以在數十億用戶中實施他們想實現的任何AI技術，無論是基礎設施、研究還是產品。對于像亞歷山大·王、納特·弗里德曼或丹尼爾·格羅斯這樣更專注于產品的人來說，這樣做非常有意義。納特打造了GitHub Copilot，他是一個產品人，而不是AI研究員，盡管他對AI研究了解很多。同樣，亞歷山大顯然對研究非常精通，但他的超級技能在于與人打交道、說服他人和組織協調，而在研究本身方面可能沒那么突出。在Meta，他們擁有所有的資源和權力去做很多事情。

山姆·奧特曼還提到，Meta一直在向其頂尖研究人員提供數億美元的offer，但頂尖研究人員中沒有一人離開。我想問，僅僅靠砸錢來解決問題、聘請最優秀的人才，這是一個成功的策略嗎？感覺文化元素可能會缺失。在OpenAI，有很多真正的信徒，他們為使命而工作。僅僅投入資金并吸引最優秀的研究人員，就足以營造出那種文化氛圍嗎？

這要看你怎么想。如果你認為超級智能是唯一重要的東西，那你就必須去追求它，否則就是失敗者。馬克·扎克伯格當然不想成為失敗者，而且他認為自己能建成超級智能。于是問題就變成，你該怎么做？

答案就是去嘗試招攬最優秀的團隊，比如Thinking Machines，那里有所有來自前OpenAI、Character.AI、Google DeepMind、Meta等公司的杰出研究人員和基礎設施人員。SSI也一樣，是伊利亞和他招募的人。Meta試圖從這些公司招募人員，也試圖收購這些公司。當那條路走不通時，你就會和像亞歷山大這樣人脈極廣、能幫你組建團隊的人合作，然后立刻開始組建團隊。

14:28 這和收購像SSI這樣員工人數遠少于100人的公司有什么不同？我覺得SSI的員工甚至不到50人。花300億美元收購，就像在說：“我們為每個研究人員花了數億美元，給伊利亞本人就花了100多億美元。”這和你現在（單獨挖人）做的是同樣的事情。

至于山姆所說“沒有頂尖研究人員離開”這一點，我認為并不準確。最初肯定有頂尖研究人員離開了。而且你說的是1億美元，實際上，我聽說過OpenAI有一個人的身價超過了十億美元。不管怎樣，這些錢數額巨大，但這和直接收購其中一家公司是一回事。像SSI或Thinking Machines都沒有產品，你收購它們就是為了人才。

如果超級智能就是一切，那么1億美元，甚至10億美元，與Meta目前的市值以及人工智能的整體潛在市場相比，都只是滄海一粟。

微軟與OpenAI：從蜜月到“療法”

Matthew Berman：

我想稍微談一下微軟和OpenAI的關系。我們似乎早已度過了蜜月期，現在他們的關系確實處于一種動蕩不安的狀態。

Dylan Patel：

現在它成了一種療法。

Matthew Berman：

是的，絕對。

Dylan Patel：

告訴我你們的感受，山姆和薩提亞。

Matthew Berman：

這就是心理治療。這是兩個人，他們有關系，并且這種關系似乎有點破裂。OpenAI的野心似乎沒有邊界。微軟現在是否在考慮調整交易？OpenAI呢？微軟似乎沒有理由這么做，但你覺得接下來這段關系的動態會怎樣發展呢？

Dylan Patel：

OpenAI如果沒有微軟，就不會有今天的成就。微軟簽署了一項協議，借此獲得了巨大的權力。這是個很奇怪的交易，因為一開始他們想做非營利組織，并且關心AGI（通用人工智能），但同時，為了拿到錢又不得不放棄很多。

微軟不想卷入反壟斷相關事務，所以他們把這筆交易的結構設計得很奇怪。有收益分成、有利潤保障，還有各種各樣不同的東西，但沒有任何地方寫明：你擁有公司X%的股份。他們的分成比例，我一下子想不起來了，但大概是20%的收入分成，49%或51%的利潤分成，直到達到某個上限。然后，微軟擁有直到AGI實現之前所有OpenAI的IP（知識產權）權利。

所有這些東西都非常模糊不清。利潤上限可能是10倍左右。再說一遍，我現在是信口開河，有段時間沒關注了。但就好比微軟投入了約100億美元，而OpenAI有個10倍的利潤上限，這意味著如果微軟能從OpenAI獲得1000億美元的利潤，那他們現在還有什么動力去重新談判呢？在那之前，OpenAI得把所有利潤或者一半利潤都給他們。他們獲得20%的收入分成，并且在AGI實現之前可以使用所有的OpenAI IP。

但是，AGI的定義是什么呢？理論上來說，OpenAI的董事會可以決定何時達到AGI。但如果真發生這種情況，微軟會把他們告得傾家蕩產，而且微軟的律師比上帝的還多。所以這是一種瘋狂的交易。

對OpenAI來說，里面有一些確實令人擔憂的事情。他們已經去掉的主要內容之一是，微軟曾非常擔心反壟斷問題，即OpenAI必須獨家使用微軟的計算資源。他們去年放棄了這項條款，然后今年宣布了“星際之門”（Stargate）的合作。也就是說，OpenAI將流向甲骨文（Oracle）、軟銀、CoreWeave和中東，用于構建他們的“星際之門”集群，也就是他們的下一代數據中心。當然，他們仍然從微軟那里獲得大量資源，但也從“星際之門”獲得了大量資源，主要來自甲骨文，但其他公司也有。

而在以前，OpenAI不直接找微軟就無法做到這一點。最初他們想找CoreWeave，但后來微軟就介入了這段關系，說：“不行，你只能用我們的。”所以很多GPU從CoreWeave租給微軟，再租給OpenAI。但這種獨家合作結束了，現在CoreWeave與OpenAI簽署了大合同，甲骨文也與OpenAI簽署了大合同。

Matthew Berman：

在微軟放棄獨家授權的這筆交易中，他們得到了什么回報？有報道稱他們為此得到了什么嗎？通常情況并非簡單地說“好吧，我們放棄了”。

Dylan Patel：

據報道，他們放棄了獨家權，作為回報，得到的僅僅是優先拒絕權。即任何時候當OpenAI去爭取計算資源合同時，微軟都有權以相同的價格和時間框架提供相同的計算資源。

Matthew Berman：

是為了降低反壟斷風險。

Dylan Patel：

是的，反壟斷是最大的考量因素之一。從OpenAI的角度來看，他們只是很惱火微軟的速度比他們所需要的慢得多。他們無法獲得所需的全部計算資源和數據中心容量等。CoreWeave和Oracle的進展要快得多，但即便如此，它們也不夠快。于是，OpenAI也轉向了其他人。

但如今，真正具有挑戰性的是，微軟擁有OpenAI的IP，他們對這一切都擁有權利。他們現在可以隨心所欲地處置它。不管是微軟表現得友善不利用它做什么，還是有些無能無法充分利用它而只是瀏覽一下，不管原因是什么，微軟盡管有能力，卻沒做多少事。但可能性是無窮無盡的。

另一件事是，你擁有直到超級智能實現之前的所有IP。這意味著，在實現超級智能的前一天，你擁有所有的IP，然后它被切斷，但直到那一刻之前你都擁有所有的IP。所以這也許是一天的工作量，也許需要10天，而不是1天。或者，你實現了超級智能，但要經過一段時間才能進行審議并達成共識，確認你已經實現了。但就像你在這個日期宣稱超級智能模型就在這里并將其公開一樣，微軟可以訪問它。

所以，對OpenAI的開發人員來說，這才是真正的重大風險。利潤分成之類的事情非常復雜且困難，而且大多數人在投資OpenAI時并不太在意這些。要讓世界上的每一位投資者都認可你那瘋狂的結構——即非營利性的營利模式以及所有這類東西——是極具挑戰性的。微軟長期擁有你所有的利潤和全部IP的權利。所以理論上，如果他們決定挖走你最好的一些研究人員然后自己實施一切，你可能就一文不值了。

這類事情會嚇到投資者，而山姆和OpenAI則認為這將成為人類歷史上資本密集度最高的初創企業。估值會持續飆升，因為他們正在構建的東西短期內并無盈利計劃。他們已經存在很長時間，年收入約100億美元，但未來五年仍不會盈利。有預測顯示，在實現盈利之前，他們預計自己的收入將遠超數百億美元，甚至可能達到數千億美元。所以在整個過程中，他們會一直虧損，需要不斷籌集資金，還得能夠說服全球的每一位投資者。而且這些條款既不光彩、不簡潔，也不易理解。

GPT-4.5 Orion項目為何被棄用?

Matthew Berman：

好的，你稍微談到了計算能力，特別是提到了Azure能夠接入Core Weave和其他地方。我想專門談談4.5，GPT 4.5。我認為它是上周被棄用的。這是一個很像你的大型模型。

Dylan Patel：

真的是這樣嗎？

Matthew Berman：

不是嗎？

Dylan Patel：

我不知道。我以為在聊天中仍然可以使用。我只是好奇而已。

Matthew Berman：

也許他們只是宣布了棄用，但這是遲早的事。

Dylan Patel：

不，它還在那里。不過，沒錯，他們確實跳過了。它的使用量非常少，這樣就說得通了。

Matthew Berman：

是模型太大了，還是運行成本太高了？GPT 4.5 Orion是出了什么問題嗎？

Dylan Patel：

這就是他們內部所說的、他們希望能成為GPT 5的東西，他們在24年初就下了這個賭注。他們在24年初開始對其進行訓練。這是一場全面的賭注，全規模預訓練。我們只是要收集所有數據，構建一個大得離譜的模型，然后對其進行訓練，使其比4.0和4.1版本聰明得多。

說清楚點，我之前說過它是第一個能把我逗笑的模型，因為它真的很有趣，但總體來說，它沒那么實用，速度太慢，而且和其他模型相比成本太高。就像O3只是在預訓練擴展方面表現更好，但數據卻無法擴展。所以他們沒能獲取大量數據。如果數據沒有這么快速地擴展，他們就有這樣一個在所有這些計算資源上訓練的非常龐大的模型。

但你面臨一個被稱為過度參數化的問題。一般來說，在機器學習中，如果你構建一個神經網絡并給它輸入一些數據，它往往會先記憶，然后再進行泛化。它會知道如果我說"敏捷的棕色狐貍跳過"，它就會知道下一個詞總是"懶惰的"，直到你用比它所學多得多的數據對其進行訓練。敏捷的棕色狐貍究竟是什么意思，懶惰的狗又是什么意思呢？它不會理解，實際上也不會構建世界模型。它缺乏通用性。在某種程度上，GPT 4.5 Orion規模如此之大，參數如此之多，以至于它確實記住了很多內容。實際上，當它最初開始訓練時，我知道包括我在內的人們都興奮不已，就像在說，天哪，它已經在碾壓各項基準測試了，而我們才剛剛起步。

Matthew Berman：

訓練。因為有些檢查點真的很棒，最初。

Dylan Patel：

是的，但那是因為它只是記憶了很多內容，然后就停止進步了。就好像它只是被長時間記憶下來，卻沒有泛化能力。它最終確實實現了泛化，因為這是一次非常復雜的運行。

實際上，他們的系統里有個bug已經存在好幾個月了，在訓練期間。訓練通常是幾個月或更短時間，通常還會更少。他們的訓練代碼中有一個bug存在了幾個月，這是一個非常小的bug，卻影響了訓練。這很有趣，就像當他們最終發現問題時，原來是Pytorch里的一個bug，OpenAI發現并修復了這個bug，然后提交了補丁。在Github上，有大約20個人對bug修復反應做出了回應，用表情符號表達了看法。另一件事是，他們不得不經常從檢查點重新開始訓練。它如此龐大、如此復雜，很多事情都可能出錯。

因此，從基礎設施的角度來看，僅僅是整合如此多的資源、將它們匯聚在一起并讓其穩定訓練就非常困難。但從另一個角度看，即便基礎設施、代碼以及諸如此類的一切都完美無缺，你仍然會面臨數據方面的問題，大家都在提及2022年的《Chinchilla》論文，我想是2022年，谷歌DeepMind發布了一篇名為《Chinchilla》的論文。它基本上表達的意思是，對于一個模型而言，參數與標記的最優比例是多少？而且這僅適用于具有Chinchilla模型確切架構的密集模型。

但感覺就像是，如果我有X次浮點運算，我應該有這么多參數和這么多詞元。這是一個縮放定律。顯然，當你增大模型規模并應用更多浮點運算時，模型的性能會提升。但是應該添加多少數據呢？現在應該再添加多少參數，顯然，隨著時間的推移，人們的架構會發生變化，Chinchilla的精確觀測結果并不準確。

大致來說，你想要的訓練數據的每個參數對應約20個標記，這是相對于模型中的參數而言的。大致來說，實際上有一條曲線，諸如此類。在這方面它更復雜，但就像那種觀察并非完全相同。但是，當你增加計算能力時，你想以一定比例或沿著某條曲線增加更多數據和參數，在理想世界中基本上有一個公式，而他們并沒有遵循這個公式。他們不得不使用比標記多得多的參數。

但這都是24年早期的事了，他們開始訓練的時候，所有這些實驗規定，他們最終做到了，我不記得他們是什么時候發布4.5的。是去年。但他們最終發布模型時，是在完成開始訓練、完成訓練、預訓練之后好幾個月，然后他們再嘗試進行強化學習（RL）等一系列操作。但與此同時，OpenAI的不同團隊發現了一些神奇的東西，即推理能力，也就是那顆"草莓"。

Matthew Berman：

就好像，在他們已經投入了所有這些資源，并且正在訓練這個大規模模型的過程中，他們意識到，由于推理能力，以低得多的成本，我們就能從一個模型中獲得更高的效率和更高的質量。

Dylan Patel：

如果你真的很想將推理簡化為第一性原理，這樣你就給模型提供了更多的數據。你從哪里獲取這些數據的？你在創建這些可驗證的領域時，是如何生成數據的，在這些領域中模型生成數據，并且你會丟棄所有未得出正確答案的數據。在那里，它不會驗證那個數學問題、那段代碼或那個單元測試是否正確。所以在某種意義上，回顧過去，顯然當時我沒有那種直覺，但回顧起來，那種直覺很有道理，就是說，4.5版本失敗是因為它沒有足夠的數據。

此外，從擴展角度和基礎設施層面來看，這非常復雜且困難。那里存在著大量的問題和挑戰。但他們也不應該有足夠的數據。現在，就像另一個團隊取得的這一突破正在產生更多數據，而這些數據是有益的。就像很多合成數據一樣，它就像劣質數據，但就像草莓的魔力一樣，推理的魔力在于數據是優質的。你正在生成的數據是什么。所以從第一性原理的角度來看，這確實很有道理。數據就是那堵墻，僅僅增加更多參數無濟于事。

蘋果公司在人工智能領域的滯后表現

Matthew Berman：

想聊會兒蘋果，我相信你對此有自己的看法。蘋果顯然落后了。我們在公開模型、泄密情況以及了解他們正在做什么等方面沒有獲得太多信息。你認為蘋果公司正在發生什么？你覺得他們只是失誤了嗎？它們在某種程度上與游戲相關。他們為什么不是招聘公司呢？如果非要猜測的話，內部正在發生什么？

Dylan Patel：

我認為蘋果就像一家非常保守的公司。他們過去收購過一些公司，但從未進行過真正大規模的收購。

Matthew Berman：

Beats是最大的一個。一家耳機公司。

Dylan Patel：

對。但總體而言，他們的收購規模都非常小。而且他們確實收購了很多公司。他們只是早早收購真正的小公司。他們發現，也許是一家失敗的初創公司，或者，不管他們買的是什么，他們收購的這些初創公司尚未實現產品與市場的契合，也不是那種超級熱門的公司。就蘋果而言，他們在吸引AI研究人員方面一直存在問題，這些研究人員喜歡夸夸其談，喜歡發布和發表自己的研究成果。蘋果一直是一家神秘的公司。他們實際上修改了政策，允許其AI研究人員發表成果。但說到底，這仍是一家神秘的公司。它仍然像一家陳舊的公司。就像Meta只能不斷提升一批研究人員和人才，因為他們已經有了一批ML人才，對吧？他們一直是AI領域的領導者。他們也有這個Pytorch團隊。然后他們承諾將AI開源。

Matthew Berman：

已經有一段時間了。他們一直是對的。開源。

Dylan Patel：

除此之外，就像誰有能力招攬AI人才，從DeepMind跳槽到OpenAI，OpenAI就像是DeepMind的競爭對手，諸如此類的事情，還有很多優秀的研究人員聚集在一起組建了它，然后是Anthropic分裂組織，接著是OpenAI的Thinking Machine分裂組織，而SSI是OpenAI的分裂組織，對吧？這就好比，有哪些公司實際上能夠招攬到原本沒有AI人才的人才呢？就好像谷歌Deepmind在這個領域就是最大的品牌，而且他們一直吸引著最多的AI研究人員和博士流入。然后還有像OpenAI、Anthropic這樣的機構，它們在某種程度上與思維機器和SSI有關，對吧？這都是OpenAI的。我覺得，吸引人才主動找上門來很難。

復雜且有價值的AI功能仍將依賴于云端

Dylan Patel：

如今，Anthropic擁有如此強大的文化，以至于他們能夠讓人們大開眼界。我在思考，像Meta這樣的領導者可以，但蘋果要如何吸引這些頂尖研究人員呢？他們招到的不會是最優秀的研究人員。所以對他們來說，保持競爭力很有挑戰性。

此外，他們對英偉達有偏見，非常討厭英偉達。這可能出于合理的原因：英偉達曾一度威脅要就某些專利起訴他們，并且賣給他們的GPU最終也出現了故障，那次事件被稱為“凸點門”（Bumpgate）。這是一個非常有趣的故事。

事情與英偉達的一代GPU有關，具體原因我可能記不太清了，畢竟已經過去很多年了。

Matthew Berman：

這是什么時候的事？

Dylan Patel：

大概是2015年，或者更早。當時有一個面向筆記本電腦的英偉達GPU系列。芯片底部有焊球，負責將其輸入輸出（I/O）引腳連接到主板、CPU、電源等。在供應鏈的某個環節——所有公司，包括戴爾、惠普、蘋果、聯想，都指責英偉達，英偉達也反過來指責他們，稱這不是自己的錯。我不想歸咎于誰，但問題出在焊球的質量上。當溫度上下波動時，由于芯片、焊球和PCB（印刷電路板）的熱膨脹系數不同，它們的膨脹和收縮速率也不同。最終，這種不同的膨脹率導致連接芯片和電路板的焊球開裂。這就是所謂的“凸點門”。

這樣一來，芯片與電路板之間的連接就斷開了。我認為蘋果公司希望從英偉達獲得賠償，但英偉達當時拒絕了，表示情況很復雜。蘋果非常討厭英偉達，一方面是由于這個事件，另一方面是因為英偉達在嘗試進入移動芯片市場（雖然最終失敗了）時的威脅性舉動。當時他們試圖就移動設備中的GPU專利起訴所有相關公司。綜合這兩件事，蘋果非常不喜歡英偉達，因此在圖形硬件方面的采購量也不大。

Matthew Berman：

他們現在其實也不再需要大量采購了。

Dylan Patel：

在筆記本電腦里他們不需要，但在數據中心里也是如此。如果我是一名研究人員，我會考慮文化契合度、薪資待遇等因素。即使是像Meta這樣擁有大量計算資源和優秀研究人員的公司，仍然需要提供巨額資金才能吸引人才。而蘋果不會提供那么高的薪酬，并且他們甚至沒有足夠的算力。為了給用戶提供推理服務，他們同時在Mac芯片和數據中心上運行模型，這種方式太奇怪了，我（作為研究員）可不想處理這些事情，我只想構建最好的模型。這對蘋果來說是個挑戰。

Matthew Berman：

好的，關于蘋果，我最后一個問題。他們非常重視設備端AI，我個人很喜歡這種做法，比如它在安全和延遲方面的優勢。你對設備端AI（即邊緣端AI）與云端AI的看法是什么？未來的趨勢會介于兩者之間嗎？

Dylan Patel：

總體而言，我對設備端AI持悲觀態度，并不看好它。安全固然很棒，但我了解人類心理：免費比付費好，有廣告的免費模式比單純的安全更有吸引力。其實沒多少人真正關心安全問題，他們口頭上說關心，但真正基于安全因素做決策的人非常少。當然，我也希望有隱私和安全保障。

Matthew Berman：

等等，但你剛說喜歡免費，設備端AI不也是一種免費的體現嗎？

Dylan Patel：

不，比如Meta會在云端免費提供服務，OpenAI的ChatGPT有免費版，谷歌也有。

Matthew Berman：

是的，而且云端的免費版會比在你設備上運行的任何版本都更好。

Dylan Patel：

對。設備端AI的一個重大挑戰在于硬件限制。模型的推理速度取決于芯片的內存帶寬。如果我想增加芯片的內存帶寬，硬件成本可能要增加50美元，這最終會轉嫁給客戶，導致iPhone貴上100美元。而用這100美元，我可以在云端獲得大約一億個token的使用量，但我個人根本用不了這么多。我寧愿省下這100美元，因為Meta會在WhatsApp和Instagram上免費提供模型，OpenAI會在ChatGPT上免費提供，谷歌也會免費提供。從這個角度來看，設備端AI很有挑戰性。

最后，我不同意關于延遲的觀點。我認為，對于某些特定用例，例如鍵盤上的下一個詞預測或拼寫檢查這類超小模型，低延遲是有意義的。但對我們個人而言，目前最有價值的AI應用場景，比如搜索餐廳，或者訪問我的Gmail、日歷，這些數據反正都在云端。

在商業領域有大量用例，但就個人而言，反正我的數據都在云端。

對于個人來說，最有價值的應用是搜索、通過谷歌地圖找餐廳、打電話、查看日程和郵件等。這些數據和狀態本來就都在云端。再比如一個更主動的工作流：“我想吃意大利菜，找一家位于我們兩人之間、有無麩質選項、并且今晚7點可以預訂的餐廳。”

這是一個深入的研究型查詢，得到回應需要時間。再比如我們設想未來AI為我們預訂航班，它不是簡單地執行“預訂航班”這個命令然后立刻完成。

它需要進行研究、查找信息，然后返回結果，這個過程必須經過網絡和云端。它有什么必要存在于設備上呢？而且由于硬件限制，即使是流式傳輸token，你的手機運行Llama 7B的速度，也比不上我從服務器查詢并把token傳回手機的速度。更何況，沒人想運行Llama 7B，他們想運行的是GPT-4.5、Claude 3 Opus或其他更好的模型。

用戶想要的是好模型，而這些模型不可能在設備上運行。所以對于像整合我所有數據這樣的用例，設備端AI很難實現，況且這些數據無論如何都在云端。

Meta、谷歌、微軟掌握了多少我的數據？允許我接入所有這些就行了。就像Anthropic正在做的，你可以把你的谷歌云盤連接到Anthropic。即使我的數據不在Anthropic那里，只要我授權，他們仍然能夠訪問。所以從用例的角度來看，設備端AI的真正好處究竟在哪里呢？從安全角度看確實有，但實際用例呢？

Matthew Berman：

是的，我認為可能有理由兼顧兩者。從總工作負載來看，可能會偏向云計算，但我認為也有理由將一部分工作負載放在設備端處理。任何與設備直接交互的操作，比如文本預輸入，都很有意義。

Dylan Patel：

我確實認為AI會在設備上得到應用，但這只會是價值極低的AI，因為其成本結構必須很低。我認為消費者不會為手機上的AI硬件買單，因為那會讓手機更貴。如果你打算保持手機價格不變，同時增加AI功能，那很好；但如果要提價，消費者不會接受。

設備端AI真正發揮作用的場景，會是在可穿戴設備上，比如耳機或智能眼鏡。你在本地做的都是些零碎的小事，比如圖像識別、手部追蹤，但實際的推理和思考是在云端進行的。這在某種程度上也是許多這類可穿戴設備所推崇的模式。

我認為設備上會有一些AI，各大公司也都會去嘗試。但真正能推動用戶采用、增加營收并改善客戶生活的功能，將會傾向于云端，這也是蘋果采取當前策略的原因。蘋果正在建設幾個大型數據中心，購買數十萬塊Mac芯片并將其部署進去，還聘請了谷歌TPU機架架構負責人來制造加速器。他們自己也認為云是AI發展的方向，只不過他們也必須在設備端上做文章。但蘋果公司自身，雖然不會明說，但也希望將很多業務放在云端運行。

NVIDIA vs. AMD：誰會勝出？

Matthew Berman：

他們確實有很棒的芯片。我們來談談芯片，談談英偉達與AMD的對比。最近我讀了幾篇SemiAnalysis的文章，文章認為AMD的新芯片實際上非常強大。你怎么看？這真的足以挑戰CUDA的護城河嗎？他們會開始從英偉達手中奪取市場份額嗎？

Dylan Patel：

我認為這是多種因素共同作用的結果。AMD確實很努力，但他們的硬件在某些方面比較落后，尤其是與Blackwell相比。他們面臨的真正挑戰是軟件，開發者體驗并不出色。情況正在好轉，我們已經向他們提出了一長串建議來改變現狀，比如具體修復和更改CI資源等。我們在12月和最近都提供了建議，他們已經實施了其中相當一部分，但在軟件方面感覺仍然遠遠落后。至于市場份額，我認為他們會獲得一些。他們去年有一定份額，今年也會有。挑戰在于，與英偉達的Blackwell架構相比，AMD的芯片客觀上要更差。

Matthew Berman：

哦，你是指單純的芯片，而非生態系統。

Dylan Patel：

是的，因為系統。英偉達能夠通過芯片上搭載的NVLink網絡硬件將GPU連接組網。英偉達構建服務器的方式能讓72個GPU非常緊密地協同工作，而AMD目前只能做到8個。

Dylan Patel：

這對推理和訓練至關重要。其次是英偉達的軟件棧，這不僅僅是CUDA。雖然人們常說“就是CUDA”，但實際上大多數研究人員并不會直接接觸CUDA。

Dylan Patel：

他們調用PyTorch，PyTorch再調用CUDA，從而在硬件上自動運行。無論是通過編譯器還是即時模式，它與英偉達硬件的適配性通常都非常好。在AMD上也是類似的調用流程。而現在，很多人甚至不再直接接觸PyTorch。

Dylan Patel：

他們會使用vLLM或SGLang等推理庫，從Hugging Face或其他地方下載模型權重。

Dylan Patel：

他們將模型權重接入推理引擎（例如GitHub上的開源項目SGLang或vLLM），然后只需運行即可。這些引擎在底層會調用Torch編譯、CUDA以及Triton等各種庫，形成一個完整的調用棧。

Dylan Patel：

實際上，最終用戶只想使用一個模型來生成token。英偉達構建的Dynamo等庫讓這個過程變得非常輕松。

Dylan Patel：

顯然，開發者所處的層次不同，有的在應用層，有的則深入底層。但許多用戶只想調用開源庫，告訴程序：“這是我的模型權重，這是硬件，運行它。”在這方面，AMD確實很努力，但用戶體驗仍然較差。并非程序無法運行，而是例如在使用某個庫時，英偉達可能需要設置10個參數。

Dylan Patel：

而用AMD可能需要設置50個參數。并且每個參數都有不同的設置，要達到最佳性能非常困難。不過，我認為AMD正在迎頭趕上。

Dylan Patel：

他們進展迅速，會占據一定的市場份額。另一方面，英偉達的一些做法也對自己不利。在云服務生態系統中，有谷歌、亞馬遜、微軟這樣的大公司。

Dylan Patel： 43:22這些大公司一直在研發自己的AI芯片，與英偉達形成了競爭。作為回應，英偉達將CoreWeave、甲骨文等其他云公司列為優先合作對象。實際上，這類公司超過50家，包括Nebius、Together和Lambda等。英偉達把原本可能分配給亞馬遜、谷歌的資源拿出來，優先供給這些新興云公司。

Matthew Berman：

這算是一種示好吧？

Dylan Patel：

是的。你去看看亞馬遜在GPU上的利潤率，如果直接租用一個GPU，他們每小時收費約6美元。

Dylan Patel：

而將英偉達GPU部署在數據中心的成本大約是每小時1.40美元。云服務的合理利潤可能是每小時1.75美元或2美元。這才是英偉達希望看到的，他們不希望所有利潤都被云服務商賺走。

Dylan Patel：

而在亞馬遜上售價是6美元。當然，你可以和亞馬遜談判以獲得更低的價格，但這并不容易。

Dylan Patel：

所以，英偉達通過支持這些不同的云公司來壓低價格。但在我看來，他們最近犯了一個重大錯誤：收購了Lepton公司。Lepton本身不擁有數據中心，但他們開發云軟件層，負責可靠性、便捷運行以及Slurm、Kubernetes等所有調度相關的工作。這本是大型云公司和那些被稱為“新興云企業”（Neo-clouds）所做的事情。

Dylan Patel：

現在英偉達收購了這家開發軟件層的公司，并正在研發名為DGX Cloud的產品。這意味著，如果任何云服務商有閑置的GPU，可以將其作為裸機交給英偉達，英偉達會在上面部署Lepton的軟件并將其出租給用戶。這讓云服務商非常惱火，因為英偉達在與他們直接競爭。實際上，英偉達可能也會將自己的一部分GPU資源接入DGX Cloud平臺。

Dylan Patel：

這就好比你扶持我們，現在卻又打造一個平臺與我們競爭。所以很多云服務商都很生氣，但他們不敢公開對英偉達表達不滿，因為英偉達的地位太重要了，就像你不會去招惹上帝一樣。所謂“黃仁勛（Jensen）賜予，黃仁勛也能收回。”

Dylan Patel：

但是，他們會私下向我們（分析師）抱怨。因此，一些云服務公司開始轉向AMD，部分原因是AMD可能為它們提供了激勵，部分原因也是它們對英偉達不滿。現在確實有一些云公司在購買AMD的GPU。此外，AMD還在做第三件事：他們正在做英偉達被指責的那種事情。我不知道你是否了解外界針對英偉達和CoreWeave那種交易模式的指控。

Matthew Berman：

是的，指控他們來回輸送收入，構成欺詐。

Dylan Patel：

是的，英偉達投資他們，然后又從他們那里租用集群。

Matthew Berman：

是的，看起來是常規操作。

Dylan Patel：

CoreWeave用投資款購買GPU，而且他們還必須開發自己的軟件。

Matthew Berman：

這其中似乎有些值得推敲的地方，但沒錯。

Dylan Patel：

不管怎樣，AMD實際上正在做類似的事情，甚至在加速推進。他們在向甲骨文、亞馬遜、Crusoe、Digital Ocean、TensorWave等公司出售GPU，然后再從這些公司租回算力。這種“售出再租回”的模式，與CoreWeave購買英偉達GPU后，將一小部分算力租給英偉達，但將絕大多數算力賣給微軟的情況，是有區別的。

Matthew Berman：

為了打開局面。不過這不算會計欺詐吧？

Dylan Patel：

不算。從會計角度看是完全合法的。向別人出售產品，再從他們那里租回服務，這本身沒有問題。就像英偉達……

Matthew Berman：

英偉達也做過。他們幾乎是在資助對方進行這項投資。

Dylan Patel：

沒錯。對于甲骨文和亞馬遜這類公司，AMD的說辭是：“購買我們的GPU，我們會租回一部分算力。你們可以保留另一部分，嘗試租給自己的客戶。這樣能激發市場興趣，如果效果好，你們就可以買更多。”而對于那些只購買英偉達產品的新興云企業，他們的說法是：“為什么不買我們的產品？我們簽個合同讓你安心，而且你還可以把一部分算力租給別人。”從某種程度上說，這講得通。但另一方面，這看起來也像是很多銷售額其實只是AMD自己回購了算力。但這確實培養了非常好的合作關系。

Dylan Patel：

現在，TensorWave和Crusoe這些云公司都表示很喜歡AMD。因為AMD先把GPU賣給他們，再租回算力，讓他們從中獲利。他們可以把這筆錢再投資于更多的AMD GPU，或者將富余的GPU租給其他人。與此同時，他們覺得英偉達反正就是想和自己競爭，自己又能怎么辦呢？這形成了一個有趣的局面。我認為AMD會表現不錯，雖然市場份額不會激增，但他們會賣出價值數十億美元的芯片。

Matthew Berman：

但如果你要為一家公司提供投資建議，在可預見的未來，你會建議他們投資哪種芯片？還是英偉達嗎？

Dylan Patel：

這取決于你能從AMD拿到什么樣的價格。我認為存在一個價格點，在這個價格點上使用AMD是合理的，而且AMD有時確實會提供這樣的價格。Meta就使用了相當多的AMD產品，當然他們也大量使用英偉達。在某些特定工作負載中，如果你有足夠的軟件人才，且AMD給出的價格非常低，那么選擇AMD就是明智的。這就是Meta這么做的原因。

Grok與xAI

Matthew Berman：

我想談談關于可解釋人工智能（XAI）和Grok 3.5的話題。顯然，目前關于它的公開信息并不多。埃隆·馬斯克曾表示，這是目前地球上最智能的AI，并將基于第一性原理運行。

Matthew Berman：

這一切都是吹噓嗎？他們真的發現了新的、獨特的東西嗎？特別是他提到的那種關于“有爭議但真實”的事實。他的行為要么表明他有了新發現，要么就是純粹的自吹自擂。你對目前的情況有什么看法？

Dylan Patel：

埃隆是一位出色的工程經理，同時也是一位出色的營銷專家。我不知道新模型會是什么樣子，但聽說它很不錯，大家都這么說。我們看看結果如何。當Grok 3發布時，我感到非常驚喜，因為它實際上比我預期的要好。

Matthew Berman：

Grok 3。

Dylan Patel：

我日常不會用它，但我確實會用它來處理某些查詢。

Matthew Berman：

如果不介意的話，是哪類查詢呢？

Dylan Patel：

它的深度研究功能比OpenAI快得多，所以我有時會用它。而且，有時候其他模型在提供我想要的數據時會顯得很“羞怯”（shrinking violet）。我個人對人文地理很感興趣，比如人類歷史、地理、政治以及資源間的相互作用，所以也想了解人口統計數據之類的信息，這很有趣。

舉個例子，我長大的小鎮位于《圣經》地帶，人口約一萬，黑人和白人各占一半。我向別人解釋這種人口構成時會提到，那片區域是海洋退去后的洪泛區，土地極其肥沃。在佐治亞州，當早期定居者來到這里時，他們占據了這些肥沃的地區，獲得了更好的收成，從而有能力購買奴隸。這就是為什么當地的黑人比例遠高于州內大部分地區的原因。

雖然這種說法可能有些“出格”，但我喜歡思考這類人文地理問題，而Grok并不會回避這些話題。它能讓我進行深入思考。雖然從“品味”（tastefulness）的角度看，探討某些話題可能不妥，但它有助于理解歷史。例如，歐洲歷史上的一些入侵行為，其根本原因并非侵略本性，而是由于其發源地日益干旱，迫使他們離開家園。了解這類事情，或是像標準石油公司在成為壟斷企業前如何戰勝競爭對手的商業史，都非常有趣。其他模型在處理標準石油的話題時，可能會直接貼上“破壞工會”之類的標簽，而我只想知道事實究竟是怎樣的。

所以，Grok有時能解決我的問題，但它并非最佳模型。在我日常工作中，使用最多的是Claude 3 Opus或Claude模型。

Matthew Berman：

你每天都在使用Claude 3 Opus，盡管它的響應速度很慢？

Dylan Patel：

這取決于主題。很多時候我可以接受等待，但也有很多時候不行，這時我就會用Claude。我在工作中使用Gemini，我們用它來處理大量的許可證和監管備案文件。我們進行了很多長上下文（long context）的操作。它在處理長上下文、文檔分析和檢索方面非常出色，所以我們在工作中用Gemini處理大量事務。但如果是日常場景，比如拿出手機在對話中途想查點什么，情況就不同了。

Matthew Berman：

好的，我們說回Grok。

Dylan Patel：

是的，關于Grok，他們擁有大量的計算資源，而且非常集中。他們有很多優秀的研究人員，已經有大約20萬臺GPU投入使用，還在孟菲斯購置了一座新工廠，并正在建設一座新的數據中心。他們在獲取算力方面的一些做法堪稱瘋狂，比如使用移動發電機。現在他們剛從海外購買了一座發電廠運往美國，因為無法及時買到新的。

他們正在做各種瘋狂的事情來獲取計算資源。他們有優秀的研究人員，模型本身也很不錯，而埃隆正在大力宣傳。它會很棒，還是僅僅不錯？它會與競爭對手旗鼓相當，還是會稍遜一籌？我不知道。

Matthew Berman：

他們做的事情有本質上的不同嗎？他特別提到要重寫人類知識語料庫，因為當前的基礎模型中存在太多無用信息。他顯然掌握了X的數據。

Dylan Patel：

它的質量也很低，所以很難處理。

同時，這也是我有時會用到Grok的另一個領域：時事。

Matthew Berman：

是的，用于總結。

Dylan Patel：

例如發生在以色列和伊朗的局勢以及所有戰爭相關的事情。你可以向Grok提問，它能比谷歌搜索、甚至Gemini或OpenAI的查詢更準確地告訴你發生了什么，因為它可以獲取所有這些信息。

Matthew Berman：

他們做的事情有什么不同嗎？我指的是那種階躍函數式的差異。

Dylan Patel：

我從不同角度看待階躍函數。每個人都喜歡覺得自己在做不同的事情，但總體而言，大家做的都是同樣的事情。他們正在預訓練大型Transformer模型，并在此基礎上進行強化學習，這主要是在可驗證的領域，不過他們也在研究如何在不可驗證的領域開展相關工作。他們在為模型創建可供其運行的環境，但這些環境大多是代碼和數學。現在他們則開始接觸電腦使用以及其他方面。

感覺每個人都在做大致相同的事情，但這也是一個極具挑戰性的問題，有很多方向可以著手。但我認為總體上大家都在采取相同的方法。即使是SSI也不是。SSI正在做一些不同的事情，但我認為他們做的事情和我剛才描述的并沒有太大不同。

人工智能與就業：白領崗位的挑戰與勞動力市場的未來

Matthew Berman：

我有兩個主題想討論。第一個是關于經濟和勞動學的，我想談談白領工作崗位中可能消失的50%。我知道你可能也讀到過相關內容。這顯然是近期發生的事情，也更讓你掛心。你傾向于聊哪個？

Dylan Patel：

我們先聊第一個吧，雖然第二個可能對你的受眾來說更有趣。第一個話題確實很有趣。每個人，或者說至少AI領域的一些人，都擔心大規模失業。但另一方面，我們的人口老齡化速度極快，而且總體上人們的工作時間比以往任何時候都少。我們過去常常取笑歐洲人工作時間少，但實際上，50年前的平均工作時長要高得多，100年前則更長，人們幾乎沒有休閑時間。而現在，每個人的住房面積更大，糧食安全狀況也更好。可以說，我們在每一項指標上都比50或100年前要好得多。

人工智能理應讓我們的工作時間變得更少。未來可能會出現一種情況：像我（可能還有你）這樣的人工作過度，而普通人的工作時間則少得多。顯然，資源分配是一個挑戰，我認為這才是問題的關鍵。這也是我對機器人技術感到非常興奮的原因。很多容易自動化的工作，恰恰是那些我們最難用機器人技術替代的。人們總以為自己想做的是坐在電腦前發揮創造力，但實際上，受沖擊最嚴重的市場之一是自由平面設計師，而像采摘果實這樣的體力勞動市場卻尚未受到影響。而這（體力勞動）正是人們不想做的工作。

Matthew Berman：

有道理。盡管機器人技術在以驚人的速度發展，但這部分自動化似乎仍很遙遠。那么，你是否預見到，隨著人類生產力的極大提升，大量任務將被自動化？你認為未來人類的角色是管理AI，審查AI的輸出，還是兩者的結合？

Dylan Patel：

我們正從使用基于聊天的模型，過渡到更長期的任務處理。例如，在深度研究中，過去需要十幾分鐘甚至幾十分鐘才能完成的任務，現在通過AI可以更快完成。

Dylan Patel：

未來會有一個AI助手，我們可以一直與之交談，或者它會主動提示我們關注某些事情。同時，也會有長期任務，AI會持續工作數小時甚至數天，然后將結果交由我們審核。最終，這個過程中將不再需要人類的參與。

Matthew Berman：

我相信這一點。你設想的時間線是怎樣的？

Dylan Patel：

我通常對時間線問題持比較悲觀的態度。我不認為在這十年內，會有20%的工作被自動化。我感覺可能要到這個十年末或下個十年初，才能實現20%工作的自動化。雖然有人說通用人工智能（AGI）將在2027年出現，但這取決于他們如何定義。

Matthew Berman：

即使他們的預測是準確的，也不意味著技術能在那一刻就落地實施，對吧？我們還需要數年時間才能在實際中真正部署它。

Dylan Patel：

我認為部署會非常快。你已經可以看到，初級軟件工程師的市場受到了重創，畢業生很難找到工作，而AI在軟件開發中的使用量正在急劇上升。我們現在還僅僅處于代碼輔助階段，甚至還沒到自動化軟件開發的階段。

Matthew Berman：

那么，在AI的幫助下，公司是會選擇做更多的事情、解決更多的問題嗎？如果是這樣，那些初級工程師最初該如何進入這個行業呢？我昨天和亞倫·利維（Aaron Levie）聊到這個，他的反應是：“是的，如果一個團隊告訴我他們的工作效率變得非常高，我當然會把更多的錢投給那個團隊，壯大那個團隊。”那么，初級工程師的發展空間在哪里呢？

Dylan Patel：

是的，我同意這個觀點。以我自己的公司為例，我們借助AI可以做更多的事情，這使我們生產力更高，能夠超越那些在咨詢和數據領域不使用AI的老牌公司。我公司的規模在去年從兩個人增加到了三個人，但我們招聘了多少初級軟件開發人員呢？答案是沒有。我手下的一位初級開發人員，我們上周還在為她慶祝，因為她一個人就提交了大約50次代碼。

Dylan Patel：

在過去，完成同樣的工作需要更多的人。雖然顯然還有很多軟件等著我們去開發，但問題在于我們實際上能招聘多少人？我難道不更希望讓一位資深工程師來指揮一群AI，而不是雇傭一個初級工程師嗎？這確實是一個挑戰。當然，雇傭年輕人也有好處，因為他們能很快適應新的AI工具。這需要一種平衡。

Dylan Patel：

我不知道初級軟件開發人員的出路在哪里。總有人在推特和領英上給我發招聘信息，但我實際上并不太需要。我很少看到大型科技公司招聘初級軟件開發者，這是一個事實，也是市場如此糟糕的原因。

Matthew Berman：

所以他們只能自己提升，掌握更好的技能。

Dylan Patel：

是的，他們需要能獨立完成工作，向外界證明自己并非初級人員，而是能夠真正運用這些工具的專家。

Matthew Berman：

但這并不適合所有人。

Dylan Patel：

確實不適合。很多人需要的只是一份工作，他們不一定有很強的自驅力。

Matthew Berman：

他們肯定不想當創始人，也不想成為單打獨斗的開發者。即使不是創始人，他們也需要方向指引。

Dylan Patel：

我開始招聘時一直面臨一個問題：有些人需要大量的指導，而我卻無法提供。我需要的是能夠自我驅動的人。現在公司里有些人能做到這一點，但為員工提供指導確實很難，因為有些人至少需要明確的方向和手把手的教導。

Matthew Berman：

為什么最初開源模式會領先于閉源模式？

Dylan Patel：

除非Meta大幅改進（他們也正在這樣做），否則美國將失去一個強大的開源項目。山姆·奧特曼認為Meta沒有招到頂尖研究人員，我認為這個觀點是錯誤的。我相信有一些頂尖研究人員會去那里，也許不是第一梯隊的人選，但仍然是頂尖人才。中國之所以搞開源，只是因為他們暫時落后。一旦他們取得領先，就會停止開源。說到底，閉源模式終將勝出。很遺憾，但閉源會贏。我唯一的希望是，未來不會由兩三個閉源的AI模型或公司主導全球GDP。市場的格局可能比這更分散，但也不一定。

誰會贏得超級智能競賽？

Matthew Berman：

Meta、谷歌、OpenAI、微軟、特斯拉，以及其他公司。你必須挑選一家公司，押注它會率先實現超級智能。你會選誰，為什么？

Dylan Patel：

OpenAI。他們總是第一個取得每一項重大突破，甚至在推理方面也是如此。我認為僅靠推理無法讓我們邁向新一代，所以肯定還會有其他與人類相關的因素。至于第二、第三名，這是一個難題。

Matthew Berman：

不過，他們確實非常保守，尤其是在發布內容、發表成果以及關注重點方面。他們的安全性極高，對此我心存感激。

Dylan Patel：

但這種保守的風格已經減弱了很多。我認為他們不像過去那么保守了。據我所知，推出GPT-4的過程比推出GPT-3的過程要容易得多。這可能是因為他們正在大量招聘合規人員，也可能是因為他們意識到，既然其他人無論如何都會發布相關內容，他們也應該發布自己的版本。不過，我認為他們只是擁有非常優秀的人才。

至于第三的位置，目前在谷歌、XAI、X和Meta之間難分高下。但我認為Meta會吸引到足夠多的優秀人才，從而真正具備競爭力。

Matthew Berman：

非常感謝你和我聊天。這次的交流非常棒，也很有趣。