新智元報(bào)道
編輯:Aeneas 好困
【新智元導(dǎo)讀】誰(shuí)會(huì)第一個(gè)到達(dá)ASI?SemiAnalysis大佬Dylan Patel脫口而出:OpenAI!最近,這位圈內(nèi)最懂AI和芯片的大佬,毫不留情地戳穿了GPT-4.5慘敗的原因,還揭露了Meta倉(cāng)促模仿DeepSeek結(jié)果大翻車的內(nèi)幕。
誰(shuí)會(huì)首先到達(dá)ASI(超級(jí)智能)?OpenAI!
大佬斬釘截鐵的回答,讓主持人驚呆了幾秒。
GPT-4.5到底哪里出了問題?
小扎瘋狂挖人,砸出1000萬(wàn)美金年薪,值得嗎?
蘋果在AI競(jìng)賽中已經(jīng)徹底落后,接下來他們打算做什么自救?
就在剛剛,AI大V Matthew Berman放出對(duì)Dylan Patel長(zhǎng)達(dá)1小時(shí)的訪談,后者爆出不少猛料。
Patel是SemiAnalysis創(chuàng)始人兼CEO。SemiAnalysis的大名,在業(yè)內(nèi)是如雷貫耳,每出一篇關(guān)于AI和半導(dǎo)體的重磅分析,都會(huì)被業(yè)內(nèi)人士競(jìng)相轉(zhuǎn)載,擁有極高的行業(yè)影響力。
而Patel本人,對(duì)AI領(lǐng)域的認(rèn)知更是達(dá)到了無(wú)與倫比的深度和廣度。
在訪談中,Patel表示,如今很多全球頂尖AI公司內(nèi)部,已經(jīng)是亂成一鍋粥了!
看完這個(gè)訪談,許多網(wǎng)友表示,信息密度實(shí)在太大,全程高能,太值得一聽了。
Meta、OpenAI、蘋果、英偉達(dá)、xAI、微軟,這些大科技公司在硅谷的混亂局面中,誰(shuí)將主宰下一個(gè)浮沉?
讓我們來看看大佬的犀利分析和預(yù)言。
Meta瘋狂掙扎,小扎作困獸之斗
借鑒DeepSeek,結(jié)果翻車了?
首先,兩人討論的是最近鬧出了天價(jià)挖人風(fēng)波的Meta。
Llama 4發(fā)布已經(jīng)有一陣子了,當(dāng)時(shí)大家的期待值非常高,但它卻并沒有改變世界,隨后,Behemoth模型又被推遲了。
而在Patel看來,Behemoth恐怕永遠(yuǎn)不會(huì)發(fā)布了。同樣命運(yùn)的還有Maverick和Scout。這些模型的一些訓(xùn)練方式和決策,后來被證明是行不通的。
本來在發(fā)布時(shí),有個(gè)模型感覺還行,但后來在阿里和DeepSeek發(fā)的新模型前,一下子就顯得遜色了。
而另一個(gè)模型,客觀上來講就是很差勁。Patel表示,我敢打賭,那個(gè)模型就是為了應(yīng)對(duì)DeepSeek而趕工出來的。
他們借鑒了DeepSeek的MoE架構(gòu),但搞砸了,如果仔細(xì)去看,這個(gè)模型甚至不會(huì)把Token傳送到某些專家模塊,可以說訓(xùn)練基本就是白費(fèi)了!
最終結(jié)果,就是一堆專家在那里無(wú)所事事,顯然訓(xùn)練出了問題。
詭異的是,Meta明明擁有全球最頂尖的人才,也不缺算力,怎么就搞砸了?
這一點(diǎn),他們應(yīng)該向OpenAI學(xué)習(xí)。
奧特曼負(fù)責(zé)搞定所有資源,Greg Brockman和Mark Chen等人則是技術(shù)領(lǐng)袖,總之,要有一個(gè)懂技術(shù)、能做決斷、能選對(duì)方向的領(lǐng)導(dǎo)。
否則,后果就是這些頂尖研究員會(huì)把時(shí)間浪費(fèi)在錯(cuò)誤的路線上。
事實(shí)上,[品味」非常重要,判斷什么值得研究、什么不值得,這本身就是一種藝術(shù)。
一個(gè)想法當(dāng)然可以用幾十萬(wàn)個(gè)GPU跑一次來驗(yàn)證,但事情不會(huì)完美地等比放大,這其中需要大量的品味和直覺。
如果錯(cuò)誤的人通過一些政治手段,讓自己的想法和研究路徑被采納進(jìn)了模型,結(jié)果很可能就是翻車。
小扎為何突然轉(zhuǎn)向AGI
最近,無(wú)論是收購(gòu)Scale AI(本質(zhì)上是收購(gòu)Alexandre Wang),還是1000萬(wàn)美元年薪天價(jià)挖來OpenAI員工,都讓小扎處于爭(zhēng)議的風(fēng)口浪尖。
Patel點(diǎn)評(píng)到,Scale AI作為一家公司,現(xiàn)在業(yè)務(wù)基本上是完蛋了,因?yàn)楣雀柙趦?nèi)的所有公司,都在取消和他們的合同(據(jù)說谷歌今年本來要在Scale AI身上花2.5億美元的)。
而OpenAI,也已經(jīng)和Scale AI徹底決裂。沒有任何一家公司,希望Meta知道自己的數(shù)據(jù)在用來干什么。
Patel指出,最近這幾個(gè)月,小扎的轉(zhuǎn)變十分微妙。
在幾個(gè)月前的采訪中,他還認(rèn)為ASI短期內(nèi)不會(huì)實(shí)現(xiàn)。但如今,他真的信了ASI,所以,要做什么才能追上來?
目前,他還是純靠砸錢。OpenAI、SSI、Thinking Machines的全明星團(tuán)隊(duì),基本被他挖了個(gè)遍。
甚至傳聞中,Meta愿意開出上億美元年薪,挖不動(dòng)人,就買下整個(gè)公司。
這場(chǎng)AI軍備競(jìng)賽的本質(zhì)是什么?
說到底,還是對(duì)「權(quán)力」的爭(zhēng)奪:誰(shuí)能帶隊(duì)造出超級(jí)智能、誰(shuí)就能掌控萬(wàn)億級(jí)公司的AI戰(zhàn)略,能把產(chǎn)品推向數(shù)十億用戶。
這,是一場(chǎng)產(chǎn)品人、理想主義者和科技巨頭之間的全面競(jìng)速。
超級(jí)智能,已經(jīng)不是「能不能」,而是「誰(shuí)先」。
其實(shí)要說到底,在超級(jí)智能這塊,真正引領(lǐng)潮流的還是Ilya。
他總是率先看到一切。可以說,是Ilya引領(lǐng)了這波敘事轉(zhuǎn)向。他先創(chuàng)辦了自己的公司SSI(安全超級(jí)智能),大概在一年后,所有人都開始相信超級(jí)智能了。
而對(duì)于預(yù)訓(xùn)練規(guī)模化、推理、早期的視覺網(wǎng)絡(luò),他也是最早開始深入研究的一批人之一。
但對(duì)于小扎的收購(gòu),他果斷拒絕了。可以看出來,Ilya根本不在乎錢,他想要的就是實(shí)現(xiàn)ASI,是一個(gè)真正的信徒。
而對(duì)Meta來說,如果最終目標(biāo)是超級(jí)智能,那么相比Meta目前的市值,以及AI的整個(gè)潛在市場(chǎng),無(wú)論是1億美元,還是10億美元,都只是滄海一粟而已。
GPT-4.5的失敗,究竟是因?yàn)槭裁矗?/strong>
接下來,主持人拋出了這個(gè)問題:GPT-4.5到底怎么了?
Patel一句話金句總結(jié):總的來說,它沒什么用,而且太慢了。
曾經(jīng),GPT-4.5的內(nèi)部代號(hào)是Orion,本來被寄望于成為GPT-5。
為此,OpenAI下了血本,從2024年初就開始訓(xùn)練,全力押注規(guī)模。他們用上了所有數(shù)據(jù),造出一個(gè)大得離譜的模型。
結(jié)果呢?Patel表示,雖然它的確是第一個(gè)把自己逗笑的模型,但并沒有那么好用,速度太慢,也太貴了。
慘敗的原因就在于「過度參數(shù)化」——
它并不是在建立世界模型,而是在泛化。某種程度上,GPT-4.5就是因?yàn)樘蟆⑦^度參數(shù)化,記住了太多東西,所以就不再進(jìn)步了。
要知道,剛開始,OpenAI內(nèi)部都覺得它要在基準(zhǔn)測(cè)試上大殺四方了,然后事實(shí)卻讓所有人失望了。
而且倒霉的是,訓(xùn)練代碼里還有個(gè)bug,直接持續(xù)了幾個(gè)月。雖然這個(gè)bug很小,卻攪亂了整個(gè)訓(xùn)練。好在最終,研究者們發(fā)現(xiàn)并修復(fù)了這個(gè)PyTorch內(nèi)部的bug。
另外,他們還不得不頻繁地從checkpoint重啟訓(xùn)練,原因就在于模型太大、太復(fù)雜了,任何環(huán)節(jié)都可能出錯(cuò)。
而且,就算基礎(chǔ)設(shè)施、代碼都完美無(wú)瑕,仍然可能遇到數(shù)據(jù)的問題。
在2022年,谷歌DeepMind在發(fā)表的Chinchilla論文里,提到過模型參數(shù)量和Token數(shù)的最佳比例(訓(xùn)練數(shù)據(jù)量大約應(yīng)該是模型參數(shù)量的20倍)。
這就是大家公認(rèn)的Scaling Law——模型做得越大,投入的flops越多,模型就越好。
然而如今,隨著模型架構(gòu)的變化,這篇論文里的結(jié)論已經(jīng)不再適用了。
在2024年初開始訓(xùn)練GPT-4.5時(shí),他們就不得不使用了遠(yuǎn)超Token數(shù)量的參數(shù)。
然而與此同時(shí),OpenAI的另一個(gè)團(tuán)隊(duì)卻有了關(guān)于推理的神奇發(fā)現(xiàn),就是當(dāng)時(shí)被傳得沸沸揚(yáng)揚(yáng)的「Strawberry」。
已經(jīng)投入巨資訓(xùn)練龐然大物的OpenAI才發(fā)現(xiàn),原來完全靠推理,就可以用低得多的成本讓模型的效率和質(zhì)量得到巨大提升。
總之,GPT-4.5之所以失敗,就是因?yàn)閿?shù)據(jù)不夠。而最終,Strawberry證明了推理的魔力。
OpenAI和微軟:昔日CP,分道揚(yáng)鑣
另一方面,曾經(jīng)的OpenAI和微軟這對(duì)「AI界最強(qiáng)CP」,顯然也過了蜜月期。
過去幾年,OpenAI靠著微軟的大力投資和Azure算力迅速崛起,然而兩家公司的合作協(xié)議,實(shí)在是太過復(fù)雜——
微軟沒有OpenAI的股權(quán),卻擁有它大部分利潤(rùn)的分成權(quán)、所有IP使用權(quán),甚至在AGI實(shí)現(xiàn)前,能使用OpenAI的所有技術(shù)。
也就是說,只要你造出了超級(jí)智能,微軟就能在頭一天把代碼全部打包帶走。
而且,起初OpenAI還被限制只能用微軟的云服務(wù),但隨著星際之門的推進(jìn),他們也開始和Oracle、CoreWeave合作。
然而,微軟雖然放棄了獨(dú)家權(quán),但保留了「優(yōu)先承購(gòu)權(quán)」以降低反壟斷風(fēng)險(xiǎn)。
問題是,如今的OpenAI野心膨脹,想成為地球上最為資本密集的初創(chuàng)公司,因此燒錢無(wú)上限、五年內(nèi)不打算盈利,還要不斷融資;而微軟呢,雖然手握代碼庫(kù),卻還沒真正動(dòng)手自己搞模型。
雙方都一樣,心照不宣地防備彼此。接下來,誰(shuí)先走出下一步,這種脆弱的平衡,就很可能要打破了。
蘋果,在AI上重大失誤
而在目前的AI大戰(zhàn)中,蘋果似乎是顯而易見的輸家了。
他們既沒公開大模型、也沒泄露任何研發(fā)細(xì)節(jié)。業(yè)內(nèi)已經(jīng)普遍認(rèn)為,這不是「佛系」,而是徹底的結(jié)構(gòu)性落后。
要深究原因的話,就是蘋果保守的收購(gòu)策略、對(duì)開源文化的疏離、對(duì)GPU巨頭英偉達(dá)的長(zhǎng)期芥蒂,以及自身缺乏AI研究氛圍的現(xiàn)狀,都讓它很難吸引到頂尖的AI人才。
因此,在Meta、OpenAI、Anthropic等公司瘋狂搶人的同時(shí),蘋果最多只能招到「第二梯隊(duì)」的人才。
而他們所推崇的端側(cè)AI之路,也沒那么容易走通。
雖然蘋果在大力強(qiáng)調(diào)隱私與低延遲,但現(xiàn)實(shí)卻是,大模型越來越龐大,手機(jī)芯片根本跑不動(dòng)。
而大多數(shù)用戶寧可免費(fèi)用云端AI,也不愿為本地推理多掏幾百美元去買硬件。
而且即便是能在設(shè)備上跑通一些輕量任務(wù)(比如鍵盤預(yù)測(cè)),真正復(fù)雜的AI服務(wù)——搜索、日程規(guī)劃、訂票助手,依然還是需要依賴云端數(shù)據(jù)與算力。
蘋果也清楚這一點(diǎn)。
所以,他們正悄悄建造超大數(shù)據(jù)中心,部署Mac芯片做云端AI推理,還挖來了谷歌TPU團(tuán)隊(duì)的關(guān)鍵人物,希望自研AI加速器。
可見,雖然表面強(qiáng)調(diào)的是「本地AI」,但他們真正押注的,其實(shí)還是云端。
別家都在卷大模型,但蘋果已經(jīng)另辟蹊徑,開始為AI時(shí)代的「云大戰(zhàn)」做準(zhǔn)備了。
超級(jí)智能,靠燒錢能到達(dá)?
所以最終,在Meta、谷歌、OpenAI、微軟、特斯拉這些公司中,如果必須選一家來賭誰(shuí)會(huì)率先實(shí)現(xiàn)ASI,你會(huì)選誰(shuí)?
Dylan Patel的答案是——OpenAI。
原因在于,他們是每個(gè)重大突破的先行者,幾乎主導(dǎo)了每一個(gè)關(guān)鍵技術(shù)突破——從預(yù)訓(xùn)練到推理,再到多模態(tài)能力,始終走在最前面。
而且,單靠推理可能并不會(huì)帶我們進(jìn)入下一代AI,最終一定還得有別的東西。OpenAI給人感覺,還在醞釀著更大的技術(shù)野心。
而第二名,就是Anthropic。
不過,雖然他們技術(shù)強(qiáng)大、團(tuán)隊(duì)深厚,但風(fēng)格卻太保守了——無(wú)論在模型發(fā)布、研究透明度、安全策略上。都是步步為營(yíng),小心謹(jǐn)慎。
不過可以看到,現(xiàn)在他們也逐漸放開了,Claude 4的發(fā)布節(jié)奏就明顯比Claude 3快很多,招聘也開始招「正常人」了。
而第三名,就是谷歌、Meta 和xAI之爭(zhēng)。
其中,谷歌技術(shù)底子雄厚,xAI有馬斯克資源加持,而Meta則是不吝砸巨資挖人。
如今,這場(chǎng)超級(jí)智能之戰(zhàn)才剛剛開始,誰(shuí)都有可能先到終點(diǎn)。
而這過程中比拼的可不僅僅是技術(shù),而是意志與資源的全面博弈。
參考資料:
https://www.youtube.com/watch?v=cHgCbDWejIs
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.