您說(shuō)這扎克伯格急不急?眼瞅著OpenAI的GPT-5在云端若隱若現(xiàn),谷歌的GeminiPro已經(jīng)落地生根,自家養(yǎng)了兩年多的AI大寶貝Behemoth卻卡在產(chǎn)房里死活生不出來(lái)。這旗艦AI模型難產(chǎn)的檔口,Meta股價(jià)應(yīng)聲下跌3%,連帶著英偉達(dá)的股價(jià)都跟著打噴嚏,整個(gè)硅谷的服務(wù)器機(jī)房怕是都聽(tīng)見(jiàn)了扎克伯格摔鍵盤(pán)的響動(dòng)。
要說(shuō)這Behemoth可了不得,江湖傳言它肚子里裝著兩萬(wàn)億參數(shù),比Llama3足足多出三倍容量。去年Meta的工程師們拍著胸脯打包票,說(shuō)這大塊頭在邏輯推理測(cè)試?yán)锬馨袿penAI和谷歌按在地上摩擦。誰(shuí)知今年四月AI開(kāi)發(fā)者大會(huì)臨近,技術(shù)團(tuán)隊(duì)突然集體改口:"再等等,咱們的巨嬰還沒(méi)學(xué)會(huì)走路呢"。
這事得從Llama4的爛攤子說(shuō)起。您還記得年初Meta推出的那兩個(gè)小模型Scout和Maverick嗎?那會(huì)兒工程師們耍了個(gè)小聰明,把特調(diào)版本送去行業(yè)評(píng)測(cè)榜刷分,結(jié)果被扒出來(lái)公開(kāi)版本根本達(dá)不到那個(gè)水平。這就好比高考前給兒子報(bào)了個(gè)突擊班,結(jié)果考場(chǎng)里坐著的是替考槍手。扎克伯格后來(lái)紅著臉承認(rèn)這事,說(shuō)以后要當(dāng)個(gè)誠(chéng)實(shí)的好學(xué)生。可誰(shuí)能想到,這個(gè)作弊風(fēng)波竟成了Behemoth難產(chǎn)的前奏。
要說(shuō)這AI研發(fā)團(tuán)隊(duì),那真是流水的兵鐵打的營(yíng)盤(pán)。當(dāng)初開(kāi)發(fā)第一代Llama模型的14個(gè)博士,如今只剩3個(gè)還在Meta大樓里喝咖啡。剩下的11位不是被微軟挖走,就是自立門(mén)戶(hù)搞起了AI初創(chuàng)公司。新接手的團(tuán)隊(duì)拿著前任留下的代碼,就像廚子接手別人調(diào)了一半的醬料,怎么炒都差點(diǎn)火候。內(nèi)部文件顯示,工程師們最近三個(gè)月試了178種模型架構(gòu)調(diào)整方案,愣是沒(méi)找到突
破性能瓶頸的鑰匙。
這技術(shù)瓶頸到底卡在哪?知情人士透露,Behemoth的混合專(zhuān)家架構(gòu)(MoE)就像個(gè)挑食的熊孩子。您給它喂1.6萬(wàn)億token的訓(xùn)練數(shù)據(jù),它偏挑著吃,有用的知識(shí)沒(méi)記住多少,倒把網(wǎng)絡(luò)段子背得滾瓜爛熟。更糟心的是模型穩(wěn)定性,有時(shí)候能寫(xiě)出莎士比亞水準(zhǔn)的十四行詩(shī),轉(zhuǎn)臉就給你整出篇狗屁不通的胡話(huà)。某次內(nèi)部測(cè)試,Behemoth被要求解釋相對(duì)論,結(jié)果它從愛(ài)因斯坦聊到肯德基全家桶,氣得物理學(xué)家摔了咖啡杯。
要說(shuō)扎克伯格這次可是下了血本。今年720億美元的資本支出預(yù)算,足夠給全球78億人每人發(fā)92美元。這些錢(qián)大部分砸向了AI數(shù)據(jù)中心,光是采購(gòu)英偉達(dá)H100芯片就堆滿(mǎn)了三個(gè)倉(cāng)庫(kù)。可錢(qián)能買(mǎi)來(lái)硬件,買(mǎi)不來(lái)技術(shù)突破。現(xiàn)在Meta的高管們天天盯著中國(guó)同行,看著百度的文心一言免費(fèi)開(kāi)放,騰訊把AI塞進(jìn)微信每個(gè)角落,急得直跺腳。
這AI軍備競(jìng)賽的殘酷性,OpenAI最清楚。去年他們搞GPT-5時(shí)就發(fā)現(xiàn),模型規(guī)模翻倍帶來(lái)的性能提升還抵不上電費(fèi)賬單的零頭。現(xiàn)在輪到Meta踩這個(gè)坑,倒也不冤。業(yè)內(nèi)專(zhuān)家算過(guò)筆賬,訓(xùn)練Behemoth這種規(guī)模的模型,每次迭代燒掉的錢(qián)夠建兩座核電站。難怪董事會(huì)里開(kāi)始有人嘀咕:"要不咱們改做AI表情包生成器?"
不過(guò)話(huà)說(shuō)回來(lái),Meta手里還攥著張王牌——20億月活的社交數(shù)據(jù)金礦。Instagram上的自拍、WhatsApp里的私聊、Facebook的家長(zhǎng)里短,這些都是訓(xùn)練AI的獨(dú)家秘方。可眼下工程師們就像守著滿(mǎn)漢全席的餓漢,面對(duì)數(shù)據(jù)洪流不知從哪下嘴。有個(gè)段子在硅谷流傳:Meta的數(shù)據(jù)標(biāo)注團(tuán)隊(duì)現(xiàn)在分三班倒,第一班給貓咪圖片打標(biāo)簽,第二班教AI分辨假新聞,第三班專(zhuān)門(mén)刪除AI生成的黃暴內(nèi)容。
這場(chǎng)AI馬拉松跑到現(xiàn)在,領(lǐng)跑的都在喘粗氣。谷歌的DeepMind團(tuán)隊(duì)最近悄悄調(diào)整方向,開(kāi)始專(zhuān)注小型專(zhuān)用模型;微軟抱著OpenAI這棵大樹(shù),時(shí)不時(shí)還得輸點(diǎn)血;中國(guó)的科技公司倒是另辟蹊徑,把AI往制造業(yè)和農(nóng)業(yè)里塞。反觀Meta,舉著"通用人工智能"的大旗,在荒原上孤獨(dú)行軍。
眼下最頭疼的當(dāng)屬M(fèi)eta的AI產(chǎn)品總監(jiān),據(jù)說(shuō)他辦公室墻上貼著三張倒計(jì)時(shí):距離秋季發(fā)布會(huì)還剩112天,距離董事會(huì)質(zhì)詢(xún)還剩28天,距離扎克伯格親自下場(chǎng)寫(xiě)代碼還剩...這個(gè)可能永遠(yuǎn)不用倒計(jì)時(shí)。有內(nèi)部消息說(shuō),高層正在醞釀大換血,要把研究院的書(shū)呆子們都換成能打仗的工程兵。
要說(shuō)這AI寒冬是不是真要來(lái),現(xiàn)在下結(jié)論還為時(shí)尚早。但Meta的遭遇給整個(gè)行業(yè)潑了盆冷水——當(dāng)模型規(guī)模觸及物理極限,當(dāng)算力成本高過(guò)企業(yè)利潤(rùn),這場(chǎng)科技狂歡該往何處去?或許正如某位離職工程師在領(lǐng)英上寫(xiě)的:"我們不是在建造智慧生命,只是在制造更復(fù)雜的鏡子,而鏡子里照見(jiàn)的,始終是人類(lèi)自己的局限。"
此時(shí)此刻,在Meta的某個(gè)實(shí)驗(yàn)室里,Behemoth的某個(gè)測(cè)試版本突然開(kāi)始自動(dòng)生成代碼。工程師們圍過(guò)來(lái)一看,程序開(kāi)頭赫然寫(xiě)著:"importfuture"(導(dǎo)入未來(lái))。這個(gè)不知是bug還是彩蛋的瞬間,或許正暗示著AI進(jìn)化的某種隱喻。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.