那么多顯卡的訂單，那么高AI企業(yè)的估值，似乎都成了覆巢之下的鳥卵。

風(fēng)大浪高，點擊卡片，關(guān)注防迷路

誰能想到，讓美國AI神話，數(shù)十萬億的估值，碰到存亡危機的，竟然不是大選選上來的特朗普和他不靠譜的政策。

昨天，著名科技媒體The Information發(fā)表了一篇可能動搖了整個AI圈估值邏輯的文章。

這篇名為《 OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows》的文章指出了一個重大的問題，Scaling Law可能失效了。

所謂 Scaling Law，簡單講就是“縮放定律”，是指系統(tǒng)或過程在不同尺度下表現(xiàn)出相似或相同行為的規(guī)律。OpenAI四年前曾經(jīng)發(fā)布過一篇論文，模型的性能會隨模型參數(shù)量、數(shù)據(jù)量、計算資源增加而指數(shù)提升。

這個定律對現(xiàn)在的生成式大模型AI來說，至關(guān)重要。只要Scaling Law 還成立，那么大模型的能力就可以伴隨著堆更多的算力、搞更多的參數(shù)，喂更多的數(shù)據(jù)來實現(xiàn)最終的通用人工智能AGI。

這個對AI圈的估值，極端重要。因為畢竟AI圈現(xiàn)在幾十萬億的估值，英偉達3.6萬億人類歷史上最昂貴公司的加碼，可不是現(xiàn)在幾個AI聊天機器人或者視頻圖畫生成工具能支撐的，這里邊可都包含了對通用人工智能AGI的預(yù)期。

如果Scaling Law不再成立，通過單純放大模型，增加算力不能到達AGI，那么那么多的cuda顯卡的訂單，那么高AI企業(yè)的估值，可就要付之東流了。美國21世紀最大的生產(chǎn)力革新點，美國唯二超過中國的科技制高點，可就成了明日黃花。

決不能出問題的Scaling Law，似乎出了問題。

碰上了天花板

在AI狂飆開始的2021年，就有人提出，Scaling Law可能有上限。但是隨著chatGPT 2.0 3.0 3.5的不斷迭代和技術(shù)飛躍， Scaling Law的正確性深入人心。

直到ChatGPT 4.0 把人類現(xiàn)存的數(shù)據(jù)全部吃完。我們似乎碰上了天花板。

最直接的結(jié)果就是人工智能旗艦OpenAI的進步速度，停止了。

根據(jù)The Information 給出的信息，OpenAI下一代ChatGPT 5的訓(xùn)練出現(xiàn)了重大瓶頸。他們公布的大模型GPT Orion，能力上升的很快，大約只用了20%的訓(xùn)練量，就達到了ChatGPT 4的水平，但OpenAI的研究者發(fā)現(xiàn)，后邊增加訓(xùn)練量，GPT Orion的水平提升卻很慢很微小。

在文本處理上新模型 表現(xiàn)的確更好一點，但在編碼等任務(wù)上可能還沒法無法超越之前的模型。

結(jié)果就是，在吃掉人類互聯(lián)網(wǎng)上所有數(shù)據(jù)之后，GPT Orion的水平，并沒有比ChatGPT 4o高太多，遠不及ChatGPT 2到ChatGPT3，或者ChatGPT 3.5到ChatGPT 4的那種飛躍。這導(dǎo)致OpenAI的下一代AI，GPT Orion沒法被命名為ChatGPT 5。

為了突破數(shù)據(jù)用光的問題，OpenAI只能使用通過AI自己生產(chǎn)的“合成數(shù)據(jù)”來訓(xùn)練新的模型。

結(jié)果就是新模型用上老模型生產(chǎn)的合成數(shù)據(jù)，行為模式和性能表現(xiàn)變得跟老模型極其相似，甚至老模型出現(xiàn)的那些AI幻覺，也都全繼承了下來。

Garbage in Garbage out。使用成本暴漲，性能提升微小，甚至最有價值的編程能力還劣化了，今年5月，Altman曾告訴員工，他預(yù)計下一代Orion很可能會比一年前發(fā)布的最后一個旗艦產(chǎn)品模型顯著提升，可這個Orion表現(xiàn)，卻遠未達到目標。

這導(dǎo)致OpenAI開始脫離真正AI智能的提升，反而追求一些“奇技淫巧”的應(yīng)用，比如讓現(xiàn)有的AI模型來控制操作系統(tǒng)，模擬人的操作。

這就好比菊花廠不去搞科技基座和芯片突破，學(xué)起電商公司搞社區(qū)團購了。

這個Scaling law的天花板，不光OpenAI撞上了，其他各家也都是類似的情況。

OpenAI之外，谷歌的大模型 Gemini 2.0，暴力推模型規(guī)模的臉書LLama 3.x，Anthropic的Opus 3.5模型似乎都碰上了大規(guī)模提升token數(shù)量，但性能沒有提升的問題。

OpenAI前CTO，ChatGPT的締造者，Ilya Sutskever作為大模型scaling law的提出者和最早暴力scaling大力出奇跡的開拓者，最近在路透社的采訪中表示，擴大 訓(xùn)練的性能提升，已經(jīng)趨于平穩(wěn)。 也就是說，用大量未標記數(shù)據(jù)來理解語言模式和結(jié)構(gòu)的訓(xùn)練階段到頭了。暴力擴大規(guī)模的老方法失效了，他離開OpenAI之后，準備尋找一種新的替代方法

谷歌研究院和約翰霍普金斯大學(xué)在最新的論文中指出：對于潛在擴散模型，模型不一定是越大越好。

“2010年代是scaling的時代，現(xiàn)在，我們再次回到了奇跡和發(fā)現(xiàn)的時代。每個人都在尋找下一個奇跡。”

俄裔科學(xué)家Ilya才是創(chuàng)造ChatGPT的那個人，Altman不過是不那么懂技術(shù)的前臺商人。現(xiàn)在前臺商人把后臺科學(xué)家趕走了，創(chuàng)始團隊所有技術(shù)大佬全逼跑了，只剩兩個負責(zé)商務(wù)的，OpenAI真的能再創(chuàng)奇跡？

幕后的投資人們似乎也焦慮起來。

OpenAI股東，硅谷AI投資大佬 Ben Horowitz在最近一次YouTube直播中提到，GPU的性能在不斷提升，幾萬幾十萬張gpu的集群規(guī)模也在指數(shù)提升。這背后是投資人投資規(guī)模的暴力提升和資金的巨量燃燒。但模型的性能卻沒有響應(yīng)的提升。GPT Orion的成本可能是上一代ChatGPT 4o的6倍倒30倍，但性能提升卻遠遠沒有反映出成本的上升。

超大規(guī)模語言模型的ROI實在已經(jīng)低到讓人發(fā)指的程度，同時幾十萬張顯卡同時工作幾個月，投入數(shù)千萬甚至上億美元訓(xùn)練一次（1.8萬億參數(shù)的ChatGPT 4 訓(xùn)練一次約6300萬美元），結(jié)果卻不見得能比之前的模型強多少，這投資故事難以繼續(xù)下去了。

OpenAI之所以不open，不是為了保護人類不被AI毀滅，而是因為他們構(gòu)建的大模型是可復(fù)制的，互聯(lián)網(wǎng)大廠及AI頭部初創(chuàng)企業(yè)，都會有能力構(gòu)建出超越GPT-4的大模型。

投資人焦慮了，問題大條了。畢竟幾千億幾萬億的估值，還得他們真金白銀的支撐。

OpenAI倒也沒有坐以待斃。他們一方面組織了一個叫做foundation的小組，專門負責(zé)解決訓(xùn)練數(shù)據(jù)用完的問題。另一方面，他們采用了所謂數(shù)據(jù)鏈推理模型。

用老模型生成合成數(shù)據(jù)訓(xùn)練新模型，新模型越來越像老模型

在新的Orion模型上，除了堆砌訓(xùn)練量，OpenAI找到了一個所謂新的scaling law齒輪。除了在訓(xùn)練模型上大力磚飛，也在模型推理上投入更多資源。

“僅需20秒的推理時間便能提升模型性能，效果相當于對模型進行10萬倍的擴展和更長時間的訓(xùn)練”

這就是新的思維鏈模型。

但這里就出現(xiàn)了一個問題，所謂一下子可以考慮兩萬步的思維鏈模型，本質(zhì)依靠的是模型本身產(chǎn)生出多個結(jié)果，然后從中選出最佳的那個，從而提升模型的能力。

那以后大模型可能就不是最佳的方案，一個尺寸合適的模型配上更多的推理時間可能效果更好。結(jié)果就是對于大規(guī)模預(yù)訓(xùn)練集群的需求下降，而分布式的、基于云的推理服務(wù)器的需求上升。

結(jié)果就是在訓(xùn)練集群有cuda護城河的英偉達可以一家獨大，真的變成訓(xùn)練和推理二分天下的時候，在推理市場并沒有那么強的英偉達可就要吃癟了。比如TPU、LPU，可能就比GPU更高效。

事實上，根據(jù) 臺積電最新的財報，其10月銷售額同比增29.2％，較9月近40%的增幅大幅放緩，為2月以來最低增速。彭博文章指出，臺積電10月的銷售數(shù)據(jù)對人工智能芯片需求的持久力敲響了警鐘。

英偉達成敗與否，還能說肉爛在鍋里（Groq也是美國企業(yè)）。但另一個成本問題可能更加棘手。

大模型的智能發(fā)展停滯了，但大模型的推理成本上升可是非常迅速，O1的推理成本達到了ChatGPT 4的25倍以上，100次推理成本高達42美元。幾乎是已經(jīng)用不起的模型了。

和人類思維水平相當?shù)挠嬎懔看蟾攀?10^35 FLOP ，也就是要在當前最大模型的基礎(chǔ)上額外增加 9 個數(shù)量級的計算能力。就算未來我們能通過硬件和算法進一步優(yōu)化，9 個數(shù)量級的提升真的可能嗎？成本和電力真的夠支撐這么巨大的模型嗎？

不管從哪個角度看，AI發(fā)展的基石，Scaling Law似乎都出了大問題。

覆巢之下，安有完卵？scaling law倒下來，一切都要重估。

風(fēng)大浪高，有些不方便說的，可以點擊下邊卡片移步可以留言的小號聊一聊，也可關(guān)注筆者微博賬號 @躺平學(xué)副教授