99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

李彥宏斷言有點早 開源大模型不弱雞

0
分享至



自2022年11月ChatGPT問世,這一現象級產品迅速點燃了市場的大模型熱情。新老科技企業紛紛殺入,誓要抓住移動互聯網以來最大的一次產業紅利。當行業如火如荼發展一門心思搞技術之時,又出現了“路線之爭”:

閉源路線:以國外OpenAI的ChatGPT,Anthropic的Claude,谷歌的Gemini,國內百度的文心一言,月之暗面的Kimi等企業為典型代表,傾向于閉源大模型的高性能,強商業化等優勢,其中以百度最為激進,李彥宏近期便一直以“閉源擁躉”頻頻出圈,發表諸如“開源大模型是智商稅“,”大模型場景下開源是最貴的”等出位言論,引發行業熱議;

開源路線:以META的Llama,國內阿里云的通義為典型代表,認為開源模式的協作特性可實現技術的快速迭代,可以通過模型托管提高云計算的業務成長空間,且該路線有利于數據敏感型組織通過私有云或本地化內網落地大模型,較之閉源具有高成長性,多落地場景等優點。

與行業往日爭議不同,此次大模型爭論充滿技術情懷,從業者爭論多聚焦在 “技術之爭”,李彥宏就表示“開源模型會越來越落后”,其讓頻頻登上熱搜。

那么在這場開閉源的爭論中我們要建立怎樣的分析框架?又來如何理性評判當前的路線之爭呢?

其一,根據Scaling laws原理,大模型的成功乃是更大算力,更多數據,更高算力的綜合結果,這背后則是資金的海量投入,基礎設施完善,管理的穩定等等,大模型沒有閃電戰只有持久戰;

其二,百度選擇閉源有技術的考量,但與商業路徑也密不可分;

其三,開源大模型并沒有想象那般弱雞,閉源也不一定能永遠保持先進性;

其四,開閉源大模型共存將會是長期趨勢;

Scaling laws原理:大模型將長期燒錢

我們首先從大語言模型中的第一性原理“Scaling laws”入手分析(被翻譯為“縮放原理”或“尺度定律”)。

2020 年 1 月,OpenAI 發布論文《Scaling Laws for Neural Language Models》,奠定了 Scaling Law的基礎,為后續 GPT 的迭代指明了方向:更大參數、更多數據和更多算力能夠得到更好的模型智能。

也就從此時開始,OpenAI開啟了大參數模型路線,GPT-3的參數已經達到1750億(GPT-2還只有15億),訓練數據則直接躍升到570億G。

大模型的大參數軍備競賽也由此拉開大幕,動輒數千億級的大模型流行于市場,帶來技術的快速發展和普及。

由此也就引發了一個新的問題:算力。

根據 Scaling Law 論文,可以用 6ND 來估算模型所需要的訓練算力(N為參數,D為數據集TOKEN數),算力需求在大模型時代得到指數級提升(長文本大模型所需算力可能還要高于6ND)。

這一方面催生了底層算力提供者英偉達為代表的GPU廠商的爆炸式增長,另一方面大模型廠商若要保持技術先進性就必須花大價錢在算力基礎設施方面。



在華泰證券的圖表中我們也能清晰看到大模型與此前的云計算爆發式增長一樣,業務的增長是要基礎算力的高投入為前提的。根據Visible Alpha一致預測,2026年全球科技四巨頭(微軟,谷歌,META和亞馬遜)合計資本支出將達2399億美元,2023-2026年CAGR為18.86%。

有觀點曾寄希望于Scaling Law的邊際效應收窄效應,認為只要熬到技術成熟期(Scaling Law效應邊際效應迅速放大之時),算力的投入便會達峰,此時模型只需要維護自身模型的可靠性與穩固性即可,只是站在當下時代,Scaling Law遠未到終點。

清華大學的唐杰教授在2024年 2 月就指出:我們還遠未到 Scaling law 的盡頭, 數據量、計算量、參數量還遠遠不夠。未來的 Scaling law 還有很長遠的路要走。

現實中主流大模型廠商的算力仍然在持續增大,模型的參數規模也在增大,行業終局是看不到頭的。

研發人員固然可以通過技術架構優化和軟硬件資源協同等方面來提高大模型的性能,只是我們也必須得承認,指數級的大模型技術迭代仍然仰賴于高參數和強算力。

在上述兩項約束條件下,大模型廠商不得不面臨非常棘手的問題:

如果把算力的資本性支出視為“蛋”,大模型的高性能為“雞”,究竟雞生蛋還是蛋生雞就成了大模型廠商不得不面臨的問題。



我們以閉源大模型的忠實擁躉百度為例,在基石的廣告業務壓力不斷加碼之時,其經營理念已經越加審慎,如對非核心業務的裁撤,人員的優化等等。這在資本開支中則反饋表現為支出的越加保守,過去三年表現非常明顯。

2023年META和亞馬遜等科技頭部企業也均在進行資本支出的結構性優化,如亞馬遜的物流倉儲成本開始降低,與此同時云計算的數據中心等基礎設施仍處于大規模擴張中。百度亦是如此,表面看其資本開支越發慎重,但大模型相關的基礎設施投入必然是高速增長的。

這對百度也就會帶來一個問題,結構化的資本開支縮減終有結束之時,Scaling Law還遠未能看到終端,加之“第二曲線”短期內無法扛起支出重任,從財務方面就迫使百度不得不在商業路徑上進行考慮。

以賣模型(API接口)的閉源大模型成為首選,對C端用戶文心一言收取會員,對B端以API的接口費為主要變現,又由于閉源大模型乃是企業獨家開發,維護和管理成本也相對低廉,對百度是十分劃算的。在雞生蛋和蛋生雞的問題上,百度選擇了雞生蛋。

可閉源果真就能戰勝開源嗎?

開源大模型不弱雞

前文中我們已經從大模型的原理,技術以及商業路徑角度,簡單勾勒了行業當前的現狀,并對百度對閉源大模型抱以極度的熱忱有了一定的理解。

接下來我們來討論開閉源大模型的趨勢性問題 。

如開篇所言,李彥宏對開源大模型常有鄙夷之情,如開篇“開源模型會越來越落后”,又如“沒有應用,開源閉源模型都一文不值”,閉源大模型果真如此不堪嗎?



ARK Investment每年都會將其觀點和洞察力發表在年初的“Big Ideas”報告中,在2024年的報告中,”開源模型性能進步快于閉源模型“乃是其重要觀點之一。在上圖中阿里云的Qwen-72B乃為閉源大模型之最。

一方面閉源大模型確實有先發優勢,以OpenAI的ChatGPT為典型代表,但另一方面大模型的演進又是一個持久戰(Scaling law為主要因素),對企業的管理,投入以及持續的創新力就有了更高的要求,如此前OpenAI一系列的“人事斗爭”很難說不會影響核心業務。

與之所對應的開源大模型也在此時開始展示先進性。

2024 年 4 月,Meta 發布 Llama 3,設計目標是多模態、多語言,根據 Meta 公布的目前訓練數據,其性能與 GPT-4 相當。

Llama大模型的成功給了開源陣營足夠的信心,在權威機構推出全新的大模型測評基準LiveBench AI中,阿里通義Qwen2拿下美國最新測評榜單開源大模型全球第一,成績超過Meta的Llama3-70B模型。

在基礎算力的投入保障之下,拉長時間線,開源大模型是可以保持足夠競爭力的,僅就此來看李彥宏鄙夷開源大模型性能不進步是站不住腳的。

這再次告訴我們:閉源和開源絕非技術理念之爭,而是商業路徑的分歧。

那么究竟哪何種商業路徑最適合大模型的落地呢?

篇幅原因我們省去繁瑣的分析過程,精簡觀點如下:

中短期:閉源大模型在變現方面優勢更明顯,以賣模型為主要商業模式,簡單易操作。百度又可以通過改造原互聯網應用產品(如地圖,文庫,搜索等),實現模型的落地改進產品力,將業務線由“AI+”向“+AI”過渡。此外需要提醒的是,企業內部原產品線的改造也是伴隨巨大的成本開支需求的,如華泰證券曾測算,META若內容推薦完全以大模型為主,取代原有算法,將需要至少50萬片英偉達GPU,僅此一項就是一筆巨大開支(最近有消息稱META今年GPU規模將超過30萬塊),這就對短期內閉源大模型的落地和變現提出了更高的要求。

長期:開源大模型走的更遠,如高度定制化的特點將提高大模型對不同行業的滲透率,當不同行業的接入大模型,提高大模型的應有廣度之后,企業開發展則要仰賴于開源大模型背后的算力和云計算平臺,以實現可持續增長。

在上述兩種路徑中,“資本”是商業模式運轉的必要條件,這又回到了我們前文所言的“雞生蛋”的悖論。

這也就使得采取閉源大模型的往往具有以下特點:應用端具有得天獨厚優勢(如谷歌),又如技術上短期內遙遙領先(如OpenAI);

開源大模型則具有:資金底子雄厚(如META),云計算基礎設施健全(如阿里云),能夠熬得住,扛得起基礎設施膨脹帶來的巨大成本,又能接得住開源大模型普及后的云計算需求。

顯然沒有一種大模型是兼有所有優點而無缺點的,百度此時以激烈語言來鼓吹閉源大模型,其背后應是其短期商業化的焦慮(此前API接口價格戰對閉源大模型影響更大),以及對爭奪目標客戶心智的野心。

基于此我們并不認為會有包打一切的大模型路徑,相反企業選擇適合自己的路徑更多是“權宜之計”,客戶選擇開閉源模式也將會有自己的考量,一些企業也采取開閉源共存的模式來滿足不同客戶需求,如谷歌將輕量級的開源模型系列Gemma進行開源。

不過此時發表出格語言最能出圈,能夠提高閉源大模型優點的普及型,只是忽視了開源大模型絕非“弱雞”,大模型的發展會是持久戰,未來有太多的不可測性,輕易下斷言在其后很可能被反噬。

聲明:個人原創,僅供參考

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
開拓者鋒線新星:聽到被太陽送到開拓者時,我連眼淚都要掉出來了

開拓者鋒線新星:聽到被太陽送到開拓者時,我連眼淚都要掉出來了

稻谷與小麥
2025-06-18 21:16:52
七國集團峰會閉幕 呼吁解決以伊沖突

七國集團峰會閉幕 呼吁解決以伊沖突

新華社
2025-06-18 16:09:06
S媽被曝經常深夜痛哭,小S生日具俊曄很低調,被猜已經私下送祝福

S媽被曝經常深夜痛哭,小S生日具俊曄很低調,被猜已經私下送祝福

青檸不酸吖
2025-06-17 17:11:33
重慶老板將少女藏地下室7年,使她懷孕5次,卻被其妻子發現了

重慶老板將少女藏地下室7年,使她懷孕5次,卻被其妻子發現了

星辰故事屋
2024-06-18 18:29:55
伊朗要造個大新聞

伊朗要造個大新聞

美第奇效應
2025-06-18 17:47:52
28歲小伙龍泉山遇難后續!最后畫面曝光,知情人稱被野豬吃了一半

28歲小伙龍泉山遇難后續!最后畫面曝光,知情人稱被野豬吃了一半

壹月情感
2025-06-17 22:14:18
央視李武軍采訪林昀儒,話筒剛遞上去,他嗯了一聲,看似要接話

央視李武軍采訪林昀儒,話筒剛遞上去,他嗯了一聲,看似要接話

冥王星與一只碗
2025-06-18 13:52:04
最新通報!唐騰被查

最新通報!唐騰被查

中國基金報
2025-06-18 13:48:18
新的風暴已到來,中國必須面對!專家:有3個棘手的挑戰已經出現

新的風暴已到來,中國必須面對!專家:有3個棘手的挑戰已經出現

聯友說娛
2025-06-17 10:13:27
將教育資源當作謀私斂財的工具,教育部原副部長杜玉波被公訴

將教育資源當作謀私斂財的工具,教育部原副部長杜玉波被公訴

界面新聞
2025-06-18 10:16:24
毛主席紀念堂為啥高度是33.6米,而且大門是坐南朝北!這是為啥

毛主席紀念堂為啥高度是33.6米,而且大門是坐南朝北!這是為啥

阿器談史
2025-06-18 00:12:32
華為Pura80系列銷量腰斬,余承東科普鴻蒙系統優勢打敗安卓、蘋果

華為Pura80系列銷量腰斬,余承東科普鴻蒙系統優勢打敗安卓、蘋果

老孫說科技
2025-06-18 08:11:27
不管樓層有多高,這5個樓層“十戶九富”,并非迷信,是經驗之談

不管樓層有多高,這5個樓層“十戶九富”,并非迷信,是經驗之談

室內設計師有料兒
2025-05-28 18:24:00
同樣2勝2負,捷克隊并不好打,中國女排還很有可能輸在這一點上

同樣2勝2負,捷克隊并不好打,中國女排還很有可能輸在這一點上

體育快遞小哥哥
2025-06-18 15:55:01
Shams:一旦步行者得知哈利的檢查結果 就會討論是否讓其出戰G6

Shams:一旦步行者得知哈利的檢查結果 就會討論是否讓其出戰G6

直播吧
2025-06-18 03:31:21
11億黃金級肉簽公布中簽號碼,中簽人數較多,股民中得即賺到!

11億黃金級肉簽公布中簽號碼,中簽人數較多,股民中得即賺到!

數據挖掘分析
2025-06-18 13:15:10
特朗普連發兩份邀請函,分別送往中國和俄羅斯,想彌補4年前錯誤

特朗普連發兩份邀請函,分別送往中國和俄羅斯,想彌補4年前錯誤

井普椿的獨白
2025-06-18 20:33:30
改編絕不是瞎編!人民日報的點評,撕破了楊坤和單依純最后的體面

改編絕不是瞎編!人民日報的點評,撕破了楊坤和單依純最后的體面

聯友說娛
2025-06-18 15:53:13
史無前例!以色列報告:消滅了伊朗革命衛隊空軍的幾乎所有領導人

史無前例!以色列報告:消滅了伊朗革命衛隊空軍的幾乎所有領導人

一種觀點
2025-06-13 21:43:20
新華社消息|外交部:全力做好在伊、以中國公民安全保護工作

新華社消息|外交部:全力做好在伊、以中國公民安全保護工作

新華社
2025-06-17 18:30:45
2025-06-18 22:00:49
思辨財經 incentive-icons
思辨財經
移動互聯網,電商干貨大全
1103文章數 25629關注度
往期回顧 全部

科技要聞

別叫我互聯網公司,京東的野心藏不住了

頭條要聞

廣東懷集出現55.22米洪峰水位 洪水已漫入周邊居民樓

頭條要聞

廣東懷集出現55.22米洪峰水位 洪水已漫入周邊居民樓

體育要聞

高僧下山了!文班結束少林寺10日修行

娛樂要聞

前老板舉報李雪琴欠190萬轉移公司財產

財經要聞

被爆添加毒原料后相宜本草高管先后出走

汽車要聞

燈光技術升級還有插混版本 全新奧迪Q3預計明年國產

態度原創

家居
手機
教育
房產
公開課

家居要聞

溫暖明亮 三代同堂之家

手機要聞

vivo X Fold5再次被確認:屏幕按需選配,配置規格更清晰了

教育要聞

江西一中學宿舍堪比豬圈,家長發文投訴,教體局表示深感自責

房產要聞

創紀錄了!海南單日賣地44億!保利、方大瘋狂出手!

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 广宁县| 大连市| 玉树县| 敦煌市| 玉山县| 甘肃省| 三河市| 壤塘县| 元谋县| 葵青区| 普洱| 玛纳斯县| 来安县| 南平市| 龙泉市| 抚顺县| 镇赉县| 怀安县| 太白县| 巴彦淖尔市| 农安县| 天津市| 吴川市| 商水县| 沁源县| 宁夏| 揭西县| 东乌珠穆沁旗| 德安县| 五家渠市| 桐梓县| 揭阳市| 临江市| 南投市| 琼海市| 东乌珠穆沁旗| 襄垣县| 广饶县| 九龙城区| 连州市| 察隅县|