進(jìn)入2025年,百模大戰(zhàn)的參賽者數(shù)量收斂了一個(gè)數(shù)量級(jí),基模牌桌上已經(jīng)由200多家淘汰至十幾家。盡管如此,基模競(jìng)賽仍然未到終局。
從模型能力看,多模態(tài)大模型僅達(dá)到LLM大語(yǔ)言模型兩年前的水平,仍在加速進(jìn)化中。LLM大語(yǔ)言模型的上限也還有提升空間,年初DS帶火的基于長(zhǎng)思維鏈實(shí)現(xiàn)慢思考的推理能力,各家都積極探索。
從市場(chǎng)格局看,領(lǐng)先者座次也在動(dòng)態(tài)變化中。中國(guó)信通院的調(diào)研發(fā)現(xiàn),2024年4月還是OAI處于領(lǐng)先,到年底文心就超過(guò)了GPT,國(guó)內(nèi)模型能力在快速上升。
百模大戰(zhàn)至今,仍未塵埃落定。說(shuō)明模型競(jìng)賽是一場(chǎng)技術(shù)馬拉松,靠的不是一時(shí)一刻的領(lǐng)先,而是持續(xù)不停地奔跑。ChatGPT、文心、DS等現(xiàn)象級(jí)產(chǎn)品,本質(zhì)上都是大模型從高技術(shù)領(lǐng)域轉(zhuǎn)入普及型全民應(yīng)用的一個(gè)產(chǎn)品,并不是AI大模型技術(shù)體系的全部。
模型的創(chuàng)新之花持續(xù)綻放,常開(kāi)不敗,離不開(kāi)底層AI技術(shù)體系的長(zhǎng)期積累。而放眼國(guó)內(nèi),百度的AI底蘊(yùn),尤其是它的技術(shù)全棧布局確實(shí)是有目共睹的。
5月20日百度AI Day活動(dòng)上,百度集團(tuán)副總裁吳甜也分享了文心大模型最新技術(shù)進(jìn)展。在現(xiàn)場(chǎng),我們感受到,文心4.5系列在多模態(tài)、深度思考、復(fù)雜推理、智能體等技術(shù)方向上,持續(xù)演進(jìn)。
那么,百度能否戰(zhàn)至基模終局?我們深入文心4.5的技術(shù)機(jī)理,為大家扒開(kāi)百度的AI根系。
當(dāng)下,基礎(chǔ)模型創(chuàng)新已經(jīng)進(jìn)入了技術(shù)摸高階段,低處易摘的果實(shí)都被摘完了,高處的果實(shí)又很難被摘下。比如確定性場(chǎng)景下的幻覺(jué)問(wèn)題,類(lèi)推理模型的深度思考能力還無(wú)法解決現(xiàn)實(shí)復(fù)雜難題等,都很具挑戰(zhàn)性,但又是行業(yè)應(yīng)用大模型時(shí)的痛點(diǎn)。
基模還能出現(xiàn)大幅度的升級(jí)迭代嗎?這時(shí)候,文心大模型帶來(lái)了肯定的答案。近兩個(gè)月以來(lái),文心大模型的技術(shù)創(chuàng)新,在速度和銳度上都很突出:
進(jìn)化速度快,3月16日百度對(duì)外發(fā)布了文心4.5和深度思考模型文心X1。1個(gè)多月之后,就發(fā)布了文心4.5 Turbo和X1 Turbo。硬剛的百度又重回大模型視野中心。
創(chuàng)新點(diǎn)硬核,具有技術(shù)銳利度和識(shí)別度,比如文心4.5T/X1 T的最新更新,所采用的技術(shù)方法就跟此前和業(yè)界主流有較大突破。中國(guó)信通院的大模型推理能力評(píng)估結(jié)果也顯示,百度文心X1 Turbo在24項(xiàng)能力評(píng)估中,綜合評(píng)級(jí)獲當(dāng)前最高級(jí)“4+級(jí)”,成為國(guó)內(nèi)首款通過(guò)該測(cè)評(píng)的大模型。
主要在兩個(gè)領(lǐng)域有較大突破:
一是多模態(tài)領(lǐng)域。文心大模型4.5是多模態(tài)基礎(chǔ)大模型,文心4.5 Turbo源自文心4.5。文心4.5系列模型實(shí)現(xiàn)了文本、圖像和視頻的混合訓(xùn)練。通過(guò)構(gòu)建針對(duì)不同模態(tài)的“異構(gòu)專(zhuān)家”,為每種模態(tài)設(shè)計(jì)專(zhuān)門(mén)的處理模塊。這些模塊能夠根據(jù)各自模態(tài)的特點(diǎn)進(jìn)行優(yōu)化,例如圖像模塊專(zhuān)注于視覺(jué)特征提取,文本模塊專(zhuān)注于語(yǔ)言理解,而視頻模塊則結(jié)合了時(shí)間和空間信息的處理能力。這種設(shè)計(jì)使得文心4.5 Turbo能夠充分照顧到不同模態(tài)的特點(diǎn),文本、圖像和視頻數(shù)據(jù)無(wú)縫融合,從而實(shí)現(xiàn)更高效的多模態(tài)學(xué)習(xí)。
結(jié)果就是,文心4.5/4.5T的多模態(tài)理解能力有比較大的提升,也讓不少相關(guān)AI應(yīng)用如虎添翼。比如OCR翻譯,文心4.5 Turbo可以迅速識(shí)別單據(jù)中的外文并翻譯出來(lái);解答理科題目,可以對(duì)圖像進(jìn)行更好地理解與分析,明確已知條件和所求問(wèn)題,再整合工具獲取到的信息和自身知識(shí),給出最終答案。
二是推理模型reasoning model的深度思考能力。文心X1升級(jí)到X1 Turbo,得益于文心4.5 Turbo多模態(tài)大模型的增益,X1 Turbo在深度思考上更進(jìn)一步,實(shí)現(xiàn)了更先進(jìn)的思維鏈,可進(jìn)行多步驟的邏輯推理、工具調(diào)用和多模態(tài)理解能力。
具體來(lái)說(shuō),深度思考模型爆火之后,各家都在探索進(jìn)一步優(yōu)化。但大多數(shù)優(yōu)化都集中于單步驟,讓模型通過(guò)單步思考、單步調(diào)用工具來(lái)解決問(wèn)題。但全靠人一步步填鴨式教學(xué),教AI怎么做,不僅效率低下,而且模型能力提升有限。因此,需要讓模型自主進(jìn)行多步思考,學(xué)會(huì)舉一反三。
百度在后訓(xùn)練環(huán)節(jié),設(shè)計(jì)了多元統(tǒng)一獎(jiǎng)勵(lì)機(jī)制,提升模型對(duì)結(jié)果質(zhì)量的判別。有了這種多元評(píng)判能力,大模型就可以思考很多步,謀定而后動(dòng),最后做出最優(yōu)行動(dòng)決策。這種多元獎(jiǎng)勵(lì)機(jī)制的強(qiáng)化學(xué)習(xí),可以讓模型探索出更復(fù)雜、多步驟的思維鏈和行動(dòng)鏈,讓模型在解決真實(shí)的長(zhǎng)程、復(fù)雜性的任務(wù)上會(huì)有更好的表現(xiàn)。
最硬核的創(chuàng)新之花,同時(shí)出現(xiàn)在多模態(tài)和推理領(lǐng)域。這說(shuō)明,哪怕是在創(chuàng)新難度更大的技術(shù)摸高階段,百度仍穩(wěn)穩(wěn)站在第一梯隊(duì)。
“百度2019年發(fā)布文心1.0,從那時(shí)到現(xiàn)在,百度大模型技術(shù)發(fā)展是一脈相承的”,吳甜說(shuō)到。
大模型持續(xù)演進(jìn),為什么技術(shù)根脈很重要? AI不是一招鮮,而是需要通盤(pán)考量的綜合問(wèn)題。
在吳甜看來(lái),模型上限仍有提升空間,而打開(kāi)空間是需要很多前提條件的:
1.數(shù)據(jù)層面來(lái)看,在大模型基礎(chǔ)體系中,很多人覺(jué)得數(shù)據(jù)建設(shè)就是一些標(biāo)記、清洗等簡(jiǎn)單處理工作,但數(shù)據(jù)建設(shè)的許多問(wèn)題如果解決好了,模型會(huì)更高效地學(xué)到東西。比如文心4.5 Turbo是多模態(tài)模型,所以在多模態(tài)數(shù)據(jù)建設(shè)方面,就有許多新的工作,像是多模態(tài)的平行數(shù)據(jù)的構(gòu)建,讓模態(tài)和模態(tài)之間的知識(shí)和信息能夠共享。此外,模型融合線上反饋的數(shù)據(jù)進(jìn)行挖掘,讓模型可以有針對(duì)性地改進(jìn)和提升。
2.知識(shí)角度,基于知識(shí)點(diǎn)的大規(guī)模稀缺數(shù)據(jù)構(gòu)建也是這次模型的重要?jiǎng)?chuàng)新點(diǎn)。比如通過(guò)百度積累的知識(shí)體系,可以檢測(cè)模型的數(shù)據(jù)分布上有一些地方是欠缺數(shù)據(jù)的,是冷門(mén)的、沒(méi)什么人用的知識(shí),再針對(duì)性地積累和挖掘。更完備的知識(shí)體系,可以為文心大模型提供高質(zhì)量的訓(xùn)練數(shù)據(jù)。
3.算法層面,文心4.5 Turbo和X1 Turbo在多模態(tài)能力上的表現(xiàn)出色,也與百度多年所積累的算法研發(fā)能力相關(guān)。除了前面說(shuō)到的多模態(tài)異構(gòu)專(zhuān)家建模,百度還引入了時(shí)空信息編碼技術(shù)、自適應(yīng)模態(tài)感知損失計(jì)算等前沿技術(shù)。綜合下來(lái),讓文心4.5 Turbo在訓(xùn)練過(guò)程當(dāng)中學(xué)習(xí)效率提高了1.98倍,多模態(tài)理解效果也有相應(yīng)的提升。
而在深度思考方面,百度研制了自反饋增強(qiáng)的技術(shù)框架,來(lái)優(yōu)化整個(gè)模型訓(xùn)練的過(guò)程,讓訓(xùn)練的過(guò)程更加有效率,而且顯著降低了模型幻覺(jué),模型理解和處理復(fù)雜任務(wù)的能力大幅提升。
當(dāng)前模型算法層面還需要不斷創(chuàng)新,去提升大模型性能。百度的AI信仰、技術(shù)底蘊(yùn)與人才厚度,支撐著文心持續(xù)演進(jìn)。
4.基礎(chǔ)設(shè)施infra。大模型性能提升的同時(shí),成本下降也是至關(guān)重要的。基礎(chǔ)設(shè)施層面的積累,對(duì)文心4.5 Turbo/X1 Turbo的研發(fā)起到了關(guān)鍵作用。文心4.5 Turbo是一個(gè)MoE架構(gòu)的多模態(tài)模型,不同模態(tài)差異帶來(lái)的問(wèn)題更加凸顯,不同模型的損失計(jì)算協(xié)同通信也是難題。而且模型的訓(xùn)練周期很長(zhǎng),訓(xùn)練過(guò)程當(dāng)中,故障中斷的解決、自動(dòng)的恢復(fù)等,對(duì)基礎(chǔ)設(shè)施提出了很高要求。繞到文心大模型背后,會(huì)發(fā)現(xiàn)是深度學(xué)習(xí)平臺(tái)飛槳多年的積累以及不斷扎實(shí)的整個(gè)平臺(tái)的技術(shù)能力,支撐著文心大模型的快速迭代。
上述因素,也只是百度AI根系的冰山一角。百度龐大而復(fù)雜的AI根系,以及全棧式的AI布局滋養(yǎng)著文心大模型的創(chuàng)新常在。隨著大模型走向技術(shù)摸高,百模大戰(zhàn)也臨近終局,我們?cè)絹?lái)越強(qiáng)烈地感受到,基模很難靠單一技術(shù)熱點(diǎn)就能屹立不倒。
一方面,摘下高技術(shù)領(lǐng)域的果實(shí),需要多要素的長(zhǎng)期投入和跨領(lǐng)域協(xié)作。另外,進(jìn)入技術(shù)無(wú)人區(qū),當(dāng)主流技術(shù)路線遭遇瓶頸時(shí),擁有完整技術(shù)體系的企業(yè)可以快速切換路徑,或嘗試多技術(shù)交叉的新路徑。
所以,當(dāng)基模競(jìng)爭(zhēng)的烈度進(jìn)一步加劇,在風(fēng)云變幻的技術(shù)浪潮中,根系深厚者才可以穿越周期,持續(xù)領(lǐng)跑。
文心能否站到終點(diǎn)?做科技媒體這么多年,一直會(huì)有讀者問(wèn)我們,“百度AI說(shuō)得那么強(qiáng),怎么總是趕不上熱席”。但只要讓子彈飛一會(huì)兒,等到真的需要跟世界一流掰手腕的時(shí)候,百度卻從未缺席。這是為什么?百度AI的獨(dú)特性,被一位高一的小朋友敏銳洞察到了。
來(lái)自福建省惠安第三中學(xué)的陳君航,在本次開(kāi)放日上分享了自己使用文心的感受:“技術(shù)真正的魅力不是驚艷誰(shuí),而是真正解決一個(gè)又一個(gè)真實(shí)的問(wèn)題。”
他從2023年開(kāi)始,用文心一言中考備考,定制學(xué)習(xí)計(jì)劃,解析搜題軟件中無(wú)法解析的原創(chuàng)題目,還用文心一言編程寫(xiě)代碼,為媽媽做了一款“智能文案生成器”的軟件。
教育、解題、編程,這些都是現(xiàn)實(shí)場(chǎng)景中復(fù)雜的任務(wù)要求,需要AI大模型控制幻覺(jué)、嚴(yán)密思考推理,確保可信及可用性。這種與場(chǎng)景更適配的使用感,是靠多種技術(shù)體系協(xié)同解決,以及工程上的系統(tǒng)性創(chuàng)新才能實(shí)現(xiàn)。文心大模型,就是在做這樣實(shí)用的AI。
可以說(shuō),文心大模型一直走的是真實(shí)實(shí)用的路線,演進(jìn)方向在思考能力建設(shè)上的體現(xiàn)是結(jié)構(gòu)化和專(zhuān)業(yè)化。
比如X1的先進(jìn)思維鏈與多模態(tài)能力,就可以讓個(gè)人和行業(yè)伙伴/企業(yè)用戶去完成更復(fù)雜的任務(wù),基于文心的基模能力,打造代碼智能體、直播數(shù)字人,可以真正幫助程序員、企業(yè)營(yíng)銷(xiāo)人員解決現(xiàn)實(shí)難題。
所以,文心大模型,不是看得見(jiàn)摸不著的海市蜃樓,而是可以真正被個(gè)人和企業(yè)移栽到自身生活工作場(chǎng)景中去的AI綠洲,生長(zhǎng)著文心系列的一棵棵巨樹(shù),可以被嫁接到真實(shí)場(chǎng)景,結(jié)合各行各業(yè)的獨(dú)特水土,培育出自己的AI根苗。
進(jìn)一步讓AI在產(chǎn)業(yè)落地生根,百度多年來(lái)也在生態(tài)上做了大量基礎(chǔ)工作,幫助行業(yè)育苗樹(shù)人。目前,飛槳和文心整個(gè)生態(tài)上有開(kāi)發(fā)者2815萬(wàn),支持的企事業(yè)單位有67萬(wàn),模型已經(jīng)達(dá)到了110萬(wàn)。在這個(gè)繁榮的AI生態(tài)中,智能中國(guó)也蔚然成蔭。
進(jìn)入2025,大眾與行業(yè)都很關(guān)切:百模大戰(zhàn),文心能否站到終點(diǎn)?我們不妨拆解為三個(gè)小問(wèn)題:
根在技術(shù)的百度,有世界一流的創(chuàng)新能力與首屈一指的技術(shù)團(tuán)隊(duì),能否始終確保文心大模型的先進(jìn)性?
根在全局的百度,具備快速調(diào)整技術(shù)路徑的戰(zhàn)略縱深,在瞬息萬(wàn)變的技術(shù)領(lǐng)域,相比押注單一主流技術(shù)趨勢(shì)的模廠,百度是否更具彈性和韌性?
根在現(xiàn)實(shí)的百度,擁有自主研發(fā)的昆侖芯/計(jì)算集群、飛槳框架、文心系列模型、繁榮技術(shù)生態(tài),那么走向產(chǎn)業(yè)時(shí),文心大模型是否更容易被信任?
臨近決賽圈的基模格局正風(fēng)云變幻,但AI根系深厚扎實(shí)的文心,或許才是最無(wú)懼風(fēng)雨的那一個(gè)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.