原文發(fā)表于《科技導(dǎo)報》2025年第6期 《DeepSeek技術(shù)創(chuàng)新與通用人工智能發(fā)展趨勢 》
為深入了解DeepSeek在通用人工智能領(lǐng)域的最新進(jìn)展,《科技導(dǎo)報》邀請北京航空航天大學(xué)人工智能研究院教授、國家重點研發(fā)計劃(智能服務(wù)適配)首席專家吳文峻撰文,探討DeepSeek的技術(shù)創(chuàng)新與通用人工智能發(fā)展趨勢。首先,從DeepSeek的技術(shù)特點出發(fā),詳細(xì)分析了其在模型架構(gòu)和推理技術(shù)方面的核心創(chuàng)新;隨后,探討了DeepSeek對通用人工智能未來發(fā)展的影響,包括開源生態(tài)的作用、神經(jīng)標(biāo)度律(Neural Scaling Law)的局限性以及通專結(jié)合的行業(yè)模型;最后,總結(jié)了DeepSeek的技術(shù)貢獻(xiàn),展望了其在開源生態(tài)和垂直領(lǐng)域應(yīng)用中的潛力。
近年來,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,大語言模型(LLMs)在自然語言處理、內(nèi)容生成、推理能力等方面取得了顯著進(jìn)展。然而,盡管這些大模型在規(guī)模和性能上不斷突破,其發(fā)展仍面臨諸多挑戰(zhàn),包括高昂的訓(xùn)練成本、推理效率的瓶頸,以及模型在復(fù)雜任務(wù)中的邏輯推理能力不足等問題。在此背景下,DeepSeek應(yīng)運而生,作為中國在通用人工智能(AGI)領(lǐng)域的重要探索,DeepSeek不僅繼承了現(xiàn)有大模型的優(yōu)勢,還在模型架構(gòu)、訓(xùn)練效率和推理能力等方面進(jìn)行了創(chuàng)新性突破。
1
DeepSeek-V3的創(chuàng)新架構(gòu)和低成本高性能訓(xùn)練方法
傳統(tǒng)的大型模型訓(xùn)練,無論是閉源的GPT系列還是開源的LLaMA系列,都面臨著巨大的圖形處理器(GPU)資源消耗的挑戰(zhàn)。然而,DeepSeek-V3模型以其創(chuàng)新的設(shè)計理念,巧妙地實現(xiàn)了低成本與高性能的完美融合,為這一難題提供了突破性的解決方案。該模型不僅顯著提升了推理效率,還有效優(yōu)化了資源利用率,為大規(guī)模模型訓(xùn)練開辟了新的道路。
DeepSeek通過創(chuàng)新性采用FP8混合精度訓(xùn)練框架,實現(xiàn)了大模型算法與智能硬件的高度協(xié)同優(yōu)化,這一技術(shù)路徑對推動中國AI基礎(chǔ)設(shè)施自主化,實現(xiàn)基于國產(chǎn)軟硬件的協(xié)同優(yōu)化設(shè)計具有重要啟示。
DeepSeek-V3以高達(dá)671 B(6710億)的參數(shù)量,將訓(xùn)練成本大幅降低至約557萬美元(表1),與傳統(tǒng)大模型動輒上億美元的投入形成鮮明對比。這一突破不僅彰顯了DeepSeek的技術(shù)實力,更為行業(yè)提供了高效、經(jīng)濟的訓(xùn)練范式。
表1 各種大模型訓(xùn)練成本對比
2
DeepSeek-R1提升“慢思考”的認(rèn)知推理能力
在人工智能領(lǐng)域,認(rèn)知推理能力是衡量模型智能水平的重要指標(biāo)之一。DeepSeek-R1通過創(chuàng)新的推理技術(shù)和架構(gòu)設(shè)計(圖1),顯著提升了“慢思考”能力——即系統(tǒng)化、邏輯化的深度推理能力。
圖1 DeepSeek強化學(xué)習(xí)訓(xùn)練流程
2.1 DeepSeek-R1推理技術(shù)簡述
DeepSeek-R1-Zero使用準(zhǔn)確度獎勵和格式獎勵來指導(dǎo)模型推理的強化訓(xùn)練,盡管其推理表現(xiàn)尚不如其他模型,但通過生成中間思維步驟,成功展示了推理能力生成的可行性。DeepSeek-R1進(jìn)一步通過結(jié)合監(jiān)督微調(diào)與強化學(xué)習(xí)來優(yōu)化其推理性能。通過采用監(jiān)督微調(diào)和強化學(xué)習(xí)技術(shù),DeepSeek有效規(guī)避了PRM技術(shù)中依賴高質(zhì)量的人工標(biāo)注數(shù)據(jù)、難以明確定義細(xì)粒度步驟以及判斷中間步驟正確性等關(guān)鍵問題,顯著提升了模型在復(fù)雜推理任務(wù)中的性能表現(xiàn)。
2.2 基于神經(jīng)符號系統(tǒng)的推理架構(gòu)
DeepSeek-R1和OpenAI o1/o3這些大模型系統(tǒng)所取得的推理性能,標(biāo)志著LLMs在推理方面的研究取得了新的突破,開啟了這個領(lǐng)域的新范式,即系統(tǒng)1(“快思考”)+系統(tǒng)2(“慢思考”)。這個范式意味要對符號主義積累的成果和現(xiàn)有的大模型框架進(jìn)行更深入的結(jié)合,可以在不同的情境中形成動態(tài)可變的、復(fù)雜思維鏈,以便在常識推理、數(shù)學(xué)推理、算法推理、科學(xué)推理、具身推理等方面持續(xù)提升,直至達(dá)到甚至超過人類的認(rèn)知推理能力。
大模型雖然在各種自然語言問題的基準(zhǔn)測試(benchmark)中表現(xiàn)不錯,但是在真實的交互中,經(jīng)常出現(xiàn)“幻覺”問題。DeepSeek-R1代表的強化推理能力,未來有望讓大模型能夠在合適的事實性和邏輯性約束的獎勵函數(shù)限制下,通過自我反思和思維鏈回溯,大大減少自我幻覺的產(chǎn)生,更好地提升常識推理能力。數(shù)學(xué)推理是目前LLMs研究者都高度關(guān)注的領(lǐng)域,充分體現(xiàn)了神經(jīng)符號融合的技術(shù)內(nèi)涵。DeepSeek就有專門針對數(shù)學(xué)的模型版本:DeepSeekMath 7B和DeepSeek-Prover-V1.5。
前文論述的DeepSeek和其他推理系統(tǒng)所構(gòu)造出的神經(jīng)符號系統(tǒng),為未來實現(xiàn)跨領(lǐng)域、超長鏈條的科學(xué)推理提供了很有價值的探索思路。未來,基于類似DeepSeek-R1的推理技術(shù),可以從多個方面賦能跨領(lǐng)域的科學(xué)推理,從而突破費曼極限。首先,可以在海量科技文獻(xiàn)的基礎(chǔ)上,實現(xiàn)最新學(xué)科知識的深度整合和挖掘,形成對復(fù)雜科學(xué)領(lǐng)域探索的知識基礎(chǔ)。其次,可以在海量科學(xué)數(shù)據(jù)的基礎(chǔ)上,對這些數(shù)據(jù)蘊含的內(nèi)在規(guī)律和模式進(jìn)行分析,歸納總結(jié)出本質(zhì)的科學(xué)規(guī)律,建立融合神經(jīng)網(wǎng)絡(luò)和數(shù)理機理符號的新型科學(xué)模型,來刻畫和表征復(fù)雜系統(tǒng)的關(guān)鍵因素,理解復(fù)雜系統(tǒng)要素之間的深層次關(guān)系,突破傳統(tǒng)模型無法領(lǐng)悟的因果鏈條。
3
通用人工智能的未來趨勢
DeepSeek的成功開啟了通用人工智能深度探索的新篇章,特別是對大語言模型、多模態(tài)大模型和具身智能大模型的發(fā)展帶來新的動力。為推動人工智能技術(shù)的持續(xù)演進(jìn),亟需深入探討以下3個關(guān)鍵問題:首先,DeepSeek所采用的開源路線將在通用人工智能的發(fā)展中扮演何種角色?其次,在邁向通用人工智能的過程中,Neural Scaling Law是否仍具備其理論指導(dǎo)意義?最后,如何通過“通專結(jié)合”的方式構(gòu)建行業(yè)大模型,從而充分發(fā)揮大模型技術(shù)在產(chǎn)業(yè)應(yīng)用中的價值?
3.1 開源開放生態(tài)對發(fā)展通用人工智能的作用
DeepSeek的成功本質(zhì)上體現(xiàn)了開源路線在推動生成式人工智能技術(shù)進(jìn)步中的重要作用。DeepSeek-R1系統(tǒng)超過了o1模型的性能,無疑給開源大模型社區(qū)提供了全新的技術(shù)選擇,打破了OpenAI的技術(shù)壟斷,讓每個研究者和開發(fā)者都能站在這個全新的起點上,以開源進(jìn)化的技術(shù)演進(jìn)模式,持續(xù)加速探索LLMs推理的新思路和新創(chuàng)新。DeepSeek的開源實踐或許印證了發(fā)展通用人工智能的必然規(guī)律,必須通過開放的技術(shù)創(chuàng)新生態(tài),打造開放的通用人工智能系統(tǒng),實現(xiàn)開源創(chuàng)新驅(qū)動、模型濫用風(fēng)險防范、可持續(xù)商業(yè)模式之間的微妙平衡。
3.2 Neural Scaling Law對通用人工智能發(fā)展的影響
在大模型研發(fā)中,通常認(rèn)為模型的性能提升和模型參數(shù)規(guī)模之間滿足冪律關(guān)系,也就是Neural Scaling Law,即模型規(guī)模越大,輸入的訓(xùn)練數(shù)據(jù)越多,模型預(yù)測能力就越強。但這種指數(shù)級增長的算力需求,給智算集群系統(tǒng)帶來了極大的開銷,使得規(guī)模的可持續(xù)擴展遇到瓶頸。此外,高質(zhì)量和高密度數(shù)據(jù)語料庫的稀缺性也成為制約模型規(guī)模擴展的關(guān)鍵因素。綜上所述,單純依賴模型規(guī)模的擴展來實現(xiàn)通用人工智能,無論在技術(shù)可行性還是經(jīng)濟成本方面,均難以構(gòu)成可持續(xù)的技術(shù)路徑。
目前,業(yè)界的研究重點正在轉(zhuǎn)向后訓(xùn)練(Post-Training)和測試時間縮放(Test-Time Scaling,TTS)2個方面。1)監(jiān)督微調(diào)和強化學(xué)習(xí)等Post-Training方式成為優(yōu)化模型性能的關(guān)鍵手段。2)TTS是一種在推理階段通過增加計算資源或時間來提升大模型性能的技術(shù)。未來的研究將更加注重模型的高效性和可持續(xù)性,而非單純追求規(guī)模的擴展。
3.3 “通專結(jié)合”的行業(yè)模型
隨著大模型訓(xùn)練范式的改變,尤其是推理和Post-Training、TestTime Scaling逐漸成為發(fā)展的熱點。在垂直領(lǐng)域走“通專結(jié)合”的技術(shù)路線成為必然,需要引入模塊化的架構(gòu)假設(shè)、強化式的能力提升,支持大模型與業(yè)務(wù)邏輯的緊密結(jié)合,在產(chǎn)業(yè)領(lǐng)域?qū)崿F(xiàn)廣泛落地與價值賦能。首先,巨無霸式的通用模型必然給企業(yè)帶來維護(hù)升級、訓(xùn)練成本等一系列的復(fù)雜性難題,必須引入模塊化設(shè)計的理念,實現(xiàn)模型結(jié)構(gòu)和業(yè)務(wù)功能的松耦合架構(gòu)。其次,業(yè)務(wù)場景需要對基座模型進(jìn)行定向的蒸餾與微調(diào),以提升其專業(yè)能力。
自DeepSeek大模型發(fā)布以來,已在多個行業(yè),尤其是保險領(lǐng)域,取得了顯著的應(yīng)用成效。截至2025年2月18日,已有多家領(lǐng)先保險公司接入DeepSeek并落地應(yīng)用。這種“通專結(jié)合”的模式不僅促進(jìn)了大模型的落地應(yīng)用,更推動了行業(yè)智能化的全面升級。
4
結(jié)論
DeepSeek的推出標(biāo)志著中國在通用人工智能領(lǐng)域邁出了重要的一步,開啟了基于國產(chǎn)技術(shù)的人工智能創(chuàng)新生態(tài)新篇章。通過在大語言模型、推理技術(shù)等方面的創(chuàng)新,DeepSeek不僅展示了其在多領(lǐng)域?qū)υ挕?nèi)容生成以及深度邏輯推理方面的強大能力,還為未來通用人工智能的發(fā)展提供了新的思路和方向。DeepSeek的成功不僅為開源生態(tài)注入了新的活力,也為行業(yè)模型的“通專結(jié)合”提供了可行的路徑。隨著模型規(guī)模的擴展和推理技術(shù)的不斷優(yōu)化,DeepSeek有望在更多垂直領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用,推動人工智能技術(shù)在醫(yī)療、教育、金融等行業(yè)的深度落地。
總的來說,DeepSeek不僅是中國人工智能技術(shù)發(fā)展的里程碑,更是全球人工智能領(lǐng)域的重要貢獻(xiàn)者。隨著AI技術(shù)的不斷進(jìn)步和應(yīng)用的深入,像DeepSeek一樣的中國自主AI研究力量有望在更多領(lǐng)域引領(lǐng)原創(chuàng)技術(shù)突破,推動人工智能邁向新的高度,為人類社會可持續(xù)發(fā)展帶來更多的創(chuàng)新與變革。
本文作者:吳文峻、廖星創(chuàng)、趙金琨
作者簡介:吳文峻,北京航空航天大學(xué)復(fù)雜關(guān)鍵軟件環(huán)境全國重點實驗室,杭州市北京航空航天大學(xué)國際創(chuàng)新研究院,教授,研究方向為可信智能、群體智能、AI for Science。
文章來源:吳文峻, 廖星創(chuàng), 趙金琨. DeepSeek技術(shù)創(chuàng)新與通用人工智能發(fā)展趨勢[J]. 科技導(dǎo)報, 2025, 43(6): 14-20.
內(nèi)容為【科技導(dǎo)報】公眾號原創(chuàng),歡迎轉(zhuǎn)載
白名單回復(fù)后臺「轉(zhuǎn)載」
《科技導(dǎo)報》創(chuàng)刊于1980年,中國科協(xié)學(xué)術(shù)會刊,主要刊登科學(xué)前沿和技術(shù)熱點領(lǐng)域突破性的成果報道、權(quán)威性的科學(xué)評論、引領(lǐng)性的高端綜述,發(fā)表促進(jìn)經(jīng)濟社會發(fā)展、完善科技管理、優(yōu)化科研環(huán)境、培育科學(xué)文化、促進(jìn)科技創(chuàng)新和科技成果轉(zhuǎn)化的決策咨詢建議。常設(shè)欄目有院士卷首語、智庫觀點、科技評論、熱點專題、綜述、論文、學(xué)術(shù)聚焦、科學(xué)人文等。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.