分享嘉賓 | 周華

審校 | 李忠良

策劃 | AICon 全球人工智能開發(fā)與應(yīng)用大會

在不久前舉辦的 AICon 全球人工智能開發(fā)與應(yīng)用大會上智源研究院大模型行業(yè)應(yīng)用總監(jiān)周華為我們帶來了精彩專題演講“智源技術(shù)分享：大模型行業(yè)應(yīng)用新模式和關(guān)鍵實現(xiàn)路徑”，演講分析當(dāng)前行業(yè)企業(yè)在大模型落地過程中技術(shù)團(tuán)隊普遍會遇到的問題和障礙，結(jié)合智源研究院在大模型產(chǎn)業(yè)落地過程中的實踐經(jīng)驗，總結(jié)幫助企業(yè)跨越大模型應(yīng)用技術(shù)障礙的以大模型為核心新型技術(shù)路徑，涵蓋數(shù)據(jù)、模型評測、模型訓(xùn)練和應(yīng)用集成，并針對行業(yè)落地過程中突出的數(shù)據(jù)問題給出數(shù)據(jù)生產(chǎn)流程的構(gòu)建技術(shù)建議，最后向各行業(yè)的大模型應(yīng)用開發(fā)者分享智源研究院在大模型行業(yè)應(yīng)用方向上的最新開源技術(shù)成果。

內(nèi)容亮點：

• 理解大模型行業(yè)應(yīng)用落地問題的深層次原因；

• 理解大模型行業(yè)應(yīng)用的獨特技術(shù)差異，獲得以大模型為核心的應(yīng)用構(gòu)建的技術(shù)方法；

• 高效構(gòu)建可持續(xù)行業(yè)大模型數(shù)據(jù)生產(chǎn)流程的技術(shù)方案；

• 智源研究院最新的大模型行業(yè)應(yīng)用相關(guān)開源技術(shù)成果詳細(xì)講解。

以下是演講實錄（經(jīng) InfoQ 進(jìn)行不改變原意的編輯整理）。

去年，我們經(jīng)歷了一場被稱為“百模大戰(zhàn)”的激烈競爭，這場競爭主要在通用領(lǐng)域展開。然而，從今年開始，我們注意到眾多企業(yè)，包括央企和國企，以及中小企業(yè)，都開始著手將這些模型應(yīng)用于具體的行業(yè)實踐中。

盡管行業(yè)落地的挑戰(zhàn)顯而易見，但我們可以認(rèn)為，我們的大模型應(yīng)用的發(fā)展已經(jīng)進(jìn)入了一個新的階段，也就是所謂的行業(yè)落地“深水區(qū)”。下面，我將與大家分享一個我在過去兩年中一直在研究的話題，即《大模型在行業(yè)應(yīng)用中的新模式和關(guān)鍵實現(xiàn)路徑》。

1 AI 大模型浪潮推動企業(yè) IT 系統(tǒng)架構(gòu)變革

回顧歷史，早期計算機系統(tǒng)進(jìn)入企業(yè)時，主要是以流程為中心，強調(diào)企業(yè)流程的優(yōu)化和支持復(fù)雜流程的實現(xiàn)。進(jìn)入 21 世紀(jì)，隨著互聯(lián)網(wǎng)尤其是移動互聯(lián)網(wǎng)的興起，架構(gòu)逐漸轉(zhuǎn)向以服務(wù)為核心。

對于資深從業(yè)者來說，可能還記得 AWS 早期提出的企業(yè)部門間以 API 的服務(wù)形式對外的理念，這一理念經(jīng)過多年實踐已經(jīng)得到了很好的執(zhí)行，特別是在微服務(wù)架構(gòu)的落地上。

到了 2010 年左右，云計算和大數(shù)據(jù)技術(shù)成為主流，企業(yè)開始以數(shù)據(jù)為核心，大量大數(shù)據(jù)平臺應(yīng)運而生，主要處理結(jié)構(gòu)化數(shù)據(jù)，同時也涉及非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)被視為企業(yè)的重要資產(chǎn)。

ChatGPT 的出現(xiàn)標(biāo)志著一個新的轉(zhuǎn)變，我們正在進(jìn)入一個以大模型為核心的時代。但這并不意味著數(shù)據(jù)將不再重要，實際上，數(shù)據(jù)和大模型是相互結(jié)合并行發(fā)展的。

未來，大模型將進(jìn)一步整合數(shù)據(jù)和服務(wù)，利用其強大的泛化能力，支持系統(tǒng)執(zhí)行許多以往需要人工完成的任務(wù)。智能系統(tǒng)不再是單純的工具，而是成為一種能夠主動學(xué)習(xí)、自適應(yīng)和協(xié)調(diào)的智能體，支持企業(yè) IT 系統(tǒng)的發(fā)展。因此，以大模型為核心的系統(tǒng)將成為企業(yè) IT 系統(tǒng)發(fā)展的重要方向。

以 AI 和大模型為核心的應(yīng)用系統(tǒng)正在經(jīng)歷一場演進(jìn)。在沒有大模型的時代，用戶使用 IT 系統(tǒng)的過程是手動的：用戶需要設(shè)定任務(wù)目標(biāo)，規(guī)劃流程，分析信息，執(zhí)行路徑，最終獲得所需結(jié)果。在這個過程中，用戶需要與系統(tǒng)交互，了解系統(tǒng)功能，并選擇相應(yīng)的功能來提出請求，獲得請求結(jié)果，然后決定選擇下一個應(yīng)用功能。開發(fā)人員的主要任務(wù)是從功能上實現(xiàn)整個 IT 系統(tǒng)服務(wù)，這是當(dāng)前傳統(tǒng)的模式。

隨著大模型的引入，我們看到了一種新模式的出現(xiàn)。在許多企業(yè)應(yīng)用中，多智能體助手成為核心，它們背后依托的是行業(yè)大模型。用戶只需設(shè)定任務(wù)目標(biāo)，智能體助手將負(fù)責(zé)執(zhí)行用戶想要的操作，并最終提供任務(wù)完成的結(jié)果。智能體助手將接管任務(wù)分解、規(guī)劃和執(zhí)行的工作。

在 ChatGPT 剛出現(xiàn)時，我們可能直接與模型對接，進(jìn)行問答形式的交互，大模型還無法與 IT 系統(tǒng)進(jìn)行整合。要讓大模型真正融入 IT 系統(tǒng)，必須與現(xiàn)有的 IT 系統(tǒng)對接。智能體通過函數(shù)調(diào)用或工具調(diào)用與 IT 系統(tǒng)對接，這一過程與用戶與系統(tǒng)的交互過程非常相似，實際上是讓多智能體助手幫助用戶發(fā)起請求、獲取和處理請求。

應(yīng)用開發(fā)者不僅要維護(hù)現(xiàn)有的 IT 系統(tǒng)，還需要實現(xiàn)智能體應(yīng)用。同時，算法工程師這一新角色變得非常重要，他們負(fù)責(zé)訓(xùn)練驅(qū)動行業(yè)應(yīng)用智能體的核心大模型，并提供模型服務(wù)。

智能體與傳統(tǒng)系統(tǒng)之間的分工是，智能體完成專業(yè)的認(rèn)知任務(wù)，而非認(rèn)知性的，程序化的任務(wù)則保留在傳統(tǒng)系統(tǒng)中，通過原有接口和工具執(zhí)行。在這種分工趨勢下，許多應(yīng)用系統(tǒng)都將朝著這個方向發(fā)展，智能體和傳統(tǒng)系統(tǒng)將共同協(xié)作，為用戶提供更加智能化的服務(wù)。

2 以 AI 大模型為核心的應(yīng)用系統(tǒng)關(guān)鍵實現(xiàn)路徑

實現(xiàn)以大模型為核心的企業(yè) IT 應(yīng)用系統(tǒng)的關(guān)鍵路徑可以分為以下幾個主要模塊。首先，我們需要進(jìn)行需求分析和方案設(shè)計，這是實現(xiàn)系統(tǒng)的第一步。接下來，在完成方案設(shè)計后，我們將并行進(jìn)行模型訓(xùn)練、數(shù)據(jù)工程和智能體應(yīng)用系統(tǒng)的開發(fā)。在整個過程中，數(shù)據(jù)工程被視為核心，因此被放在中間位置。

具體來看，需求分析和方案設(shè)計階段與我們傳統(tǒng)的 IT 系統(tǒng)設(shè)計相似，但存在一些差異。首先，我們需要進(jìn)行可行性分析，這是任何項目啟動前的標(biāo)準(zhǔn)步驟。然后，我們要梳理模型的業(yè)務(wù)需求，這是確保模型能夠滿足實際業(yè)務(wù)需求的關(guān)鍵步驟。

接著是模型能力的定義，這一點與傳統(tǒng) IT 系統(tǒng)不同，需要明確系統(tǒng)的應(yīng)用場景，并梳理出哪些任務(wù)可以由模型執(zhí)行，哪些仍需依賴現(xiàn)有的 IT 系統(tǒng)。最獨特的地方在于評測體系的建立。

在傳統(tǒng)的 IT 系統(tǒng)中，我們通常通過測試用例來進(jìn)行測試，但現(xiàn)在我們需要構(gòu)建一套測試集來評估模型或基于模型的智能體，因為模型或基于模型的智能體的輸出并不是完全確定的。能夠成功完成任務(wù)的評估結(jié)果可能以百分比形式呈現(xiàn)，一般而言都不是絕對的 100%。最后，我們需要確定總體的應(yīng)用方案，這是需求分析和方案設(shè)計階段的總結(jié)。

在實現(xiàn)以大模型為核心的企業(yè) IT 應(yīng)用系統(tǒng)中，模型訓(xùn)練、數(shù)據(jù)工程和智能體應(yīng)用開發(fā)是三個關(guān)鍵環(huán)節(jié)。首先，我們來看數(shù)據(jù)工程。企業(yè)擁有大量數(shù)據(jù)，但關(guān)鍵在于如何收集數(shù)據(jù)、判斷哪些數(shù)據(jù)有用。

這需要根據(jù)模型的能力需求來確定數(shù)據(jù)的方向。數(shù)據(jù)分為外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)，外部數(shù)據(jù)主要是行業(yè)通用的專業(yè)知識，需要有獲取渠道；內(nèi)部數(shù)據(jù)則是專業(yè)的業(yè)務(wù)數(shù)據(jù)，需要盤點并進(jìn)行文檔預(yù)處理和數(shù)據(jù)集制作。文本數(shù)據(jù)和多模態(tài)數(shù)據(jù)的處理也包括在內(nèi)。

此外，如果應(yīng)用需要向量數(shù)據(jù)庫，就需要進(jìn)行數(shù)據(jù)拆分。如果向量模型的準(zhǔn)確率和召回率不高，還需要準(zhǔn)備微調(diào)數(shù)據(jù)。對于大型項目，可能還需要制作繼續(xù)訓(xùn)練的數(shù)據(jù)集和微調(diào)的指定數(shù)據(jù)，甚至是人力對齊的數(shù)據(jù)。數(shù)據(jù)工程強調(diào)的是了解數(shù)據(jù)位置、盤點數(shù)據(jù)以及獲取外部專業(yè)數(shù)據(jù)的渠道。

接下來是模型訓(xùn)練，AI 大模型的應(yīng)用系統(tǒng)中模型訓(xùn)練常被首先提及，但實際上它并不是一個非常難的環(huán)節(jié)，因為模型訓(xùn)練的方法在通用領(lǐng)域已有解決方案，我們只需遵循即可。模型訓(xùn)練有兩個分支：RAG 方向和 CPT（繼續(xù)預(yù)訓(xùn)練）或 SFT 方向。

RAG 方向的模型訓(xùn)練是指針對 Embedding 模型在專業(yè)領(lǐng)域性能下降的問題，需要使用企業(yè)專業(yè)數(shù)據(jù)進(jìn)行 Embedding 模型微調(diào)的訓(xùn)練。模型訓(xùn)練的關(guān)鍵在于模型的選型，需要根據(jù)業(yè)務(wù)場景選擇最合適的模型，并考慮模型在系統(tǒng)中的能力要求，選取適合評估相關(guān)能力的評測指標(biāo)，并選擇評測指標(biāo)強的模型。

最后，使用準(zhǔn)備好的數(shù)據(jù)進(jìn)行模型訓(xùn)練，這個過程可能需要多輪迭代，如果評測結(jié)果不佳，可能需要回到數(shù)據(jù)層面解決能力問題。

最后是智能體應(yīng)用的開發(fā)，這與傳統(tǒng)模式有所不同。需要根據(jù)需求明確智能體應(yīng)用的功能，設(shè)計整體架構(gòu)，以及執(zhí)行流程，可能是順序執(zhí)行或?qū)蛹増?zhí)行。同時，需要提出智能體核心模型的需求，并設(shè)計和管理提示詞庫，建議統(tǒng)一管理提示詞并進(jìn)行集中評測和優(yōu)化。記憶體的設(shè)計也非常關(guān)鍵。

在完成這些準(zhǔn)備工作后，將流程串聯(lián)起來，實現(xiàn)智能體與現(xiàn)有 IT 系統(tǒng)的對接，并進(jìn)行測試評估。這不僅僅是軟件測試，更多的是評估智能體是否達(dá)標(biāo)，如果不達(dá)標(biāo)，可能需要進(jìn)行迭代優(yōu)化。

最后要說明的一點是，智能體應(yīng)用的發(fā)展目前剛剛起步，各種框架實現(xiàn)群雄逐鹿，生產(chǎn)環(huán)境可用性需要開發(fā)團(tuán)隊有很大的耐心去試錯填坑，并且智能體應(yīng)用的工程化實現(xiàn)的思路和傳統(tǒng)軟件工程化實現(xiàn)思路差異還是比較大的，這也是未來智能體應(yīng)用開發(fā)者們要解決的問題。

在完成模型訓(xùn)練、數(shù)據(jù)工程和智能體應(yīng)用開發(fā)這三個關(guān)鍵任務(wù)之后，我們進(jìn)入最后的部署階段。這包括模型的生產(chǎn)部署、檢索正向庫的構(gòu)建、智能應(yīng)用體的生產(chǎn)系統(tǒng)集成，以及系統(tǒng)的上線。

項目完成后，我們可以進(jìn)行 demo 展示或者實現(xiàn)項目的結(jié)算結(jié)項，這是整個實現(xiàn)路徑的最終步驟。

上述所有這些實現(xiàn)過程與傳統(tǒng)的 IT 系統(tǒng)實現(xiàn)有著相似之處。我們需要定義系統(tǒng)的能力，即需求，從模型的能力出發(fā)去訓(xùn)練模型。

以一個具體的例子來說，如果我們要在醫(yī)療行業(yè)應(yīng)用大模型，我們不僅需要通用的語言能力和安全價值觀，還需要將醫(yī)療業(yè)務(wù)能力整合進(jìn)去。這種業(yè)務(wù)能力是層級性的，需要逐步分解。

從最頂層開始，逐步細(xì)化，直至分解為一個個具體任務(wù)。每個任務(wù)對應(yīng)需要的數(shù)據(jù)類型和評測性能的標(biāo)準(zhǔn)。

總之，我們需要從能力出發(fā)選擇合適的模型，根據(jù)能力需求收集或制作訓(xùn)練數(shù)據(jù)，并指導(dǎo)模型訓(xùn)練。這個過程要求我們不僅要關(guān)注技術(shù)實現(xiàn)，還要深入理解業(yè)務(wù)需求，確保大模型能夠真正融入并提升企業(yè)的 IT 系統(tǒng)能力。

3 總結(jié)

對于企業(yè) IT 系統(tǒng)的未來，它肯定會朝著以大模型為核心的應(yīng)用體系架構(gòu)發(fā)展。大模型的能力決定了我們系統(tǒng)的能力上限，因此我們的評測也主要是針對模型的能力來進(jìn)行。

多智能體系統(tǒng)的開發(fā)和應(yīng)用將拓展大模型的能力，不再局限于簡單的問答，而是與 IT 系統(tǒng)聯(lián)動，極大擴展模型的能力。我們需要以用戶助理的視角來理解新的業(yè)務(wù)和技術(shù)特點，而不僅僅是作為開發(fā)者解決用戶的功能需求。

對于關(guān)鍵路徑而言，需求和業(yè)務(wù)場景是引領(lǐng)整個關(guān)鍵路徑的核心。工程、數(shù)據(jù)工程、模型訓(xùn)練以及多智能體應(yīng)用開發(fā)需要齊頭并進(jìn)，其中業(yè)務(wù)場景和數(shù)據(jù)工程可能在企業(yè)應(yīng)用智能化改造的前期過程中是最為重要的。

AICon 2025 強勢來襲，5 月上海站、6 月北京站，雙城聯(lián)動，全覽 AI 技術(shù)前沿和行業(yè)落地。大會聚焦技術(shù)與應(yīng)用深度融合，匯聚 AI Agent、多模態(tài)、場景應(yīng)用、大模型架構(gòu)創(chuàng)新、智能數(shù)據(jù)基建、AI 產(chǎn)品設(shè)計和出海策略等話題。即刻掃碼購票，一同探索 AI 應(yīng)用邊界！