話說，大模型火爆兩年來

第一批被“氣死”的人

都已經“頭七”了

有人說，不至于吧

俺看各家發的大模型都挺厲害的

個個天賦異稟，牛掰三連

您說的沒錯，在很多通用場景

尤其C端娛樂、陪伴、效率提升等應用

大模型們這兩年干了不少“人事兒”

可一旦到B端嚴肅場景，就不一樣了

比如，有人把大模型接入ERP、BI系統

搞點嚴謹的數據分析、成本核算

分分鐘給你整成一團亂麻

讓你不得不從頭核對，比自己算還累

還有人拿大模型做了招標助手

指望它能讀標書、寫標書

結果，看錯了標底、寫錯了應答

本來能中的標都廢了…

凡此種種“氣死人”的案例

皆因通用大模型對行業場景“水土不服”

動不動就出現幻覺、現了原形

嘿嘿

這么說吧，就目前通用大模型的能力

任何企業都很難拿來直接就用

真氣死個人兒，可怎么辦呢？

??

讓大模型在企業級嚴肅場景、垂直場景能夠快速落地、把活干好，最有效的方法就是對大模型進行精調（Fine-tuning）。

所謂「精調」，就是把這些看起來有點“氣人”的通用大模型，使用特定任務、特定場景的數據，進行再訓練或者微調。

說白了，一方水土養一方大模型，把通用大模型拉回家，喂點我家的專用飼料，搞搞特訓，讓他們按我們要求的樣子“二次發育”。

特訓完成后，這些大模型就成了我們的專屬大模型，在我們需要的特定業務場景下，也能聰明滴搬磚。

精調省去了從零開始的時間成本、訓練成本，表面上看，對企業好像很簡單。

但實際上，每一步都有坑…

01、大模型「精調」，有哪些難點？

首先，已有的預訓練模型怎么選？

理論上講參數越大模型越聰明，可是參數大意味著精調的訓練成本會增加，而未來推理部署的成本也會更高。

第二，一份高質量的訓練數據對精調模型達標起著至關重要的作用，但是，高質量的數據來之不易，要經歷繁瑣的數據清洗和耗時的數據標注。

數據不行，越調越糊…

第三，雖然精調消耗的算力跟預訓練不是一個數量級的，但對企業來說，也是一筆不小的開支。

算力囤少了，精調不夠勁兒，算力囤多了，后期就是巨大的沉默成本。

第四，精調完成，還要把模型部署落地到生產場景，與企業業務對接集成，提供推理服務。

這個環節，同樣要考慮部署集成的可操作性，易用性，以及長期運營成本。

一旦搞不好，就可能成為爛尾工程，前面的付出全打水漂。

怎么樣，是不是左右都是難？

直接采用通用大模型，會被各種出乎意料的幻覺“氣死”，選擇精調后使用，也可能會被這一路的坑兒“氣死”。

02、如何快速搞定大模型「精調」？

怎么破？有人給出了解法，這就是「騰訊云TI平臺」。

TI平臺是騰訊云面向開發者、政企提供的一站式人工智能開發服務平臺。

既可以應用于傳統AI/ML場景，也可以應用于生成式AI場景，客戶不需要再去找單獨的MaaS平臺。

TI平臺打通了從數據標注、數據構建，到模型訓練、模型評估、模型部署，再到AI應用開發和落地的全流程鏈路。

并且與鵝廠公有云基礎設施（存/算/網/安能力）無縫銜接，開箱即用。

用TI平臺來進行大模型精調，各種難題都可以迎刃而解↓

01、解決模型選擇困難癥

面對眼花繚亂的各種通用大模型，企業容易陷入到選擇困難癥。

TI平臺預置了鵝廠自研的混元大模型和行業大模型，并優中選優，全面接入主流開源模型，同時提供通用訓練框架和推理加速框架。

更貼心的是，鵝廠剛剛開源了一個“吊炸天”的混元模型：「混元Large」。

混元Large有3890億總參數量、520億激活參數量，并支持256K上下文長度，是目前業界參數規模最大、性能領先的開源MoE模型。

MoE模型也就是專家混合模型（Mixture of Experts），有點像“三個臭皮匠，抵過諸葛亮”。

它把多個擅長不同任務的子模型混合在一起，組成“專家團隊”，以此來提供更強的能力。

MoE模型通過一種叫做門控網絡的機制，根據輸入數據的特點，來選擇激活哪幾個專家（子模型）。

由于MoE模型工作的時候通常只激活一小部分專家(比如100個激活2-3個)，這可以在顯著降低計算量的同時，不影響模型性能。

同時因為“群賢畢至、專家云集”，每個專家各有所長，MoE模型可以處理更加多樣化、復雜的輸入數據，得到更優的結果。

因此，混元Large在推理速度和參數規模之間取得了平衡，顯著提升了模型的處理能力。

當然鵝廠還注入了一大堆黑科技，比如：高質量合成數據、隨機補償路由策略、KV緩存壓縮、專家特定學習率縮放等等。

測試結果顯示，混元Large在CMMLU、MMLU、CEval、AGIEval等多學科評測集以及中英文NLP任務、代碼、數學等9大維度表現出色，超越Llama3和Mixtral等主流開源模型。

so，當企業既想更好的模型性能，又想要更低的算力開銷，以前沒得選，現在混元Large就是終極答案。

02、解決數據清洗和標注難題

選完模型，下一步要準備精調數據，這個環節有兩大難題↓

第一是數據來源和格式各異，不同數據來源和不同業務場景，應該采用不同的清洗手段，不同格式的數據，需要更靈活的存儲方式。

第二是數據標注效率低下，精調數據通常保存在云存儲、云文件系統中，傳統標注方案往往涉及數據反復來回拷貝，占用額外空間且耗時耗力。

采用鵝廠TI平臺，完全不用擔心數據準備環節的難題。

首先，平臺預置了一套數據清洗pipeline腳本，這可是騰訊優圖算法專家沉淀多年的清洗大模型數據的經驗，開箱即用。

同時騰訊云TI平臺的大模型標注工具非常靈活，特色創立了基于schema（數據集的結構和格式）的定義方式，可以完全自定義工作臺，讓標注更方便。

由于騰訊云TI平臺本身就是云原生的，可以無縫對接用戶待標注數據的云文件系統，標注結果直接保存在原文件路徑。

標注過程中，不再需要反復拷貝，省時省力省空間。

03、精調過程穩定高效易用

數據準備好之后，就可以進入具體精調環節。

TI支持低代碼、靈活自定義兩種精調模式自由選擇，并預置了訓練鏡像，快速發起訓練，簡單易用。

精調訓練過程中，TI提供了三層保障機制，減少任務中斷，提升精調效率。

同時，TI基于鵝廠自研的“Angel”加速能力，讓訓練和推理的速度更快，資源消耗更少。

還有一點也很重要，企業在使用TI實施精調訓練時，調用的是鵝廠云端算力，按需使用，不要再自己搶卡囤算力，大大節省資金成本。

而且，TI平臺也支持政企私有化部署，全面適配國產算力卡，單平臺支持多卡異構納管，讓企業可以有多種選擇。

04、模型效果評估與部署難題

大模型精調以后，效果到底怎么樣？會不會還是有點“犯渾”？這事兒不能等精調完再檢查，要在過程中就把握好。

鵝廠TI平臺提供了一套完善的模型評估體系，從精調的不同階段定義了「輕量體驗、客觀評測、主觀評測」等“考試環節”，并且支持在精調訓練的任一checkpoint進行抽查。

好，“智商”檢測合格，開始部署。

TI內置推理加速器，可達兩倍以上加速比，讓推理應用跑到飛起。

同時提供統一的大模型調用API和體驗工具，大幅縮短業務接駁大模型的周期。

在應用發布環節，TI提供可視化應用編排，并可以納管邊緣集群，通過云端控制邊緣服務發布，快速落地生產場景。

就這樣，有了騰訊云TI平臺，從模型選擇、數據準備，到精調訓練、調試評估，再到模型部署和應用，一路暢通。

聰明滴、懂行業、懂場景的大模型，終于有譜啦。

當然，更靠譜的方案，我留在了最后，那就是——

用騰訊云TI平臺精調鵝廠剛剛新鮮開源的「混元Large」MoE模型。

頂流的開源模型+頂流的精調平臺，體驗更加不一般↓

目前，混元-Large × TI的強強聯合服務，已經在騰訊云上開放，登錄TI平臺，您可以完成以下目標：

1、通過直接問答，體驗Hunyuan-Large的最新能力；
2、構造自定義評測集橫評Hunyuan-Large和其他模型；
3、將Hunyuan-Large API接入到自有大模型應用；
4、基于自有數據集精調Hunyuan-Large，以滿足垂直場景效果。