文心大模型4.5 Turbo,源自文心4.5,是效果更好、成本更低的多模態大模型。基于文心4.5 Turbo,X1升級到X1 Turbo,性能提升的同時,具備更先進的思維鏈,問答、創作、邏輯推理、工具調用和多模態能力進一步增強。
【技術亮點】
1. 基礎模型
文心4.5和4.5 Turbo是多模態大模型,實現了文本、圖像和視頻等不同模態的混合訓練。針對不同模態數據在結構、規模、知識密度上的差異,通過多模態異構專家建模、自適應分辨率視覺編碼、時空重排列的三維旋轉位置編碼、時空維度表征壓縮、自適應模態感知損失計算等技術,大幅提升跨模態學習效率和多模態融合效果,學習效率提高近2倍,多模態理解效果提升超過30%。
2.后訓練
研制了自反饋增強的技術框架,基于大模型自身的生成和評估反饋能力,實現了“訓練-生成-反饋-增強”的模型迭代閉環,不僅解決了大模型對齊過程中數據生產難度大、成本高、速度慢等問題,而且顯著降低了模型幻覺,模型理解和處理復雜任務的能力大幅提升。
在訓練階段,研制了融合偏好學習的強化學習技術,通過多元統一獎勵機制,提升了對結果質量判別的準確率,通過離線偏好學習和在線強化學習統一優化,進一步提升了數據利用效率和訓練穩定性,并增強了模型對高質量結果的感知。得益于偏好信號與獎勵信號的融合運用,模型的理解、生成、邏輯推理和記憶等能力得以全面提升。
3.深度思考
突破了僅基于思維鏈優化的范式,在思考路徑中結合工具調用,構建了融合思考和行動的復合思維鏈,模型解決問題能力得到顯著提升。同時,結合多元統一的獎勵機制,實現了長距離思維和行動鏈的端到端優化,顯著提升了跨領域解決問題的能力。
4.數據
打造了“數據挖掘與合成 - 數據分析與評估 - 模型能力反饋”的數據建設閉環,為模型訓練源源不斷地生產知識密度高、類型多樣、領域覆蓋廣的大規模數據,同時,數據建設流程具備良好的可擴展性,可輕松遷移到全新的數據類型,實現快速、高效的數據生產。具體而言,
針對專業深度知識及領域過程知識的數據稀缺問題,研制了原理驅動、過程評估與結果校驗的數據合成技術、知識點驅動的大規模稀缺數據挖掘技術,顯著提升數據的知識密度和覆蓋面。
多模態數據方面,針對不同模態數據割裂、跨模態語義關聯難度大等問題,提出了融合語義對齊的多模態平行數據構建、融合視覺知識的描述生成等技術,大幅提升不同模態數據的對齊精度和深度語義關聯,增強多模態理解能力。
【基準測試】
文心4.5 Turbo高效繼承文心4.5的文本和多模態能力,同時顯著降低訓練和推理成本,多模態能力與GPT 4.1持平、優于GPT 4o,文本能力與DeepSeek V3最新版持平,優于GPT 4.5、GPT 4.1、GPT 4o。
文心4.5 Turbo-多模態
文心4.5 Turbo -文本
深度思考模型文心 X1 Turbo整體效果領先DeepSeek R1、V3最新版,略低于GPT o1滿血版。
文心X1 Turbo
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.