始智AI wisemodel.cn開源社區

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。，A800/H20等算力6.25元/卡時，支持在線微調訓練，及線部署和。

在人工智能飛速發展的當下，大模型已成為推動各行業變革的核心力量。近日，百度文心4.5系列模型正式開源。該系列開源模型共10款，涵蓋了激活參數規模分別為47B和3B的混合專家（MoE）模型（最大的模型總參數量為424B），以及0.3B的稠密參數模型。

模型權重按照Apache 2.0協議開源，支持開展學術研究和產業應用，此外，基于飛槳提供開源的產業級開發套件，廣泛兼容多種芯片，降低后訓練和部署門檻。現已上線始智AI-wisemodel開源社區，歡迎使用和體驗。

模型地址

https://wisemodel.cn/organization/PaddlePaddle

01.

模型整體介紹

針對 MoE 架構，百度提出了一種創新性的多模態異構模型結構，通過跨模態參數共享機制實現模態間知識融合，同時為各單一模態保留專用參數空間。此架構非常適用于從大語言模型向多模態模型的持續預訓練范式，在保持甚至提升文本任務性能的基礎上，顯著增強多模態理解能力。

文心4.5系列模型均使用飛槳深度學習框架進行高效訓練、推理和部署。在大語言模型的預訓練中，模型FLOPs利用率（MFU）達到47%。

實驗結果顯示，該系列模型在多個文本和多模態基準測試中達到SOTA水平，在指令遵循、世界知識記憶、視覺理解和多模態推理任務上效果尤為突出。文心4.5系列模型在Benchmark上效果體現：

02.

核心技術亮點

多模態混合專家模型預訓練

文心4.5通過在文本和視覺兩種模態上進行聯合訓練，更好地捕捉多模態信息中的細微差別，提升在文本生成、圖像理解以及多模態推理等任務中的表現。

為了讓兩種模態學習時互相提升，百度 提出 了 一種多 模態異構混合專家模型結構，結合了多維旋轉位置編碼，并且在損失函數計算時，增強了不同專家間的正交性，同時對不同模態間的詞元進行平衡優化，達到多模態相互促進提升的目的。

高效訓練推理框架

為了支持文心4.5模型的高效訓練，百度提出了異構混合并行和多層級負載均衡策略。通過節點內專家并行、顯存友好的流水線調度、FP8混合精度訓練和細粒度重計算等多項技術，顯著提升了預訓練吞吐。

推理方面，百度提出了多專家并行協同量化方法和卷積編碼量化算法，實現了效果接近無損的4-bit量化和2-bit量化。此外，文心還實現了動態角色轉換的預填充、解碼分離部署技術，可以更充分地利用資源，提升文心4.5 MoE模型的推理性能。基于飛槳框架，文心4.5在多種硬件平臺均表現出優異的推理性能。

針對模態的后訓練

為了滿足實際場景的不同要求，文心對預訓練模型進行了針對模態的精調。其中，大語言模型針對通用語言理解和生成進行了優化，多模態大模型側重于視覺語言理解，支持思考和非思考模式。每個模型采用了SFT、DPO或UPO（統一偏好優化技術）的多階段后訓練。

03.

完整的開發工具鏈

基于多年飛槳開源技術與生態系統積累，此次文心4.5模型系列開源同 步升級發布文心大模型開發套件ERNIEKit和大模型高效部署套件FastDeploy，為文心4.5模型及開發者提供 開箱即用的工具和全流程支持。

1、

基于飛槳的

文心大模型開發套件ERNIEKit

ERNIEKit為用戶提供預訓練、全參精調（SFT）、直接偏好優化（DPO）、參數高效精調與對齊（SFT-LoRA/DPO-LoRA）、訓練感知量化（QAT）和訓練后量化（PTQ）等大模型全流程開發支持。

使用示例：

# 下載模型
huggingface-cli download baidu/ERNIE-4.5-0.3B-Paddle --local-dir baidu/ERNIE-4.5-0.3B-Paddle
# 一行命令啟動訓練
erniekit train examples/configs/ERNIE-4.5-0.3B/sft/run_sft_8k.yaml

2、

基于飛槳的

大模型高效部署套件FastDeploy

FastDeploy提供了一行代碼開箱即用的多硬件部署體驗，使用接口兼容vLLM和OpenAI協議。針對旗艦模型提供了產業級多級負載均衡的PD分離部署方案，支持豐富的低比特量化推理、上下文緩存、投機解碼等加速技術。

本地推理示例：

from fastdeploy import LLM, SamplingParams
prompt = "把李白的靜夜思改寫為現代詩"
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
llm = LLM(model="baidu/ERNIE-4.5-0.3B-Paddle", max_model_len=32768)
outputs = llm.generate(prompt, sampling_params)?

服務部署示例：

python -m fastdeploy.entrypoints.openai.api_server \
    --model "baidu/ERNIE-4.5-0.3B-Paddle" \
    --max-model-len 32768 \
    --port 9904

----- END -----

wisemodel相關：

系統升級：

3、

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看