為持續(xù)推動(dòng)尖端AI模型創(chuàng)新發(fā)展,英特爾與業(yè)界創(chuàng)新力量深度協(xié)作,成果斐然。近日,全新升級(jí)的英特爾AI解決方案全面覆蓋PC客戶端、邊緣計(jì)算、智能駕艙等場(chǎng)景,并第一時(shí)間助力阿里巴巴新一代通義千問(wèn)Qwen3系列大模型發(fā)布。
Qwen3系列大模型五大亮點(diǎn)閃耀
稀疏MoE模型優(yōu)化:深度優(yōu)化稀疏MoE模型,讓Qwen3在端側(cè)實(shí)現(xiàn)高效部署,為端側(cè)應(yīng)用帶來(lái)更多可能
NPU Day 0支持:首次在NPU上實(shí)現(xiàn)Day 0支持大模型,顯著提升性能并降低功耗,為模型運(yùn)行提供更優(yōu)平臺(tái)
端側(cè)微調(diào)升級(jí):通過(guò)端側(cè)微調(diào)技術(shù),提升模型智能水平,全方位優(yōu)化用戶體驗(yàn),讓AI更懂用戶需求
動(dòng)態(tài)稀疏注意力賦能:動(dòng)態(tài)稀疏注意力機(jī)制賦予Qwen3長(zhǎng)上下文窗口能力,解鎖端側(cè)Agent新應(yīng)用,拓展AI應(yīng)用場(chǎng)景
擁抱開(kāi)源生態(tài):積極擁抱開(kāi)源生態(tài),Day 0支持魔搭社區(qū)Ollama
Qwen3系列中,30B參數(shù)規(guī)模的MoE混合專家模型(Qwen3-30B-MOE-A3B)備受矚目。其先進(jìn)的動(dòng)態(tài)可調(diào)混合專家架構(gòu)大幅提升了計(jì)算效率,在本地設(shè)備上應(yīng)用前景廣闊。然而,部署難度大、系統(tǒng)資源消耗高成為制約因素。
為此,英特爾與阿里緊密合作,針對(duì)MoE模型展開(kāi)全面技術(shù)適配。借助OpenVINOTM工具套件,成功將Qwen模型高效部署于英特爾硬件平臺(tái)。在ARL-H 64G內(nèi)存系統(tǒng)上,30B參數(shù)MoE模型實(shí)現(xiàn)33.97 token/s的吞吐量,較同等參數(shù)稠密模型有突出的性能提升。英特爾采用的軟件優(yōu)化策略涵蓋算子融合、定制化調(diào)度和訪存優(yōu)化以及負(fù)載均衡,為更多MOE模型在英特爾平臺(tái)高效部署提供有力支持。
此次發(fā)布的Qwen3系列模型,還聚焦中小參數(shù)量稠密架構(gòu)LLM,參數(shù)規(guī)模從0.6B至32B不等,可適配更廣泛的硬件資源,滿足多樣化使用場(chǎng)景需求。英特爾CPU、GPU、NPU架構(gòu)全面適配Qwen系列模型,通過(guò)OpenVINOTM工具套件和PyTorch社區(qū)工具,為全系列Qwen模型在英特爾酷睿Ultra平臺(tái)(酷睿Ultra 100系列/200系列)和英特爾銳炫A/B系列顯卡上的部署提供卓越性能保障。
在酷睿Ultra的iGPU平臺(tái)上,英特爾持續(xù)為模型帶來(lái)卓越性能。針對(duì)小尺寸模型,F(xiàn)P16精度下最高達(dá)66 token/s;針對(duì)中小尺寸模型,INT4精度下最高達(dá)35.83 token/s。開(kāi)發(fā)者可根據(jù)使用場(chǎng)景,靈活選擇精度和性能的最佳組合。在英特爾銳炫B系列顯卡強(qiáng)大算力加持下,Qwen3-8B模型可實(shí)現(xiàn)70.67 token/s。
當(dāng)然,面對(duì)有限算力資源,英特爾基于動(dòng)態(tài)稀疏注意力,在保證近乎無(wú)損精度的前提下,使長(zhǎng)上下文窗口處理速度成倍提升。Qwen3-8B模型在英特爾LNL平臺(tái)上可實(shí)現(xiàn)32K的上下文長(zhǎng)度,解鎖了更多端側(cè)Agent新應(yīng)用。
結(jié)合Qwen3更強(qiáng)的Agent和代碼能力,以及對(duì)MCP協(xié)議的加強(qiáng)支持,基于端側(cè)大模型調(diào)用MCP服務(wù)開(kāi)發(fā)各種AI PC Agent成為可能。
而在端艙內(nèi),基于英特爾車載軟硬件解決方案,包括第一代英特爾AI增強(qiáng)軟件定義汽車(SDV)SOC、第二代SDV SoC NPU以及英特爾銳炫?車載獨(dú)立顯卡,Qwen3系列模型有望快速上車部署,充分發(fā)揮車端本地算力。其中,第二代SDV SOC率先采用多節(jié)點(diǎn)芯粒架構(gòu),生成式和多模態(tài)AI性能相比上一代最高提升十倍,讓汽車AI體驗(yàn)如艙內(nèi)實(shí)時(shí)對(duì)話、自然語(yǔ)言交互和復(fù)雜指令響應(yīng)等充滿AI靈性。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.