要點:當前,人工智能大模型技術發(fā)展迅猛,正推動各行各業(yè)智能化應用從概念走向實際落地。在這一過程中,大模型不僅追求性能的極致突破,更注重降低部署門檻,讓更多企業(yè)和行業(yè)能夠便捷、低成本地使用大模型技術,釋放其巨大價值。
——援引自經(jīng)濟日報
DeepSeek通過發(fā)布高性能、低成本的開源模型,為人工智能產(chǎn)業(yè)發(fā)展提供了新路徑,也帶動全產(chǎn)業(yè)創(chuàng)新。日前,華為推出昇騰大規(guī)模專家并行推理方案,為大模型落地應用提供強大支撐。
業(yè)內專家分析,大模型技術正向兩個方向并行發(fā)展,一種是少量大專家模式,即專注于追求極致的計算能力和精度,滿足對性能要求極高的場景;另一種是大量小專家模式,即通過技術創(chuàng)新提升性能和部署難度,使大模型能快速普及到更多行業(yè)和場景中。這兩種模式并非對立,而是相輔相成,共同推動大模型技術廣泛應用。同時,大規(guī)模專家并行推理方案逐漸成為技術演進的重要趨勢。這種模式通過將專家模型分布到更多計算卡上,減少了單卡的顯存占用和權重加載時延,顯著提升了計算效率,實現(xiàn)了更大的吞吐量和更低的時延。
據(jù)了解,在大規(guī)模專家并行的基礎上,昇騰大規(guī)模專家并行推理方案通過專家并行優(yōu)化,顯著降低單卡顯存占用,并提升單卡并發(fā)能力至3倍,使企業(yè)在相同算力投入下獲得更高推理吞吐量;通過自動尋優(yōu)、自動預測、自動配比等技術,確保專家計算任務的均衡分布,優(yōu)化推理效率;可以自動感知負載變化,動態(tài)調整預填充與解碼實例的資源分配,使系統(tǒng)吞吐量提升50%以上;采用雙流/多維混合并行計算等技術,將計算、通信和權重加載任務優(yōu)化并行處理,減少計算開銷,提高推理速度。這些技術突破,使昇騰大規(guī)模專家并行推理方案在保證高效推理的同時,大幅降低企業(yè)部署成本,為DeepSeek等大模型大規(guī)模應用提供更穩(wěn)定、更高效的AI推理基礎設施。
場景應用是產(chǎn)業(yè)發(fā)展的主要驅動力。一方面,大模型開發(fā)門檻、應用成本不斷降低,驅動產(chǎn)品創(chuàng)新、場景探索、行業(yè)賦能,DeepSeek的開源策略正加速人工智能應用多元化;另一方面,我國具有工業(yè)門類全、人口基數(shù)大、市場需求多等優(yōu)勢,為人工智能應用提供了豐富場景,不斷催生新應用。
隨著大模型技術不斷成熟和成本降低,越來越多行業(yè)開始嘗試將其應用于實際場景中。從金融、醫(yī)療到制造、教育,大模型正為各行各業(yè)帶來智能化變革。可以預見,昇騰大規(guī)模專家并行推理方案等創(chuàng)新技術推出,將進一步降低大模型的部署門檻,讓大模型在更多場景中發(fā)揮重要作用,推動行業(yè)智能化向更深層次發(fā)展。
來源:經(jīng)濟日報
。。。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.