日常生活中,我們經常遇到需要在布滿密集小字、且有幾處區域高度反光的菜單上,辨別某一特定菜品價格的場景。這對許多人來說很棘手,但對階躍星辰的大模型Step 3而言卻是小菜一碟。它能根據用戶指令,在極短時間內定位到餐前小食區域的菜品無骨鴨掌,并準確地識別出它的價格。顯然,這樣的感知能力,已經超過人類水平。
2025年7月25日,階躍星辰在上海召開Step 3大模型發布會暨生態聯盟成立大會。會上,該公司正式發布了上述新一代基礎大模型Step 3,并計劃于7月31日面向全球企業和開發者開源。
與此同時,宣布與上海國有資本投資有限公司達成深度戰略合作,并聯合國內近十家領先的芯片、平臺廠商發起成立“模芯生態創新聯盟”,致力于通過推動模型和芯片產業鏈聯合創新,加速大模型應用落地。
此外,該公司還邀請沐曦創始人、董事長兼總經理陳維良,天數智芯董事長兼CEO蓋魯江,燧原科技創始人、董事長兼CEO趙立東,以及壁仞科技創始人、董事長兼CEO張文,圍繞“大模型與芯片的協同創新”這一話題,展開圓桌對話。
(來源:資料圖)
推出新一代基礎大模型Step 3,推理效率最高達DeepSeek-R1的300%
階躍星辰自2023年成立以來,便以實現通用人工智能為目標,聚焦基礎大模型的研發,不斷推進模型技術迭代。該公司于2024年3月和9月分別發布千億參數原生多模態大模型Step 1和萬億參數混合專家模型Step 2。
階躍星辰創始人、CEO姜大昕表示:“從Step 1到Step 2兩代基模的快速迭代,促使我們深入思考什么才是最適合應用的模型。”
該公司經過探索發現,模型必須滿足“多開好省”的特點。
首先,“多”即多模態。雖然數學與代碼常被用于測試模型能力,但多模態在大量應用場景中才是剛需。
其次,“開”即開源。開源模型有利于私有化部署,且便于后訓練和微調,能極大地幫助模型適應下游應用需求。
再次,“好”即邏輯能力好。模型既要學識豐富、善解人意,又要邏輯嚴謹。
最后,“省” 是在保證模型能力優異的前提下,盡可能降低成本。
Step 3正是在上述研發理念的指導下應運而生。
目前,該模型擁有兩大突出特點。
其一,模型能力強。其具備強大的視覺感知與復雜推理能力,不管是跨領域的復雜知識理解、數學與視覺信息的交叉分析,還是日常生活中的各類視覺分析問題,它都能準確完成。通過MMMU、MathVision、SimpleVQA、AIME 2025、LiveCodeBench (2024.08-2025.05) 等一系列榜單測評,該模型的得分超過國內外所有開源的同類模型,成績達到當前開源多模態推理模型的最高水平。
(來源:資料圖)
會上,借助幾個案例,階躍星辰對該模型的多模態和推理能力做了展示。除了開頭提到的“無骨鴨掌”案例,還包括識別色盲自測圖和幫用戶計算分攤花銷。對于前一個問題,Step 3能夠很快正確識別出圖中字母為“Step 3”,并打趣它和自己的名字相同是一個有趣的巧合。對于后一個問題,盡管原始設定規則相對復雜,但它通過關聯微信截圖和購物小票圖,依然能準確地計算出每個人應付的錢數。
其二,推理效率高、應用成本低。此前有不少提升模型推理效率的開源工作,例如DeepSeek就做了諸多優化,但這些優化主要針對英偉達H800等高端國外芯片。階躍星辰希望能開發一些創新方法,讓模型可以更好地適配到更多類型的芯片上,包括國產算力。因此,該公司從開始設計模型架構時,便著重考慮硬件和系統的特點,最終使得Step 3能在最廣泛的硬件上進行高效處理。
從數據上看,Step 3在某個國產芯片上的推理效率最高可達DeepSeek-R1的300%,在基于英偉達Hopper架構的芯片上進行分布式推理時,相較于DeepSeek-R1的吞吐量提升超70%。
(來源:資料圖)
據階躍星辰聯合創始人、副總裁朱亦博透露,Step 3的表現之所以優于其他模型,主要是采用了一款名為多矩陣分解注意力的新型注意力機制架構,因而能在不犧牲模型參數量的條件下,顯著減少計算復雜度和顯存占用。
也正如姜大昕所說:“更高的處理效率就意味著更低的成本,傳導到用戶那里就是更低的價格。”
(來源:資料圖)
Step 3的多模態能力主要表現在視覺理解和推理上,但在實際應用中,用戶對多模態能力的要求則更為豐富,比如能看能寫、能聽能說、能畫能唱,甚至可以生成視頻等。
基于此,該公司也構建了“1+N”的Step系列大模型矩陣。其中,“1”是指Step 3基礎大模型,“N”是指Step系列的多模態大模型矩陣,廣泛覆蓋語音、視覺理解、圖像編輯、圖像和視頻生成、音樂等領域。值得關注的是,該公司同期還發布了階躍首個多模理解生成一體化模型Step 3o Vision、以及第二代端到端語音大模型Step-Audio 2。
會上,該公司對Step-Audio 2做了具體展示。它不僅可以非常流利地使用中文、英文、上海話等各種語言和用戶絲滑交流,也能模仿小朋友、男性、女性等不同用戶的聲音。它還具備多人對話的能力,即便被打斷,也能靈敏反應。
據悉,目前這些多模態大模型均可以在“階躍AI”官網(stepfun.com)和“階躍AI”App(應用商店搜索下載)進行體驗。
會上,階躍星辰宣布與上海國有資本投資有限公司達成深度戰略合作,并舉辦簽約儀式。據了解,雙方將圍繞加強資本鏈接、生態業務合作等方面,進行全面深度合作。
此外,過去一段時間,該公司在商業化上也取得了豐碩成果。
在智能終端領域,與國內超過一半的頭部國產手機廠商合作,共同打造手機Agent體驗;聯合吉利汽車推出AI智能座艙,成功實現行業內端到端語音大模型首次量產上車;與千里科技、吉利合作,打造新一代智能座艙產品交互體驗;在金融行業,與財躍星辰合作推出“AI小財神Pro”版本,實現高峰期每分鐘tokens(模型處理文本時的基本單位)超過五百萬。
聯合多家芯片廠商發起“模芯生態創新聯盟”,加速推動AI業務繁榮
會上,階躍星辰聯合近10家芯片及基礎設施廠商成立“模芯生態創新聯盟”,,致力于打通芯片、模型和平臺全鏈路技術。通過底層聯合創新提升大模型適配性和算力效率,該聯盟將為企業和開發者提供高效易用的大模型解決方案,加速應用落地。
(來源:資料圖)
該聯盟的成立,源于一個全行業共識:大模型推理成本的降低,已成為決定其應用滲透率的關鍵。
“降低推理成本本質是提升算力應用效率。API價格戰只是一時喧囂,提升模型算力效率需產業聯合創新。”姜大昕表示。
實際上,該公司當初在設計Step 3的模型架構時,就已經考慮到國產芯片的硬件特點。這是一個聯合設計的過程,也是通過建立聯盟來聯合創新生態的動機和目標。
據介紹,該聯盟的首批成員包括華為昇騰、沐曦、壁仞科技、燧原科技、天數智芯、無問芯穹、寒武紀、摩爾線程、硅基流動等。其中,華為昇騰芯片已首先實現Step 3的搭載和運行,沐曦、天數智芯和燧原科技等企業也已初步實現運行Step 3。
在圓桌對話環節,針對如何加強產業鏈協同,讓模型和芯片更好地配合這一話題,各位發言人發表了自己的意見。
陳維良表示,依托“模芯生態創新聯盟”,芯片和模型企業應深化算子優化以形成更高效的模型,并借助中國產業鏈優勢,打造自主自強的中國特色解決方案。
蓋魯江說道,一要推動國產芯片在體量和降本上突破;二要深入理解不同應用場景,匹配用戶需求并提出一攬子的解決方案;三要通過聯盟打通芯片到整機廠商、模型廠商及最終應用場景的鏈條,建立統一規范和標準。
趙立東認為,國產AI芯片目前面臨高端芯片制造和生態兩座大山,后者是模型與芯片合作的切入點。
張文則指出,模型與芯片的良好配合需依托國產大模型的發展,當前國產大模型水平已接近國外,但國產芯片仍有較大差距,所以適配國產大模型公司能為芯片產品定義提供重要參考,可根據前者對超長文本、大規模推理等特性的需求調整產品,讓國產大模型的發展能有效牽動國產芯片設計的進步。
顯然,國產大模型和國產芯片是科技發展的兩個支點,只有實現從模型、芯片、平臺到應用的全產業鏈聯合創新,推動大模型和算力雙向實現價值最大化,才能加速推動AI在各行各業真正落地。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.