智東西
作者 陳駿達
編輯 程茜

智東西5月8日報道，在2年內發布16款多模態大模型之后，業內已將階躍星辰稱之為“多模態卷王”。今天，階躍星辰創始人兼CEO姜大昕向智東西等媒體揭秘了他背后的思考。姜大昕認為，“追求智能的上限”依舊是現階段AI業內的重點，而多模態正是實現AGI的必經之路。

▲階躍星辰創始人兼CEO姜大昕

在姜大昕看來，無論是從AGI的定義還是AI應用的實際需求而言，多模態能力都是至關重要的。AI在視覺智能、空間智能、運動智能等任何一個方向出現短板，都有可能延緩AGI實現。

在一個多模態模型內融合理解與生成能力，即多模態理解生成一體化，是姜大昕眼中多模態模型能力提升并實現GPT-4級別的類人智能的關鍵。不過，多模態理解生成一體化架構仍處于探索期，尚未出現像語言模型界Transformer一樣的可拓展（Scalable）架構。

在AI應用領域，階躍星辰更多地將其模型提供給其他應用開發者。姜大昕認為，模型性能的突破會早于商業化。

此外，姜大昕還圍繞著AI技術演進路線、AGI必備要素、多模態模型技術路徑和AI應用等話題進行了介紹。

一、多模態是AGI必經之路，階躍密集發布多項成果

姜大昕稱，當下，AI技術正沿著模擬世界、探索世界、歸納世界的路徑演進。

模仿學習階段，模型主要從海量數據中學習多種模態的表征，核心問題是如何用深度神經網絡統一表達多種模態。

探索世界階段，模型需要具備復雜問題求解能力和慢思考能力。這兩大能力可以通過強化學習技術獲得，前生成式AI時代的AlphaGo、生成式AI時代的OpenAI o1等都是運用了這一技術。在姜大昕看來，DeepSeek-R1將推理模型由“趨勢”轉變為了“范式”，業內大部分廠商都開始推出類似的模型。

歸納世界階段，模型逐漸具備自主學習能力，能發現客觀世界的規律，在AI for Science領域發揮重要作用。

階躍星辰一直認為，多模態是實現AGI的必經之路。從定義上來看，AGI對標的是人類智能，除了需要具備語言模態對應的符號智能，還需具備視覺智能、空間智能、運動智能，任何一個方向出現短板，都會延緩AGI的實現。

從應用角度看，多模態同樣必不可少。智能系統只有具備聽、看、說等能力后，才能理解用戶環境，和用戶自然交互。

正是基于上述原因，階躍星辰格外重視多模態模型，幾乎以每個月發布一款基礎大模型的速度進行迭代。日前，階躍星辰聯合Ace Studio開源Ace-Step音樂大模型，參數量僅有3.5B，支持19種語言，最快可在15秒內生成一首歌曲。

近日，階躍星辰還發布了Step-R1-V-Mini多模推理模型，具備高精度感知能力。現場演示視頻中，這款模型可以結合照片中的文字、圖像信息，綜合推理，并正確判斷出照片所對應的場館。這款模型已運用至門店巡檢、短劇審核等生產場景。

二、視覺領域的GPT-4時刻尚未到來，押注多模態理解生成一體化

談及未來AI研究的發展趨勢，姜大昕著重分享了多模態理解生成一體化這條技術路徑。

多模態理解生成一體化指的是在同一模型內完成理解與生成任務，這項技術已在語言層面實現。如今的大語言模型既能完成總結、問答等理解型任務，也可以完成撰寫文章等生成性任務。

在多模態領域，由于圖片、視頻等模態的復雜度極高，理解生成一體化難題還有待突破，這也導致現有多模態模型在實際應用場景中存在一些局限性。

例如，在生成一段“教師撰寫板書”的視頻時，現有多模態模型已經有能力生成畫面中手的姿勢、粉筆書寫的痕跡，但如果要根據現有畫面內容預測下一步應該書寫什么內容，就需要整合理解能力。

姜大昕稱：“生成需要理解控制，理解需要生成監督。”也就是說，為了確保生成的內容是有意義的，模型需要對上下文有更好的理解能力；而只有當模型能夠生成內容時，才意味著模型真正理解了上下文。

目前，在多模態理解生成一體化方向，尚未出現可拓展的模型架構。姜大昕認為，對多模態模型而言，逼近人類智能的“GPT-4”時刻尚未到來，對應大語言模型的發展階段，多模態模型仍處于“前Transformer”時期。

在多模態理解生成一體化架構探索結束后，多模態模型還需走過多個階段：利用海量圖片和視頻進行預訓練和指令遵循能力培養、提升視覺時空推理能力、融合3D能力等，最終形成世界模型。姜大昕認為，現在AGI的路線已愈發清晰，如果走到世界模型階段，“我眼中的AGI就實現了”。

姜大昕透露，階躍星辰內部現在有多個團隊在探索多模態理解生成一體化的架構。同時，在這一方向他們已有了最新的成果——開源Step1X-Edit圖像編輯模型，這款模型已經初步具備了一定的理解生成一體化能力，階躍星辰也會在未來幾個月內發布能力更強的圖像編輯模型。

三、超級模型+超級應用雙輪驅動，模型性能突破早于商業化

階躍星辰一直堅持超級模型+超級應用雙輪驅動的策略，在應用層，2025年最熱的概念就是Agent。姜大昕認為，2025年Agent爆發有兩大必要條件。

首先，多模態能力使Agent能感知環境（視覺、語音等），理解任務上下文。其次，慢思考（深度推理）能力使模型能處理復雜任務，分步驟進行分析與決策。

Agent能力的爆發使階躍星辰看到了智能終端Agent的潛力，這也是該公司在應用側的重要發力方向。談及這一決策，姜大昕稱，終端是用戶感知的延伸，諸如手機、AI眼鏡、耳機等設備天然收集環境數據，可幫助Agent理解用戶需求。同時，智能終端也具備幫助用戶完成特定任務的行動能力。

目前，階躍星辰在智能終端Agent的落地場景包括手機、汽車與機器人等。在OPPO手機上的“一鍵問屏”功能就使用了階躍星辰的多模態模型；吉利的智能座艙中則使用了階躍星辰的端到端語音交互技術。

階躍星辰還與智元機器人等展開合作，階躍星辰的多模態大模型相當于機器人的“大腦”，結合具身領域負責動作的“小腦”，實現從感知、理解、規劃任務到控制運動。

在其它AI應用領域，階躍星辰將基礎大模型能力提供給其它各垂類應用開發者。姜大昕認為，模型性能的突破會早于商業化，只有模型性能突破，才能催生具有潛力的應用場景。

結語：堅持基礎模型研發，多模態成差異化優勢

作為國內較早布局多模態方向的大模型創企，多模態模型占階躍星辰模型發布總量的70%以上。

姜大昕稱，未來，階躍星辰將堅持基礎大模型的研發，追求AGI這一初心不會改變。在當前的基礎大模型格局中，階躍星辰將多模態作為其差異化優勢，積極探索多模態理解與生成一體化這一前沿方向，也相信該領域存在著巨大的機會。