GPT-4o式的多模態大模型（LMMs）展現出在文本、視覺和語音模態上的全能能力，其在線語音服務還能在語音交互過程中同步提供中間文本結果（即用戶輸入和模型響應的轉錄內容），為用戶提供“邊看邊聽”的靈活交互體驗。因此，如何構建支持文本、視覺和語音三種模態的多模態大模型成為近期研究熱點。現有的多模態大模型通常利用多個編碼器提取各個模態的表示，然后將各模態表示沿序列維度拼接并輸入至大語言模型基座中以生成回復。這些基于拼接的方法簡化了模態集成過程，但它們在很大程度上依賴大規模數據，以數據驅動的方式學習模態對齊。此外，這種基于拼接的維度對齊方式缺乏足夠的靈活性，無法像GPT-4o那樣在語音交互過程中同時生成中間文本結果。

為應對這一挑戰，中國科學院計算技術研究所自然語言處理團隊提出了文本-視覺-語音多模態大模型——Stream-Omni，其能同時支持各種模態組合下的交互。通過對各模態間的關系進行更有針對性的建模，Stream-Omni實現了更加高效和靈活的文本-視覺-語音模態對齊。僅依賴包含2.3萬小時語音的多模態數據，Stream-Omni即可具備文本交互、語音交互、基于視覺的語音交互等各種模態上的交互能力。與此同時，依賴于創新的語音建模方式，Stream-Omni能在語音交互過程中像GPT-4o一樣同步輸出中間文本轉錄結果，為用戶提供全方位的多模態交互體驗。

• 論文題目：
  
• Stream-Omni: Simultaneous Multimodal Interactions with Large Language-Vision-Speech Model
• 論文鏈接：
• https://arxiv.org/abs/2506.13642
• 開源代碼：
• https://github.com/ictnlp/Stream-Omni
• 模型下載：
• https://huggingface.co/ICTNLP/stream-omni-8b

Stream-Omni的模態對齊

現有多模態大模型中的模態對齊（如左圖所示）：在序列維度上將三種模態的表示進行拼接，輸入至大語言模型基座

為了減輕對大規模三模態數據的依賴，Stream-Omni更有針對性地建模各模態之間的關系，即語音與文本應在語義上高度一致，而視覺則在語義上對文本形成互補關系。因此，Stream-Omni對不同模態采用不同對齊方式（如右圖所示）：

• 視覺-文本對齊：序列維度的視覺文本拼接
• 語音-文本對齊：層級維度的語音文本映射

實現上，Stream-Omni以大語言模型（LLM）為核心，并在其底部和頂部引入語音層，通過連接時序分類（Connectionist Temporal Classification，CTC）建模語音到文本的映射，此建模方式的優勢在于：

• 支持通過語音模態進行外部交互，同時利用文本模態在內部控制生成的內容；
• 基于CTC的語音-文本映射為語音文本在表示和結構的對齊上提供更加直接的監督，因此Stream-Omni 能夠在僅使用少量語音數據的情況下，將 LLM 主干的文本能力遷移至語音模態。
• 層級維度映射使得Stream-Omni在語音交互過程中還能同步輸出中間文本結果（即指令和回復的轉錄文本），為用戶提供更全面的多模態體驗。

Stream-Omni

Stream-Omni以大語言模型作為主干，逐步將視覺和語音與文本對齊，高效地構建了一個支持文本、視覺和語音的多模態大模型。在視覺-文本對齊方面，Stream-Omni采用視覺編碼器和投影模塊提取視覺表示，并將其與文本表示進行拼接。在語音-文本對齊方面，Stream-Omni在LLM主干的底部和頂部分別引入若干語音層，用于將語音映射到文本以及基于文本生成語音。

視覺模態

基于視覺模態與文本模態之間具有語義互補性，Stream-Omni采用LLaVA架構中的序列維度拼接的方式進行視覺-文本對齊。

語音模態

（1）語音離散化：Stream-Omni采用CosyVoice Tokenizer對語音輸入進行離散化，編碼為若干離散的語音單元（< Audio_965>…）。

（2）語音到文本映射：為了充分利用LLM的能力，Stream-Omni在LLM的底部引入語音層，用于學習語音與文本之間的映射關系，從而將LLM中的文本能力遷移到語音模態中。Stream-Omni利用在ASR任務上的CTC損失直接監督底部語音層語音表示，將其與文本模態對齊。

（3）文本生成：LLM基于輸入的視覺表示和語音表示，生成文本回復。

（4）文本到語音生成：Stream-Omni通過頂部語音層來完成文本到語音生成。為了在生成文本的同時生成語音單元，Stream-Omni在頂部語音層中引入了alignment-based fusion模塊。Alignment-based fusion沿用了StreamSpeech等實時生成研究中的同步生成策略，利用CTC對齊來指導同步生成過程。

任意模態組合下的多模態交互

Stream-Omni能夠通過靈活組合視覺編碼器、底部語音層、LLM、頂部語音層來實現任意模態組合下的交互。同時，由于層級維度語音文本映射，Stream-Omni能夠在語音到語音生成過程中提供中間的文本結果。

實驗結果

視覺理解能力

Stream-Omni和相同規模和數據量級的視覺大模型取得相當的表現。

語音交互能力

在事實性的語音交互上，Stream-Omni相比于現有方法具有優勢，源于層級維度的語音文本映射將LLM的文本能力遷移到語音模態上。

基于視覺的語音交互能力

在本實例中，在指令分別通過文本和語音輸入的情況下，VITA-1.5給出了兩個相互矛盾的回答：“不允許前往二樓”和“直接通往二樓”。這一在面對不同模態指令時產生的矛盾回應，源于沿序列維度拼接視覺、語音和文本表示來實現多模態對齊的方法，并未對語音與文本模態之間的語義進行嚴格對齊建模。相比之下，Stream-Omni引入語音到文本的映射機制，實現了語音與文本表示之間更精確的語義對齊。因此，Stream-Omni在不同模態下表現更加一致，無論指令是通過文本還是語音輸入，都能生成相似的響應。另外，Stream-Omni還能生成高質量的語音回復，更多實例請在https://github.com/ictnlp/Stream-Omni體驗。

總結

• Stream-Omni是一個GPT-4o式的文本-視覺-語音多模態大模型，能夠支持多種模態組合下的多模態交互。
• Stream-Omni能夠在語音交互過程中輸出中間文本結果，為用戶提供更全面的多模態交互體驗。
• Stream-Omni關注如何構建模態對齊，語音表現力等方面的增強不是本研究的重點，因此其在擬人化、音色多樣性等方面存在局限性。