阿里通義千問(wèn)又整了一個(gè)大新聞。

昨日凌晨，一款只有70億參數(shù)的Qwen2.5-Omni“小模型”悄悄上線，并在權(quán)威的多模態(tài)融合任務(wù)評(píng)測(cè)OmniBench中，一舉刷新了業(yè)界紀(jì)錄，超越了谷歌Gemini-1.5-Pro等眾多同類模型。

說(shuō)Qwen2.5-Omni-7B這個(gè)大模型“小”，還是因?yàn)樗某叽纾瑑H有70億參數(shù)，但它卻是時(shí)下全球性能最強(qiáng)的端到端全模態(tài)大模型，能夠同時(shí)處理文本、圖像、音頻、視頻等多種模態(tài)信息，并實(shí)時(shí)輸出文本與自然語(yǔ)音，而且，在seed-tts-eval語(yǔ)音生成基準(zhǔn)測(cè)試中，展現(xiàn)出與人類水平相當(dāng)?shù)恼Z(yǔ)音合成能力。

自從阿里在QwQ-32B這款“小而強(qiáng)”的大模型上看到了適用性的巨大潛力以來(lái)，把模型做“小”，增強(qiáng)端側(cè)的普適性似乎就成了阿里在大模型這條賽道上的主攻方向。

能放進(jìn)手機(jī)里的大模型

在過(guò)去的數(shù)月間，我們已經(jīng)見(jiàn)到了太多裝著滿血大模型的洗衣機(jī)、電冰箱、電飯鍋，乃至中藥泡腳桶。就像電動(dòng)機(jī)剛出現(xiàn)的時(shí)候那樣，不管有用沒(méi)用，所有的東西都要來(lái)一遍電氣化，這個(gè)時(shí)間持續(xù)了上百年。就像王堅(jiān)院士所言，電動(dòng)汽車，是人類電氣化改造的最后一個(gè)行業(yè)。

大模型的發(fā)展路徑似乎亦是如此，當(dāng)羊毛大衣也開始打出大模型廣告的時(shí)候，沸騰且喧囂的行業(yè)也就到了歸納總結(jié)換方向的時(shí)候了，大模型產(chǎn)業(yè)的落地，從是否有接入為標(biāo)準(zhǔn)，一步進(jìn)化到接入后有沒(méi)有用的新范式。

阿里通義Qwen2.5-Omni-7B可能就是理順這一切的關(guān)鍵工具。它從需求側(cè)出發(fā)，采用了Thinker-Talker架構(gòu)，前者類似人類大腦，負(fù)責(zé)處理和理解來(lái)自文本、音頻、視頻等多模態(tài)輸入信息，后者則是嘴巴，以流式的方式接收Thinker實(shí)時(shí)輸出的語(yǔ)義表征與文本，然后合成離散語(yǔ)音tokens，由此就實(shí)現(xiàn)了語(yǔ)義理解與語(yǔ)音生成的高效協(xié)同。簡(jiǎn)而言之，因?yàn)樗竽Ｐ烷_始會(huì)說(shuō)“人話”了。

大模型會(huì)說(shuō)話有多重要呢，至少情緒價(jià)值是給足了。

比如你找不到路了，它會(huì)告訴你，“先別太慌，看看有沒(méi)有其它辦法，讓你快點(diǎn)兒到會(huì)議室”，隨后給你制定一條最快達(dá)到的路線。

再或者，當(dāng)你不確定超市里售賣的零食有沒(méi)有“科技和狠活”的時(shí)候，它也能從配料表里分析個(gè)頭頭是道，指導(dǎo)你的膳食健康。

當(dāng)然了，這些都是最日常的應(yīng)用，并不能完全展現(xiàn)Qwen2.5-Omni-7B的實(shí)力。在更多專業(yè)領(lǐng)域，它在語(yǔ)音理解、視頻理解、語(yǔ)音生成等領(lǐng)域的測(cè)評(píng)分?jǐn)?shù)，均領(lǐng)先于專門的Audio或VL模型，且4.51的語(yǔ)音生成測(cè)評(píng)分?jǐn)?shù)已經(jīng)達(dá)到了與人類持平的能力。換言之，有了這款大模型，真正的自然語(yǔ)音人機(jī)對(duì)話就成為了現(xiàn)實(shí)。

如果你是一名音樂(lè)愛(ài)好者，你甚至可以對(duì)著它彈奏，然后讓它給出指導(dǎo)意見(jiàn)，進(jìn)一步精進(jìn)自己的吉他技術(shù)。而在此之前，大部分大模型所能做的，還需要先上傳錄音，然后它再通過(guò)文本的方式輸出指導(dǎo)意見(jiàn)。

這種方式當(dāng)然也很“智能”，只是從用戶的感受角度來(lái)說(shuō)，似乎遠(yuǎn)遠(yuǎn)不夠“酷”。而Qwen2.5-Omni-7B則不一樣，它因?yàn)閮?yōu)化了實(shí)時(shí)交互能力，支持即時(shí)輸出，你問(wèn)什么它就能答什么，展現(xiàn)出了極強(qiáng)的實(shí)用性——你不會(huì)覺(jué)著自己是在和機(jī)器對(duì)話，而是一個(gè)真正的朋友。

不知道你有沒(méi)有注意到，在上述的例子中，Qwen2.5-Omni-7B一直都是以手機(jī)的形態(tài)在出現(xiàn)，這恰恰就是它最強(qiáng)的地方，甚至于比模型參數(shù)的尺寸還要重要的多。

因?yàn)樗銐蛐∏桑苎b進(jìn)手機(jī)，所以在適用性上一下子多了無(wú)數(shù)的場(chǎng)景，又因?yàn)樗苷f(shuō)“人話”，在能力展現(xiàn)上又多出了一個(gè)維度的可能性。

據(jù)可靠消息， 目前除了在蘋果手機(jī)上，Qwen2.5-Omni-7B主導(dǎo)著手機(jī)“智能”的一面，在國(guó)內(nèi)其它90%的手機(jī)上，背后都有它的身影，不管是旅行時(shí)問(wèn)餐館旅店，還是閱讀論文做計(jì)算，Qwen2.5-Omni-7B都會(huì)“聽聲”而出。

為什么蘋果及其它手機(jī)品牌會(huì)選擇Qwen2.5-Omni-7B來(lái)合作，根本原因還是大模型的效率問(wèn)題，手機(jī)太小，性能和續(xù)航也極其有限，必須要把有限的資源放在最重要的地方。

在以往，很多大模型也能根據(jù)文本或者語(yǔ)音、視頻輸出對(duì)話，但它們都是通過(guò)各個(gè)不同的相對(duì)應(yīng)的模型來(lái)實(shí)現(xiàn)的。好比你去超市買東西，牛奶在一個(gè)區(qū)，餅干在一個(gè)區(qū)，洗發(fā)水又在另一個(gè)區(qū)，要實(shí)現(xiàn)這三件目標(biāo)，相互獨(dú)立的單鏈路模型首先就得去這三個(gè)地方分別提取商品（理解語(yǔ)義），然后再分別輸出給你，Qwen2.5-Omni-7B就不一樣了，你只要在超市門口喊一嗓子，“我要牛奶餅干洗發(fā)水”，屏幕和喇叭馬上輸出出全部你想要的內(nèi)容。

正是因?yàn)橛靡粋€(gè)模型打通“聽、說(shuō)、看”的全鏈路特性，Qwen2.5-Omni-7B才獲得了手機(jī)廠商們的集體青睞，并且成為了全球性能最強(qiáng)的端到端全模態(tài)大模型。

全模態(tài)革命，Qwen2.5-Omni-7B重構(gòu)未來(lái)產(chǎn)業(yè)圖景

AI大模型亟需要落地。

Qwen2.5-Omni-7B的出現(xiàn)正是AI這一核心價(jià)值的具體展現(xiàn)，事實(shí)上，AI的深層次價(jià)值就是在于更貼近人類認(rèn)知和現(xiàn)實(shí)世界的需求，這不僅是邁向AGI（通用人工智能）的必經(jīng)之路，也是大模型發(fā)展的必然趨勢(shì)。

在邁向這一遠(yuǎn)景的征途中，除了手機(jī)以外，以Qwen2.5-Omni-7B為代表的大模型第一個(gè)改變的就應(yīng)該是智能硬件產(chǎn)業(yè)，其70億參數(shù)的尺寸使其非常適合在端側(cè)部署，打造出更智能、更便捷的用戶體驗(yàn)。

比如掃地機(jī)器人可以依靠該模型完成復(fù)雜任務(wù)，不再被桌腿卡住而哇哇亂叫一整天；冰箱和煙機(jī)灶具聯(lián)手，通過(guò)食材主動(dòng)推薦菜譜并完成烹飪程序；AR眼鏡以此實(shí)現(xiàn)更自然的語(yǔ)音交互和實(shí)時(shí)信息獲取，徹底改造它的使用場(chǎng)景。

此外，學(xué)生可以通過(guò)語(yǔ)音提問(wèn)、文字輸入以及上傳相關(guān)的圖像或視頻資料等方式與模型進(jìn)行交互，Qwen2.5-Omni-7B則夠根據(jù)這些多模態(tài)輸入，及時(shí)解答學(xué)生的問(wèn)題，并提供針對(duì)性的學(xué)習(xí)建議和輔導(dǎo)資料。這不僅有助于提高學(xué)生的學(xué)習(xí)興趣和積極性，還能幫助教師更好地了解學(xué)生的學(xué)習(xí)需求，優(yōu)化教學(xué)過(guò)程，提升教育質(zhì)量。

醫(yī)療領(lǐng)域一直是人工智能應(yīng)用的重要場(chǎng)景之一。能夠同時(shí)處理文本、圖像、音頻、視頻等多種模態(tài)信息，這使得Qwen2.5-Omni-7B在醫(yī)療診斷方面具備了巨大優(yōu)勢(shì)。醫(yī)生可以借助該模型，綜合分析患者的病歷文本、醫(yī)學(xué)影像、語(yǔ)音描述等多模態(tài)數(shù)據(jù)，從而更全面地了解病情，提高診斷的準(zhǔn)確性和效率。

例如，在分析X光片、CT影像等醫(yī)學(xué)圖像時(shí)，Qwen2.5-Omni-7B能夠快速識(shí)別出異常區(qū)域，并結(jié)合患者的病史和其他相關(guān)信息，為醫(yī)生提供更精準(zhǔn)的診斷建議。它還可以根據(jù)患者的個(gè)體特征和病情發(fā)展，輔助制定個(gè)性化的治療方案，推動(dòng)醫(yī)療行業(yè)向更加精準(zhǔn)、高效的個(gè)性化醫(yī)療時(shí)代邁進(jìn)。

總之，Qwen2.5-Omni-7B作為一款性能卓越的全模態(tài)大模型，其在醫(yī)療、教育、智能硬件、電商、金融等多個(gè)行業(yè)都具有廣闊的應(yīng)用前景和變革潛力。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的不斷拓展，Qwen2.5-Omni-7B必將為各行業(yè)帶來(lái)更多的創(chuàng)新機(jī)遇，推動(dòng)產(chǎn)業(yè)的智能化升級(jí)和高質(zhì)量發(fā)展，為人們的生活和社會(huì)的進(jìn)步創(chuàng)造更大的價(jià)值。