作者|陶然 編輯|魏曉

趕在春節(jié)前最后一周，字節(jié)掏出了今年國(guó)產(chǎn)語(yǔ)音大模型的天花板，豆包實(shí)時(shí)語(yǔ)音大模型。

收官之作，依然延續(xù)了過(guò)去大半年字節(jié)AI團(tuán)隊(duì)的風(fēng)格——不掏則已，一掏就是王炸。

從年中的基礎(chǔ)模型、視頻生成模型，到年尾的視覺理解模型，對(duì)比同行來(lái)看豆包通常不是那個(gè)發(fā)的最快的，可一旦做出來(lái)，基本就預(yù)定了賽道內(nèi)未來(lái)一段時(shí)間的No.1。

實(shí)時(shí)語(yǔ)音模型，又是這個(gè)節(jié)奏。

對(duì)話模型的風(fēng)口由OpenAI掀起，GPT-4o實(shí)時(shí)對(duì)話剛發(fā)布那會(huì)兒，圈里人驚呼Her或者Jarvis這類影視作品中的AI助理概念神終于出現(xiàn)在了現(xiàn)實(shí)當(dāng)中。

國(guó)內(nèi)玩家自然也是也迅速跟進(jìn)，本就擅長(zhǎng)語(yǔ)音技術(shù)的科大訊飛在八月更新了“超擬人交互”，豆包之前的國(guó)內(nèi)AI頂流Kimi也在10月份更新了實(shí)時(shí)AI電話（但本質(zhì)上是T2S，轉(zhuǎn)文字處理再轉(zhuǎn)回語(yǔ)音輸出）。

不過(guò)現(xiàn)在豆包來(lái)了，而且又雙叒后來(lái)居上、直接封王了。

“你不說(shuō)

這誰(shuí)聽得出來(lái)是AI啊？”

以下內(nèi)容建議佩戴耳機(jī)瀏覽。

無(wú)不良引導(dǎo)，主要是希望你開大點(diǎn)聲仔細(xì)聽，才能聽到各家語(yǔ)音大模型輸出上的差異，以及最重要的，豆包團(tuán)隊(duì)在聲音細(xì)節(jié)方面究竟打磨到了什么程度。

年關(guān)將至，又到了回家團(tuán)圓的美好氛圍，被七大姑八大姨的奪命連環(huán)Q擊碎的時(shí)候：上班了嗎發(fā)錢了嗎獎(jiǎng)金有嗎買房了嗎買車了嗎談對(duì)象了嗎要孩子了嗎。

讓AI給你答題已經(jīng)是去年的玩法了，今年，AI除了能告訴你怎么脫困之外，還能給你帶來(lái)足額精神慰藉，拉滿的情緒價(jià)值。

再次建議佩戴耳機(jī)，聽得細(xì)致些。

我：“唉這馬上要過(guò)年了，我這心里真是又期待又發(fā)愁。回家跟家人團(tuán)聚是挺好的一件事，但我一想到那七大姑八大姨就頭疼。你知道我每一次回去，就肯定有一票的人追著問我什么相親啊，工作啊，工資啊這些事情。就坐在桌子上跟被審問一樣，我怎么辦呢我天？”

Kimi語(yǔ)音片段

Kimi：“這確實(shí)挺讓人頭疼的。我每次回家也差不多，不過(guò)你可以在被問到的時(shí)候，就簡(jiǎn)單說(shuō)一些比較正面的話，比如說(shuō)你對(duì)工作的滿意程度，或者你對(duì)未來(lái)的規(guī)劃。這樣他們可能就不會(huì)一直追問了。怎么樣，可以試試看嗎？”

首先Kimi這個(gè)明顯感覺有點(diǎn)卡，從結(jié)束收音（屏幕中間那個(gè)音量標(biāo)識(shí)停止跳動(dòng)）到Kimi開始回答問題，中間起碼等待了大概一兩秒的時(shí)間，顯示Kimi思考中。

回答內(nèi)容問題不大，但你聽起來(lái)（尤其經(jīng)常用AI，哪怕是AI騷擾電話接多了的人）會(huì)察覺到一股機(jī)械感。語(yǔ)音語(yǔ)調(diào)過(guò)于平穩(wěn)、沒有起伏是一方面，AI回答的每個(gè)句子之間斷句和銜接非常突然，真人平時(shí)說(shuō)話的時(shí)候兩句中間喘口氣、頓一下的感覺完全沒有，甚至聽起來(lái)像是刻意被切掉了。

只有一處“……比較正面的話”和“比如說(shuō)……”中間聽起來(lái)像是有人聊天時(shí)候的停頓和吸氣。

頓挫這個(gè)點(diǎn)很關(guān)鍵，Mark一下繼續(xù)往后聽。

訊飛星火語(yǔ)音片段

訊飛星火：“過(guò)年回家確實(shí)讓人又愛又恨啊。七大姑八大姨的關(guān)心有時(shí)候真的會(huì)讓人有點(diǎn)受不了。要不你提前給自己找些話題，比如聊聊你的興趣愛好，或者講講最近看的電影、書什么的？這樣他們就不會(huì)一直問那些讓你煩心的問題了。”

訊飛的速度和效果比Kimi好一些，至少句子之間接的比較自然，間隔合理。但還是有些問題沒有解決，首先是語(yǔ)音語(yǔ)調(diào)，從開始到結(jié)束都極為平穩(wěn)，毫無(wú)波瀾就顯得非常不自然非常AI，唯一一處能聽到換氣聲音的地方又在“比如”這個(gè)詞前后：……找些話題，比如聊聊……

猜測(cè)大概是和Kimi類似，模型訓(xùn)練語(yǔ)料庫(kù)當(dāng)中包含“比如”的句子前面都有一個(gè)明顯的吸氣和停頓，所以AI也get到了這個(gè)習(xí)慣。畢竟人一般聊天的時(shí)候，拿比如舉例子前面基本都是要頓一下的。

回看Kimi和訊飛的回復(fù)內(nèi)容，文字也是一個(gè)套路：xxxx確實(shí)xxx，然后回答問題。

這樣是OK的，但不夠好。具體怎么不夠好，聽完豆包的回答你就知道了。

豆包語(yǔ)音片段

豆包：“我懂我懂，這過(guò)年本來(lái)是開心的事兒結(jié)果還要被盤問，真是夠夠的，那你要不這樣，就提前準(zhǔn)備一些萬(wàn)能回復(fù)，比如說(shuō)，嗯，工作還行啦謝謝關(guān)心，啊我還不著急結(jié)婚呢遇到合適的再說(shuō)。或者你也可以用一些幽默的方式化解，就打個(gè)哈哈就過(guò)去了嘛。那你之前有沒有試過(guò)什么辦法？”

沒反應(yīng)過(guò)來(lái)就對(duì)著文字再聽一遍，什么叫以假亂真，什么叫高下立判。

簡(jiǎn)單解釋一下豆包神在哪里：先看文字部分，沒有公式化的承接，套路化的確實(shí)，你面對(duì)的就是身邊一個(gè)跟你玩的非常非常熟絡(luò)的姐妹，“我懂我懂，真是夠夠的”，估計(jì)平時(shí)聊八卦或者追星也是這個(gè)調(diào)調(diào)。

“那要不你這樣”、“打個(gè)哈哈”也是一樣的口語(yǔ)化表達(dá)。

還有，仔細(xì)聽每?jī)删湓捴虚g的銜接：“還要被盤問（嘶，吸氣）音，真是夠夠的（嘶，又是一遍吸氣音）”、“比如說(shuō)，嗯…（停頓思考音）”，“（吸氣）啊…我還不著急結(jié)婚呢”……

這個(gè)東西沒法再用語(yǔ)言去過(guò)多的解釋，你抓個(gè)身邊人聊聊會(huì)發(fā)現(xiàn)人和人平時(shí)聊天就是這么聊的。

豆包做到了沒有機(jī)械感，完全沒有。

藍(lán)媒君把這個(gè)視頻轉(zhuǎn)成錄音發(fā)給了好兄弟，沒跟他說(shuō)是AI，幾分鐘后的回復(fù)是：“哦呦，有情況啊今年？嫂子聲音還挺好聽（狗頭）”

真的，你不說(shuō)這誰(shuí)聽得出來(lái)是AI啊。

真實(shí)流暢背后的技術(shù)密碼

這就是國(guó)產(chǎn)AI語(yǔ)音新的天花板，豆包把原來(lái)的頂層捅了個(gè)干凈，然后往上又加蓋了好幾層。

怎么做到的呢？

長(zhǎng)久以來(lái)，傳統(tǒng)語(yǔ)音對(duì)話系統(tǒng)多采用級(jí)聯(lián)模式，即先通過(guò)自動(dòng)語(yǔ)音識(shí)別（ASR）將語(yǔ)音轉(zhuǎn)成文本，再由大語(yǔ)言模型（LLM）生成對(duì)話文本，最后經(jīng)文本轉(zhuǎn)語(yǔ)音（T2S）輸出。

這種模式雖廣泛應(yīng)用，但問題不少。比如，它對(duì)用戶情緒及語(yǔ)音中的細(xì)微信息理解欠佳，生成語(yǔ)音的情緒表現(xiàn)有限，難以遵循復(fù)雜語(yǔ)音指令，且在實(shí)時(shí)交互中存在高延遲問題。

豆包語(yǔ)音大模型則另辟蹊徑，研發(fā)出端到端框架。該框架面向語(yǔ)音生成和理解統(tǒng)一建模，深度融合語(yǔ)音與文本模態(tài)。在預(yù)訓(xùn)練階段，對(duì)海量的各模態(tài)交織數(shù)據(jù)進(jìn)行深入挖掘，借助Scaling理念，將語(yǔ)音與文本能力深度融合，實(shí)現(xiàn)能力的涌現(xiàn)。

這就好比搭建一座大廈，傳統(tǒng)模式是各部分分開建造再拼接，而豆包語(yǔ)音大模型則是從地基開始就整體規(guī)劃，讓語(yǔ)音與文本緊密相連，為后續(xù)的優(yōu)秀表現(xiàn)奠定基礎(chǔ)。

圖片由豆包大模型生成

同時(shí)，為實(shí)現(xiàn)擬人化情感承接，團(tuán)隊(duì)在數(shù)據(jù)收集階段，就精心挑選各類包含豐富情感的語(yǔ)音數(shù)據(jù)，從歡樂到悲傷，從興奮到沮喪，為模型提供充足養(yǎng)分。

預(yù)訓(xùn)練時(shí)，又設(shè)計(jì)專門算法，讓模型精準(zhǔn)捕捉語(yǔ)音中的情感特征；后訓(xùn)練階段，再通過(guò)真實(shí)與高質(zhì)量合成的語(yǔ)音對(duì)話數(shù)據(jù)進(jìn)一步優(yōu)化，使模型能敏銳感知用戶情緒。當(dāng)用戶開心時(shí)，它以歡快語(yǔ)氣回應(yīng)；用戶低落時(shí)，送上溫暖安慰，真正做到與用戶共情。

至于藍(lán)媒君前面寫的頓挫那些細(xì)節(jié)，豆包團(tuán)隊(duì)也做了解釋：在智商與表現(xiàn)力之間找到平衡。

在語(yǔ)音輸入時(shí)，它深度理解各維度信息，確保輸出內(nèi)容真實(shí)有用。同時(shí)，輸出語(yǔ)音極具真人表現(xiàn)力，包含語(yǔ)氣詞、停頓思考等類人副語(yǔ)言特征。為實(shí)現(xiàn)這一目標(biāo)，團(tuán)隊(duì)在數(shù)據(jù)和算法上發(fā)力，保證多模態(tài)語(yǔ)音對(duì)話數(shù)據(jù)語(yǔ)義正確且表現(xiàn)自然。通過(guò)多輪數(shù)據(jù)合成生成高質(zhì)量語(yǔ)音數(shù)據(jù)，并定期進(jìn)行多維度評(píng)測(cè)，依據(jù)結(jié)果調(diào)整訓(xùn)練策略，始終維持平衡。此外，實(shí)時(shí)聯(lián)網(wǎng)功能讓模型能獲取最新信息，精準(zhǔn)回應(yīng)時(shí)效問題。

找到正確的技術(shù)路徑+大力出奇跡的方法論，被字節(jié)再次驗(yàn)證。

One More Thing

豆包現(xiàn)在有多猛呢？一家撐起了中國(guó)2CAI的半邊天。

研究機(jī)構(gòu)QuestMobile數(shù)據(jù)顯示，截至2024年11月底，中國(guó)AIGC APP整體月活用戶數(shù)量已經(jīng)破億，相比6月份的統(tǒng)計(jì)數(shù)據(jù)實(shí)現(xiàn)了翻倍增長(zhǎng)。

而在眾多AIGC APP中，字節(jié)跳動(dòng)旗下的豆包表現(xiàn)一枝獨(dú)秀、一家獨(dú)大：豆包11月月活達(dá)到5600萬(wàn)左右，占據(jù)了行業(yè)近半數(shù)的月活用戶。后方像Kimi、文小言等APP，盡管看排名仍是頭部，但和豆包已經(jīng)有了明顯的體量差距；而在12月，豆包的月活規(guī)模進(jìn)一步增長(zhǎng)至7522萬(wàn)。

圖源/QuestMobile

另?yè)?jù)AI產(chǎn)品榜的APP統(tǒng)計(jì)（兩機(jī)構(gòu)數(shù)據(jù)略有出入）顯示，截至12月底，豆包的MAU超過(guò)7100萬(wàn)，而榜單前十名中，除去豆包之外其余APP的MAU總和才僅為6900萬(wàn)（Kimi和文小言的MAU分別為1600萬(wàn)和1300萬(wàn)）。

2024 AI 年度總結(jié)其一：大模型時(shí)代的第一個(gè)超級(jí)APP，大約已經(jīng)出現(xiàn)了。

Lanmeih/今日話題

你體驗(yàn)豆包語(yǔ)音大模型了嗎，感覺如何？

咱們?cè)u(píng)論區(qū)聊聊~