金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

家人們，又有好玩兒的AI出現(xiàn)了——

火山引擎發(fā)布豆包·播客模型！

來(lái)來(lái)來(lái)，我們直接聽(tīng)一段：

音頻地址：https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

如何？是不是有億點(diǎn)點(diǎn)被驚艷到了？

兩個(gè)AI的對(duì)話不論是語(yǔ)氣、停頓、口語(yǔ)化，簡(jiǎn)直跟真人沒(méi)有差別。

男生AI在講解故事的過(guò)程中，女生AI會(huì)時(shí)不時(shí)穿插“嗯”、“沒(méi)錯(cuò)”、“對(duì)”這樣的詞兒來(lái)應(yīng)和。

我們甚至拿著這個(gè)demo問(wèn)了一圈身邊的人，他們竟然清一色沒(méi)有發(fā)覺(jué)這是AI！

而且操作上也非常簡(jiǎn)單，咱們只需來(lái)到豆包PC版，打開(kāi)文章的網(wǎng)頁(yè)，一個(gè)點(diǎn)擊“網(wǎng)頁(yè)播客”的動(dòng)作即可：

視頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

不僅如此，生成的速度也是極快，大約5秒以內(nèi)就能搞定。

并且還是有字幕的那種哦~

除了豆包PC版之外，豆包·播客模型目前也已經(jīng)在扣子空間（space.coze.cn）上線，我們還可以通過(guò)Prompt的方式來(lái)生成播客。

整體體驗(yàn)下來(lái)，除了“真人、AI，傻傻分不清”的特點(diǎn)之外，它還具備易操作、夠?qū)崟r(shí)、有觀點(diǎn)等特性。

如此好玩的AI，我們必須安排一波實(shí)測(cè)了（文末有彩蛋哦~）。

萬(wàn)物皆可AI播客

例如在實(shí)時(shí)性方面，我們就拿微博熱搜話題來(lái)測(cè)一下。

Prompt就是簡(jiǎn)單一句話：

• 幫我根據(jù)今天的微博熱搜話題“亞朵酒店致歉”，生成一個(gè)播客。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

對(duì)話的自然度依舊保持真人水準(zhǔn)，但在這個(gè)熱搜demo中，我們更能感受到的是AI有態(tài)度。

例如對(duì)話過(guò)程中，男生AI表達(dá)了這么一句：

• 他們這個(gè)回應(yīng)啊，就是看起來(lái)很官方，但是其實(shí)并沒(méi)有真正地解決這個(gè)問(wèn)題，就是你只是說(shuō)會(huì)核實(shí)會(huì)有專員處理。
• 但是，這個(gè)到底什么時(shí)候能解決或者說(shuō)這個(gè)問(wèn)題到底出在哪？其實(shí)，客人還是一頭霧水。
• 雖然采取了一些措施，也獲得了客人的諒解，但是他們?cè)谶@個(gè)管理的環(huán)節(jié)上面確實(shí)還是存在一些漏洞的。

嗯，可以說(shuō)是具備“實(shí)時(shí)熱點(diǎn)講解員”的實(shí)力了。

說(shuō)到這個(gè)維度的能力，就離不開(kāi)最近超火的蘇超聯(lián)賽：

• 幫我根據(jù)首屆蘇超聯(lián)賽，結(jié)合賽事、網(wǎng)友熱議點(diǎn)等，生成一個(gè)播客。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

不得不說(shuō)啊，關(guān)于這場(chǎng)賽事的獨(dú)特性、純粹性，以及江蘇13太保們的梗，妥妥拿捏到位了。

那如果面對(duì)的是超長(zhǎng)文本呢？豆包播客模型是否也能hold住？

來(lái)，有請(qǐng)大火的互聯(lián)網(wǎng)女皇340頁(yè)AI報(bào)告：

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

這一次，豆包·播客模型直接一口氣生成了長(zhǎng)達(dá)7分鐘的音頻內(nèi)容。

別看這個(gè)報(bào)告長(zhǎng)達(dá)340頁(yè)，豆包·播客模型從話題角度，精準(zhǔn)地將大綱分為用戶增長(zhǎng)、計(jì)算成本、全球競(jìng)爭(zhēng)和行業(yè)影響等板塊。

并且通過(guò)雙人對(duì)話的方式，深入淺出地把每個(gè)板塊關(guān)鍵信息點(diǎn)給講解了出來(lái)。

所以，如果以后遇到超長(zhǎng)的報(bào)告、論文或者小說(shuō)，不妨丟給豆包·播客模型，先聽(tīng)聽(tīng)它講的通俗版內(nèi)容。

那么對(duì)于實(shí)時(shí)且開(kāi)放式話題，豆包·播客模型的效果又會(huì)如何？

請(qǐng)聽(tīng)題：

• 根據(jù)《歌手2025》中單依純演唱的《愛(ài)情沙拉拉拉》，生成一個(gè)reaction的播客。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

不得不說(shuō)，和網(wǎng)上很多樂(lè)評(píng)人制作的reaction視頻的感覺(jué)頗為相似。

由此可見(jiàn)，不論是什么樣的形式，豆包·播客模型都可以輕松hold住，是有種萬(wàn)物皆可AI播客的感覺(jué)了。

怎么做到的？

在聽(tīng)完效果之后，再來(lái)聊聊豆包·播客模型背后的技術(shù)；為此，我們也和字節(jié)跳動(dòng)語(yǔ)音中臺(tái)產(chǎn)品負(fù)責(zé)人鄭煒明進(jìn)行了一番交流。

首先需要強(qiáng)調(diào)的一點(diǎn)是，豆包·播客模型從技術(shù)角度來(lái)看并非是一蹴而就，相反，是字節(jié)跳動(dòng)語(yǔ)音技術(shù)團(tuán)隊(duì)技術(shù)方面長(zhǎng)期耕耘之下的產(chǎn)物。

具體而言，正是基于今年一月份發(fā)布的端到端實(shí)時(shí)語(yǔ)音模型，當(dāng)時(shí)就已經(jīng)取得了國(guó)內(nèi)第一、媲美GPT-4o的成績(jī)，甚至在中文語(yǔ)音交互上超越了GPT-4o。

“真正的端到端”，就是豆包·實(shí)時(shí)語(yǔ)音模型最大的亮點(diǎn)。

這種方式和傳統(tǒng)的語(yǔ)音對(duì)話技術(shù)截然不同，是直接在語(yǔ)音模態(tài)上進(jìn)行理解和推理。

而在此之前，業(yè)界比較常用的方法是一種級(jí)聯(lián)的模式：

需要先將用戶輸入語(yǔ)音通過(guò)ASR（Automatic Speech Recognition，自動(dòng)語(yǔ)音識(shí)別）轉(zhuǎn)寫成文本，再送入LLM生成對(duì)話文本，最后依靠TTS（Text to Speech，文本轉(zhuǎn)語(yǔ)音）轉(zhuǎn)成語(yǔ)音輸出。

但它存在諸多不足，尚無(wú)法實(shí)現(xiàn)真人級(jí)別的語(yǔ)音對(duì)話交互，例如對(duì)用戶情感及副語(yǔ)言信息的理解能力有限、語(yǔ)音情感表達(dá)不夠自然、難以準(zhǔn)確響應(yīng)語(yǔ)音指令、系統(tǒng)延遲較高等。

而豆包端到端語(yǔ)音交互模型的框架實(shí)現(xiàn)了多模態(tài)輸入和輸出效果，極大提升了語(yǔ)音對(duì)話的效率和質(zhì)量。

在預(yù)訓(xùn)練階段，團(tuán)隊(duì)對(duì)各模態(tài)交織數(shù)據(jù)進(jìn)行深入訓(xùn)練，精準(zhǔn)捕捉并高效壓縮海量語(yǔ)音信息；通過(guò)Scaling理念，最大程度實(shí)現(xiàn)語(yǔ)音與文本能力深度融合和能力涌現(xiàn)。

在這個(gè)過(guò)程中，模型學(xué)習(xí)到了豐富多樣的輸入輸出模式，包括S2S（語(yǔ)音到語(yǔ)音）、S2T（語(yǔ)音到文本）、T2T（文本到文本）等，為后續(xù)的能力提升奠定了堅(jiān)實(shí)基礎(chǔ)。

在后訓(xùn)練階段，團(tuán)隊(duì)使用高質(zhì)量數(shù)據(jù)與RL算法，進(jìn)一步提升模型的高情商對(duì)話能力與安全性。

團(tuán)隊(duì)精心篩選并整理了大量包含豐富情感的語(yǔ)音數(shù)據(jù)，涵蓋各種場(chǎng)景與情緒狀態(tài)，讓模型學(xué)習(xí)情感特征；通過(guò)真實(shí)與高質(zhì)量合成的語(yǔ)音對(duì)話數(shù)據(jù)優(yōu)化模型，使其能夠?qū)崿F(xiàn)高情商共情式對(duì)話。

例如，當(dāng)用戶表現(xiàn)出不開(kāi)心時(shí)，模型會(huì)以安慰語(yǔ)氣回應(yīng)；用戶情緒高漲時(shí)，模型以快樂(lè)語(yǔ)氣積極回應(yīng)。同時(shí)，后訓(xùn)練階段引入多種安全機(jī)制，對(duì)潛在非安全內(nèi)容進(jìn)行有效壓制和過(guò)濾，降低安全風(fēng)險(xiǎn)。

由此，豆包·實(shí)時(shí)語(yǔ)音模型在多個(gè)維度上實(shí)現(xiàn)了能力上的突破：

• 擬人化情感承接：以情感表現(xiàn)力、理解、承接及擬人化語(yǔ)音為核心，通過(guò)數(shù)據(jù)收集、預(yù)訓(xùn)練及后訓(xùn)練優(yōu)化，模型能深度理解人類情感。在親子場(chǎng)景中，展現(xiàn)擬人化共情與角色代入能力，提供溫暖陪伴，超越傳統(tǒng)AI。
• 聲音控制與情感演繹：支持復(fù)雜指令，實(shí)現(xiàn)專業(yè)級(jí)情緒切換與表現(xiàn)力。通過(guò)角色語(yǔ)音學(xué)習(xí)，可生動(dòng)切換角色/狀態(tài)，增強(qiáng)交互趣味與沉浸感。方言/口音表現(xiàn)體現(xiàn)強(qiáng)大泛化能力。
• 智商與表現(xiàn)力平衡：深度理解用戶輸入，輸出真實(shí)有用且表現(xiàn)力逼近真人的語(yǔ)音（含副語(yǔ)言特征）。通過(guò)多模態(tài)數(shù)據(jù)優(yōu)化與動(dòng)態(tài)評(píng)測(cè)維持平衡，并支持實(shí)時(shí)聯(lián)網(wǎng)獲取最新信息。
• 絲滑交互與超低延遲：聯(lián)合建模語(yǔ)音生成與理解，提升生成準(zhǔn)確性與自然度，同時(shí)優(yōu)化打斷/判停能力，實(shí)現(xiàn)真人級(jí)流暢對(duì)話，解決級(jí)聯(lián)系統(tǒng)延遲問(wèn)題。

我們可以通過(guò)下面的這段實(shí)時(shí)對(duì)話的例子來(lái)感受一下：

視頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

豆包·播客模型背后的技術(shù)，是基于端到端的實(shí)時(shí)語(yǔ)音交互模型進(jìn)行的場(chǎng)景拓展，具備強(qiáng)大的文本理解與高表現(xiàn)力語(yǔ)音生成能力。

為了營(yíng)造出逼真的雙人對(duì)談感覺(jué)，團(tuán)隊(duì)對(duì)大量播客內(nèi)容進(jìn)行了細(xì)致的體驗(yàn)拆解，分析真人對(duì)話的節(jié)奏、自然度、信息密度以及口語(yǔ)化表現(xiàn)等維度，并找了專業(yè)的播客內(nèi)容創(chuàng)作者進(jìn)行充分碰撞和優(yōu)化，在后續(xù)數(shù)據(jù)生產(chǎn)、模型效果、評(píng)測(cè)標(biāo)準(zhǔn)上進(jìn)行了細(xì)致打磨。

在端到端語(yǔ)音交互模型的預(yù)訓(xùn)練環(huán)節(jié)，字節(jié)跳動(dòng)語(yǔ)音技術(shù)團(tuán)隊(duì)還添加了大量語(yǔ)音跟文本充分對(duì)齊的數(shù)據(jù)，讓模型學(xué)習(xí)到正常人交互的模式以及在播客題材下應(yīng)采用的語(yǔ)音播報(bào)形式。

在SFT（Supervised Fine - Tuning）階段，團(tuán)隊(duì)基于數(shù)據(jù)生產(chǎn)層面進(jìn)行精細(xì)的內(nèi)容微調(diào)，針對(duì)想要的風(fēng)格進(jìn)行上層調(diào)整。通過(guò)大量細(xì)致的標(biāo)注，使模型能夠理解如何讓整個(gè)聽(tīng)感更像真人，從而在播客場(chǎng)景下激發(fā)出具體效果。

除此之外，豆包·聲音復(fù)刻模型方面也進(jìn)行了框架的升級(jí)。

以往行業(yè)內(nèi)的復(fù)刻模型雖能通過(guò)少量Prompt輸入復(fù)刻用戶聲音，但只能學(xué)到 “形”，難以學(xué)到 “神”。

豆包·聲音復(fù)刻模型不僅能復(fù)刻音色，還能根據(jù)對(duì)話上下文給予更加動(dòng)態(tài)的回復(fù)，在情緒層面進(jìn)行匹配，甚至能夠讓復(fù)刻聲音實(shí)現(xiàn)原本發(fā)音人不能實(shí)現(xiàn)的能力，如唱歌、唱Rap等，使聲音更加擬人、靈動(dòng)。

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

據(jù)了解，豆包·實(shí)時(shí)語(yǔ)音模型即將在馬上到來(lái)的火山引擎Force大會(huì)中全量上線；更多播客的玩法也會(huì)陸續(xù)在豆包PC版中上線。

總而言之，火山引擎在AI語(yǔ)音上的發(fā)力，尤其是豆包·播客模型，不僅僅是增添了AI新玩法，更是可以更高效、更個(gè)性化的通過(guò)“聽(tīng)”獲取信息，同時(shí)把音頻創(chuàng)作這件事的門檻再次打了下去。

One More Thing：

最后，我們還將這篇文章“投喂”給了豆包·播客模型，讓它自己對(duì)自己做了一期播客。

來(lái)聽(tīng)一下效果吧~

音頻地址：
https://mp.weixin.qq.com/s/qZ0Kcm2wyPpC56dVHZ5tHw

扣子空間的體驗(yàn)地址放下面了，目前豆包PC端也能體驗(yàn)“網(wǎng)頁(yè)播客”的功能，感興趣的小伙伴快去感受一下吧~

扣子空間地址：
space.coze.cn