機器之心報道

編輯：楊文

AI直播終于不是噱頭了。

這年頭，真人主播還真干不過 AI。

今年 618 大促期間，「交個朋友」在百度優選搞了場直播，不過這場直播的主角不是人，而是 AI。直播間里，羅永浩和朱蕭木兩個數字人配合默契，不搶話、不抬杠，只是一味地帶貨、爆梗、講段子，還時不時跟評論區網友來個互動。

「彈幕上問我怎么辨別茅臺真假，簡單喝一口，心疼就是真的，肝疼就是假的。」

「有人問方便面好不好吃，買回去嘗嘗，好吃就分給朋友一點，不好吃就全分給朋友。」

「你臉大有多大？能有我 210 斤的臉大嗎？」

這逼真效果，就連老羅本人看了都嚇一跳：「他們在那兒眉來眼去，講著跟我一樣風格的段子，有點恍惚……」

更離譜的是，羅永浩數字人的直播「戰績」比真人還能打，整場直播吸引了超 1300 萬人次觀看，GMV 突破 5500 萬元，部分核心品類帶貨量、用戶平均觀看直播時長均反超羅永浩本人在百度電商的直播首秀。

如此以假亂真的數字人到底是怎么做出來的？據老羅在微博上「自曝」，這用的是百度的多模協同數字人技術

傳統數字人生成技術常面臨語音、語言、視覺多模態割裂的問題，具體表現為臺詞與語音語調不同步、表情手勢與語義錯位等，而百度的技術突破在于引入劇本驅動的多模協同。

具體來說，這套技術方案包含了劇本驅動的數字人多模協同、融合多模規劃與深度思考的劇本生成、動態決策的實時交互、文本自控的語音合成、高一致性超擬真數字人長視頻生成等五大創新技術，使數字人的「神、形、音、容、話」達到高度統一，最終呈現出一個具備高表現力、內容吸引人、人-物-場可自由交互的超擬真數字人。

語言模型為核心的劇本生成

在百度這套多模協同數字人技術方案中，劇本生成無疑是核心環節，涵蓋臺詞、多模驅動和動態交互三部分。

最核心的臺詞需要解決三大關鍵問題。其一，通過風格建模為不同風格提供精細化定制，使臺詞呈現多樣化風格，并與主播的個性高度契合；其二，通過人設建模、人物性格與行為邏輯的精準還原，以及在雙人直播場景中保持多角色協同，塑造擬真化人設；其三，引入內容規劃和深度思考機制，在保證講品信息準確、富有說服力的同時增強吸引力，同時為避免「幻覺」，還在臺詞生成中融入事實校對和知識增強機制，保證每一句話都經得起推敲。

就以羅永浩數字人為例，羅永浩和朱蕭木都具有強烈的個人風格，直播時經常會蹦出幾句口頭禪，為打造可控性強、極具真實感的虛擬主播，百度基于文心大模型 4.5 Turbo，投入海量真人直播數據，依托「轉錄挖掘、優質提煉、仿寫合成與自動評估」四個環節不斷優化訓練語料，使模型深度吸收兩位主播的語言特點與思維習慣，并在迭代學習中持續逼近更契合的輸出效果。同時引入多角色協同機制，對不同主播的表達邏輯進行建模，使對話在語義推進、節奏控制和風格調性上保持協調一致，避免「各說各話」的割裂感。

所謂多模驅動，是指大語言模型基于任務目標與主播人設生成基礎臺詞，并同步輸出視覺與語音的多維標簽。這些標簽不僅是對語言內容的補充，更是驅動音視頻生成系統實現自然、同步、富表現力輸出的關鍵指令。比如，在語音合成階段，模型利用劇本中的段間標簽精細控制不同語段之間語調銜接，同時文本內容也能驅動 TTS 系統實現更細粒度的語調調控。音頻合成結果再進一步與視覺標簽聯動，使視頻生成系統能夠實現唇動同步、高表現力的動作設計和情緒表達，從而在輸出層實現「聲、形、意」三模態的統一。

在此基礎上，劇本生成還具備動態交互能力。比如 AI 老羅在賣純牛奶時，有網友問 360 個月的寶寶能不能喝，AI 老羅便以「我 600 個月都能喝，誰還不是個寶寶呢」進行幽默回應，這種回應背后不僅是語言生成，更是基于人設風格、場景上下文、情緒基調等多模信息的綜合決策。

文本自控的語音合成

在數字人技術逐漸滲透直播、電商、客服等互動場景的過程中，語音合成的自然度正成為決定用戶沉浸感與信任度的關鍵因素。特別是在直播間，觀眾希望聽到的不是生硬的朗誦或機械音，而是一種如同真人主播般富有情緒、節奏自然、具備溝通張力的表達方式。因此，數字人語音的「人味兒」越足，交互的真實感就越強，用戶的接受度和互動意愿也隨之提高。

然而，傳統的語音合成技術往往呈現出字正腔圓但缺乏情感的表達風格，在充滿情緒張力的直播場景中，這種過于規整的聲音反而顯得「出戲」。它無法像人類主播一樣，適時展現語調的抑揚頓挫、節奏的快慢變化，也很難根據商品介紹、互動節奏等變化調整情緒狀態，尤其是在呼吁用戶下單、介紹爆款產品這類關鍵話術環節，傳統 TTS 無法自然表達出情緒遞進和感染力，進而影響整個數字人系統的說服力與親和力。

針對這些現實痛點，百度提出了「文本自控的語音合成」方案，在大語言模型輸出劇本之后，負責語音合成的大模型會結合文本內容、主播風格特點，以及對于細粒度韻律特征表示進行統一處理，這一過程中語音模型不僅知道「要說什么」，更知道「要怎么說」，從而在生成語音時自然帶出情緒波動與語言節奏，使得語音在內容和表達方式上都更貼近真實人類。

例如，在羅永浩數字人直播間中，主播語音高度還原本尊的音色和語調，甚至在直播節奏中展現出自然的停頓、強調和情緒變化。同時，百度還解決了直播中雙人互動的挑戰。現實中，主播之間的配合往往包括打斷、附和、重復等高頻行為，這對語音合成提出了連貫性和互動性的更高要求。為此，百度引入了「對話上下文編碼器」，將歷史對話與當前對話的信息進行語音合成時的統一推理計算，以此實現「雙人配合」的自然過渡。

高一致性超擬真數字人長視頻生成

在數字人直播場景中，形象生成與驅動是當前技術難度最高的環節。首先必須解決多模協同的問題，它涉及多向的信息對齊：劇本對視頻表達提出具體要求，TTS 語音又對視頻節奏與動作生成形成約束，反過來視頻本身還需對語音進行校準，最終需要實現「音、容、話」三者的一致性。

其次，主播在直播中往往伴隨著大量手勢、動作和表情等「高表現力動作」，它們對于強化用戶情緒感染力具有顯著作用，因此在視頻生成階段，不僅要忠實復現語言內容，還需對這些高表現力動作進行準確建模與流暢合成。

在場景交互層面，數字人直播還面臨「人-物-場」自由交互的復雜性。主播需要與商品、背景和空間布局進行符合物理邏輯的互動，例如望向商品、舉起物品或指向展示區等。若缺乏對空間關系的精準理解，極易出現穿模、錯位等破壞沉浸感的瑕疵。

此外，直播時長也放大了技術一致性的難題。一場超 6 小時的直播，任何人物形象的波動、商品定位的誤差以及動作風格的不一致都會直接拉低觀眾體驗。

為此，百度提出了「高一致性超擬真數字人長視頻生成」技術方案，將歷史視頻數據、劇本腳本、語音信息以及骨骼驅動等多模態信號作為輸入，經過多模態視頻分析與理解，分別生成具有高表現力的片段、復雜人 - 物 - 場交互片段以及大動作大表情片段，并在長時序上進行統一調度，從而保證語音、口型、表情與動作始終保持高度同步，實現真正的「音、容、話一致」。

在羅永浩數字人直播項目中，這一技術方案得到了集中體現。羅永浩與朱蕭木均具強 IP 屬性，二者的形象、語言風格、互動節奏都需得到高度還原。同時，整場直播中所涉及的商品種類繁多，體積、位置、用途各異，對人 - 物交互的精度和響應速度提出了更高要求。百度對人物 ID 與商品 ID 進行了獨立建模與保持，使得系統能夠在長時間內容中持續穩定地控制人物表現與商品指向，避免風格漂移與交互誤差，最終實現主播間自然流暢的配合，語言節奏、動作執行和商品展示高度統一的效果。

結語

百度是中國最早押注 AI 底層能力的科技公司之一。

早在十四年前，移動互聯網正值爆發期，「人工智能」仍是實驗室里的晦澀概念，百度就把資源投向了一個看不見回報的領域，這一選擇在當時顯得頗為超前甚至「另類」。

時間給出了答案。ChatGPT 的橫空出世掀起生成式 AI 浪潮，百度緊跟每一個關鍵節點，連續發布重磅大模型成果：從文心 3.0 到文心大模型 4.5，再到融入深度思考能力的 X1 以及升級版 4.5 Turbo，技術體系不斷進化，模型的認知深度和生成能力日益增強。

此次羅永浩數字人帶貨直播，正是文心大模型的一次「最佳實踐」。它不僅彰顯了百度技術的成熟與前沿，更驗證了大模型技術在真實商業場景中的高效與可行。

可以預見，隨著深度思考、知識增強、意圖理解與多角色交互等關鍵能力持續躍升，百度的數字人將愈發擬真與智能。這帶來的不僅是效率提升，更意味著技術投入帶來的商業模式的「無人區」探索和價值重構。