99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

AI音頻生成重要突破!清華×生數科技最新研究被ACM頂會收錄

0
分享至



智東西(公眾號:zhidxcom)

作者| 王涵

編輯| 漠影

智東西7月23日報道,7月11日,清華大學和生數科技發表合作論文,正式推出一種基于免訓練方法的精準時間可控長時文生音頻系統FreeAudio



據介紹,該系統無需額外訓練,可以基于自然語言文本與時間提示實現精確的時間控制與長時音頻生成,突破10秒時長限制,解鎖了10秒以上場景的文生音效時間精準可控

該方法利用LLM對時間結構進行規劃,將文本與時間提示解析為一系列互不重疊的時間窗口,并為每個窗口生成適配的自然語言描述。隨后,FreeAudio再依次生成各時間片段的音頻內容,并通過上下文融合與參考引導機制實現最終的長時音頻合成。

目前相關研究成果已被計算機多媒體領域的國際頂級會議ACM Multimedia 2025錄用,并由AC推薦為Oral錄取。

此前,生數科技曾聯合清華大學推出文生音效系統,自稱是全球首個實現10秒內精準時間控制的商業落地系統,支持獨立時間窗音效生成,其多音軌時間窗可控功能已通過生數科技Vidu平臺落地商用。

一、3大核心技術,FreeAudio系統突破10秒時長瓶頸

文生音頻(T2A)生成技術雖在生成模型推動下取得進展,但受限于時間對齊的音頻-文本數據質量和數量,現有系統在處理含精確時間控制的復雜文本提示時表現不佳。

即便部分研究通過數據增強或引入時間條件實現了10秒內的時間可控生成,生成質量仍有限。此外,多數公開音頻數據集時長較短(通常約 10 秒),且標注較粗,制約了細粒度時間控制和長時連貫性模型的發展。

清華大學和生數科技合作研發的FreeAudio系統,能夠依據自然語言文本與時間提示,無需額外訓練即可同時支持時間控制與長時生成,突破了10秒時長限制,其主要有3大核心技術

1、LLM規劃:

該系統利用大語言模型(LLM)的規劃能力,將文本和時間提示轉換為一系列非重疊時間窗口,每個窗口配有自然語言重新描述,解決時間重疊和間隙問題。



時間可控音頻生成的LLM Planning和Decoupling & Aggregating Attention Control模塊

2、解耦與聚合注意力控制:

在DiT-based T2A模型基礎上,該系統對基礎潛變量按時間窗口分割,引導每個子段與對應重新描述提示獨立進行交叉注意力計算,再將子段聚合整合,實現時間對齊和全局一致性。



長時音頻生成的整體架構圖

3、長時生成優化技術:

(1)上下文潛變量合成:FreeAudio系統通過處理相鄰音頻段重疊區域,增強局部邊界平滑度;

(2)參考引導:在自注意力模塊中,該系統利用參考音頻特征,維持長時音頻的全局一致性;

(3)上下文修剪與拼接:該系統去除重疊區域冗余部分,后將解碼后的段拼接,以生成最終長時音頻。

二、多項指標得分最優,長時生成能力排名第一

在時間可控音頻生成實驗中,在AudioCondition測試集上,FreeAudio系統的事件級(Eb)和片段級(At)得分均排名第一



在客觀指標方面,FreeAudio系統的FAD和KL散度與最優的訓練型模型相當,CLAP分數排名第一。在主觀評估中,FreeAudio系統同樣獲得了最高的時間一致性與音頻可聽性評分。



進一步的消融實驗表明,參考引導技術有效提升了長時音頻的全局一致性,當λ在0.1至0.2范圍內時,各項指標均表現最優,在同類設置中排名第一



在長時生成性能上,針對26秒和90秒生成任務,FreeAudio系統在多數指標上排名第一,在主觀評估中,其質量、一致性和連貫性三個維度的得分均排名第一





三、將繼續研究更長時長機制,FreeAudio或在Vidu產品端上線

此次推出的FreeAudio系統實現了新的技術突破,即突破10秒時長限制,能夠在10秒以上場景中實現文生音效的時間精準控制。

總的來說,該系統解決了多個行業痛點,如避免音效版權風險,解決音效匹配難題;大幅降低音效制作成本;支持多音軌秒級對齊,如環境聲與動物鳴叫可精準疊加等。

據了解,FreeAudio系統未來或將考慮在Vidu產品端上線。研發團隊計劃在未來進一步探索結合自然語言事件描述的訓練式時間控制文本到音頻生成系統,以提升時間對齊精度和音頻生成質量。

在長時音頻生成方面,未來他們還計劃研究支持更長時長甚至無限長生成的機制,同時希望將該方法拓展至空間音頻生成等方向,以支持更多樣的聽覺場景。

結語:FreeAudio系統具備應用潛力

隨著AI音頻生成技術的加速發展,市場對精準時間控制和長時音頻生成的需求日益凸顯,但現有方案在時長限制、版權風險及制作成本等方面仍存在瓶頸。

FreeAudio系統突破了“10秒魔咒”,技術成果獲國際頂級會議認可,為行業提供了新的解決方案。未來隨著商業化落地及技術迭代,其在影視音效等領域的應用潛力值得關注。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
李大釗犧牲后,妻子籌措安葬費,魯迅捐了五十,汪精衛捐了一千

李大釗犧牲后,妻子籌措安葬費,魯迅捐了五十,汪精衛捐了一千

品茗談史論世事
2025-07-24 13:05:33
宗馥莉辦公室:堆滿毛絨玩具,許多孩子主題畫作,太與眾不同!

宗馥莉辦公室:堆滿毛絨玩具,許多孩子主題畫作,太與眾不同!

古希臘掌管松餅的神
2025-07-24 19:29:20
周恩來晚年揭秘:若沒有毛主席,在茍壩紅軍將全軍覆沒!

周恩來晚年揭秘:若沒有毛主席,在茍壩紅軍將全軍覆沒!

巷子里的歷史
2025-07-25 16:57:22
紅星觀察丨戰火重燃,泰國罕見出動6架F-16,柬埔寨發火箭彈,未來局勢會如何?

紅星觀察丨戰火重燃,泰國罕見出動6架F-16,柬埔寨發火箭彈,未來局勢會如何?

紅星新聞
2025-07-24 22:21:08
乒超超大冷門!世界第1林詩棟輸780名趙子豪,一單丟2分心態崩潰

乒超超大冷門!世界第1林詩棟輸780名趙子豪,一單丟2分心態崩潰

嘴炮體壇
2025-07-25 13:16:21
中國留學生作弊被捕,警方公布作案手法日本網友驚呼大開眼界

中國留學生作弊被捕,警方公布作案手法日本網友驚呼大開眼界

今日日本
2025-07-23 14:06:21
東北大學一溺亡學生來自“黃金班”!曾發言感謝中國黃金集團

東北大學一溺亡學生來自“黃金班”!曾發言感謝中國黃金集團

南方都市報
2025-07-25 12:52:09
蘇林清洗風暴中,越南罕見對華亮明立場,數十年來首次如此直白

蘇林清洗風暴中,越南罕見對華亮明立場,數十年來首次如此直白

墜入二次元的海洋
2025-07-25 02:11:53
不簡單!法媒:中國不該建雅魯藏布江電站,歐盟給中國劃2條紅線

不簡單!法媒:中國不該建雅魯藏布江電站,歐盟給中國劃2條紅線

山山視角
2025-07-24 11:45:14
成都?重慶50分鐘,成渝中線高鐵將刷新世界速度

成都?重慶50分鐘,成渝中線高鐵將刷新世界速度

環球網資訊
2025-07-24 16:29:09
24顆衛星僅剩下6顆,全球第二大導航系統名存實亡,只有中國能救

24顆衛星僅剩下6顆,全球第二大導航系統名存實亡,只有中國能救

芳芳歷史燴
2025-07-24 18:11:17
鐘南山強調:空腹血糖不等于安全,要重點關注5項關鍵指標

鐘南山強調:空腹血糖不等于安全,要重點關注5項關鍵指標

今日養生之道
2025-07-25 17:33:32
“牡丹花下死,做鬼也風流”!如今,誰也救不了44歲的宋小寶

“牡丹花下死,做鬼也風流”!如今,誰也救不了44歲的宋小寶

山河月明史
2025-07-08 14:24:38
78歲工地老人的奉勸:晚年請保姆養老時,一定要先講好這3個條件

78歲工地老人的奉勸:晚年請保姆養老時,一定要先講好這3個條件

施工員小天哥
2025-07-24 19:50:35
廣東40歲富婆開勞斯萊斯廣場求婚小男友,失敗后痛苦嚎啕大哭,難

廣東40歲富婆開勞斯萊斯廣場求婚小男友,失敗后痛苦嚎啕大哭,難

探源歷史
2025-07-23 09:57:22
湖南考生625分被四川大學退檔,提檔分619,因不服從調劑沒書讀

湖南考生625分被四川大學退檔,提檔分619,因不服從調劑沒書讀

小義了不休
2025-07-24 17:53:10
美游泳隊宣布:運動員集體食物中毒,希望世錦賽獲得藥物豁免

美游泳隊宣布:運動員集體食物中毒,希望世錦賽獲得藥物豁免

深析古今
2025-07-24 17:52:07
三峽大壩 “賬本” 曝光:運行了 20 余年,2500 億投入如今回本了嗎?

三峽大壩 “賬本” 曝光:運行了 20 余年,2500 億投入如今回本了嗎?

平祥生活日志
2025-07-24 12:09:15
舊衣不送人,舊鞋不亂扔,這3個處理方法,讓你守住自己的財氣

舊衣不送人,舊鞋不亂扔,這3個處理方法,讓你守住自己的財氣

第四思維
2025-07-23 13:09:45
闞清子官宣懷孕后,紀凌塵卻扒出沒刪跟闞清子的合照,評論區笑瘋

闞清子官宣懷孕后,紀凌塵卻扒出沒刪跟闞清子的合照,評論區笑瘋

小徐講八卦
2025-07-25 15:35:21
2025-07-25 20:51:00
智東西 incentive-icons
智東西
聚焦智能變革,服務產業升級。
10196文章數 116807關注度
往期回顧 全部

科技要聞

36款熱門車高危智駕場景測試,“團滅”!

頭條要聞

6人墜入浮選槽后1小時才救出第一人 專業人員回應

頭條要聞

6人墜入浮選槽后1小時才救出第一人 專業人員回應

體育要聞

39歲的落選秀,被稱為NBA最完美的人

娛樂要聞

汪蘇瀧不忍了 !張碧晨痛失《年輪》演唱權

財經要聞

劉煜輝:當下重要不是找確定性而是轉折點

汽車要聞

李斌一口氣講了近3個小時樂道L90 原因是為啥?

態度原創

家居
健康
數碼
手機
藝術

家居要聞

環繞設計 空間動線合理

呼吸科專家破解呼吸道九大謠言!

數碼要聞

復古便攜式磁帶播放器:日本 Maxell MXCP-P100S 發布

手機要聞

紅米新機突然入網:1.5K屏+90W快充,八月份發布

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 茶陵县| 潞城市| 泾阳县| 日喀则市| 福建省| 英吉沙县| 通城县| 六枝特区| 兴国县| 来安县| 岳池县| 洛浦县| 比如县| 漾濞| 宝坻区| 甘德县| 杭锦后旗| 图木舒克市| 于都县| 阜城县| 宜兰市| 金平| 屯门区| 安顺市| 渝北区| 伊川县| 五台县| 盈江县| 仁化县| 五大连池市| 武邑县| 禹城市| 苏尼特右旗| 甘肃省| 湘潭县| 威宁| 铜梁县| 兴海县| 扶沟县| 务川| 克山县|