99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

AI音頻生成重要突破!清華×生數科技最新研究被ACM頂會收錄

0
分享至



智東西(公眾號:zhidxcom)

作者| 王涵

編輯| 漠影

智東西7月23日報道,7月11日,清華大學和生數科技發表合作論文,正式推出一種基于免訓練方法的精準時間可控長時文生音頻系統FreeAudio



據介紹,該系統無需額外訓練,可以基于自然語言文本與時間提示實現精確的時間控制與長時音頻生成,突破10秒時長限制,解鎖了10秒以上場景的文生音效時間精準可控

該方法利用LLM對時間結構進行規劃,將文本與時間提示解析為一系列互不重疊的時間窗口,并為每個窗口生成適配的自然語言描述。隨后,FreeAudio再依次生成各時間片段的音頻內容,并通過上下文融合與參考引導機制實現最終的長時音頻合成。

目前相關研究成果已被計算機多媒體領域的國際頂級會議ACM Multimedia 2025錄用,并由AC推薦為Oral錄取。

此前,生數科技曾聯合清華大學推出文生音效系統,自稱是全球首個實現10秒內精準時間控制的商業落地系統,支持獨立時間窗音效生成,其多音軌時間窗可控功能已通過生數科技Vidu平臺落地商用。

一、3大核心技術,FreeAudio系統突破10秒時長瓶頸

文生音頻(T2A)生成技術雖在生成模型推動下取得進展,但受限于時間對齊的音頻-文本數據質量和數量,現有系統在處理含精確時間控制的復雜文本提示時表現不佳。

即便部分研究通過數據增強或引入時間條件實現了10秒內的時間可控生成,生成質量仍有限。此外,多數公開音頻數據集時長較短(通常約 10 秒),且標注較粗,制約了細粒度時間控制和長時連貫性模型的發展。

清華大學和生數科技合作研發的FreeAudio系統,能夠依據自然語言文本與時間提示,無需額外訓練即可同時支持時間控制與長時生成,突破了10秒時長限制,其主要有3大核心技術

1、LLM規劃:

該系統利用大語言模型(LLM)的規劃能力,將文本和時間提示轉換為一系列非重疊時間窗口,每個窗口配有自然語言重新描述,解決時間重疊和間隙問題。



時間可控音頻生成的LLM Planning和Decoupling & Aggregating Attention Control模塊

2、解耦與聚合注意力控制:

在DiT-based T2A模型基礎上,該系統對基礎潛變量按時間窗口分割,引導每個子段與對應重新描述提示獨立進行交叉注意力計算,再將子段聚合整合,實現時間對齊和全局一致性。



長時音頻生成的整體架構圖

3、長時生成優化技術:

(1)上下文潛變量合成:FreeAudio系統通過處理相鄰音頻段重疊區域,增強局部邊界平滑度;

(2)參考引導:在自注意力模塊中,該系統利用參考音頻特征,維持長時音頻的全局一致性;

(3)上下文修剪與拼接:該系統去除重疊區域冗余部分,后將解碼后的段拼接,以生成最終長時音頻。

二、多項指標得分最優,長時生成能力排名第一

在時間可控音頻生成實驗中,在AudioCondition測試集上,FreeAudio系統的事件級(Eb)和片段級(At)得分均排名第一



在客觀指標方面,FreeAudio系統的FAD和KL散度與最優的訓練型模型相當,CLAP分數排名第一。在主觀評估中,FreeAudio系統同樣獲得了最高的時間一致性與音頻可聽性評分。



進一步的消融實驗表明,參考引導技術有效提升了長時音頻的全局一致性,當λ在0.1至0.2范圍內時,各項指標均表現最優,在同類設置中排名第一



在長時生成性能上,針對26秒和90秒生成任務,FreeAudio系統在多數指標上排名第一,在主觀評估中,其質量、一致性和連貫性三個維度的得分均排名第一





三、將繼續研究更長時長機制,FreeAudio或在Vidu產品端上線

此次推出的FreeAudio系統實現了新的技術突破,即突破10秒時長限制,能夠在10秒以上場景中實現文生音效的時間精準控制。

總的來說,該系統解決了多個行業痛點,如避免音效版權風險,解決音效匹配難題;大幅降低音效制作成本;支持多音軌秒級對齊,如環境聲與動物鳴叫可精準疊加等。

據了解,FreeAudio系統未來或將考慮在Vidu產品端上線。研發團隊計劃在未來進一步探索結合自然語言事件描述的訓練式時間控制文本到音頻生成系統,以提升時間對齊精度和音頻生成質量。

在長時音頻生成方面,未來他們還計劃研究支持更長時長甚至無限長生成的機制,同時希望將該方法拓展至空間音頻生成等方向,以支持更多樣的聽覺場景。

結語:FreeAudio系統具備應用潛力

隨著AI音頻生成技術的加速發展,市場對精準時間控制和長時音頻生成的需求日益凸顯,但現有方案在時長限制、版權風險及制作成本等方面仍存在瓶頸。

FreeAudio系統突破了“10秒魔咒”,技術成果獲國際頂級會議認可,為行業提供了新的解決方案。未來隨著商業化落地及技術迭代,其在影視音效等領域的應用潛力值得關注。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
豪華老頭樂快船11人輪換平均32.7歲只有3人不到30歲

豪華老頭樂快船11人輪換平均32.7歲只有3人不到30歲

直播吧
2025-07-24 09:36:22
印媒:印中需要站在未來的同一邊

印媒:印中需要站在未來的同一邊

環球網資訊
2025-07-24 06:48:43
找工作這么卷了?網傳有主持人簡歷上寫:曾承受過領導長達45分鐘劇烈撞擊

找工作這么卷了?網傳有主持人簡歷上寫:曾承受過領導長達45分鐘劇烈撞擊

可達鴨面面觀
2025-07-23 17:41:16
今天不靈了?羅馬諾的“Here we go”一夜之間翻車兩次

今天不靈了?羅馬諾的“Here we go”一夜之間翻車兩次

懂球帝
2025-07-24 07:26:02
司機拒還910元車費后續:死者不瞑目,司機身份被扒,家屬曝猛料

司機拒還910元車費后續:死者不瞑目,司機身份被扒,家屬曝猛料

鋭娛之樂
2025-07-23 19:12:44
重回23-24主隊!Shams:太陽在澄清期認領了前湖人后衛古德溫

重回23-24主隊!Shams:太陽在澄清期認領了前湖人后衛古德溫

直播吧
2025-07-24 07:18:09
6名大學生溺亡后續!家屬悲痛發聲,父母很崩潰,同學透露更多

6名大學生溺亡后續!家屬悲痛發聲,父母很崩潰,同學透露更多

180視角
2025-07-24 07:38:46
真怒了!王欣瑜罕見賽場爆粗口:一臉兇狠讓人害怕 對手賽后哭了

真怒了!王欣瑜罕見賽場爆粗口:一臉兇狠讓人害怕 對手賽后哭了

風過鄉
2025-07-24 07:08:47
警惕!疫情已出現外溢,患者曾到順德探親!廣東佛山確診超3000例,專家提醒:易造成跨省傳播

警惕!疫情已出現外溢,患者曾到順德探親!廣東佛山確診超3000例,專家提醒:易造成跨省傳播

上觀新聞
2025-07-24 08:47:24
喝了兩次酒就被造黃謠,女生以身入局勾引男方到酒店,開門就是打

喝了兩次酒就被造黃謠,女生以身入局勾引男方到酒店,開門就是打

社會醬
2025-07-23 18:17:33
學校回應“6名學生參觀學習中意外溺亡”:已派人趕赴現場

學校回應“6名學生參觀學習中意外溺亡”:已派人趕赴現場

大象新聞
2025-07-24 09:45:05
讓中國人滾出韓國!中方再也不忍了,一紙嚴正函件送到李在明手上

讓中國人滾出韓國!中方再也不忍了,一紙嚴正函件送到李在明手上

軍哥風云說
2025-07-23 12:14:03
宗啟騄葬禮:杜建英3個娃出殯,宗馥莉拒絕參加,宗慶后氣了1.5年

宗啟騄葬禮:杜建英3個娃出殯,宗馥莉拒絕參加,宗慶后氣了1.5年

古希臘掌管松餅的神
2025-07-23 17:27:09
8年前,那個卷走父親全部300萬積蓄到國外揮霍的18歲女孩,咋樣了

8年前,那個卷走父親全部300萬積蓄到國外揮霍的18歲女孩,咋樣了

趣談人物紀
2025-07-23 12:00:03
擴散!廣東爆發基孔肯雅熱,目前已超2千例確診!啟動緊急防控!

擴散!廣東爆發基孔肯雅熱,目前已超2千例確診!啟動緊急防控!

烏娛子醬
2025-07-23 23:20:03
6名大學生在礦企參觀時因格柵板脫落溺亡,事故各方責任有多大?

6名大學生在礦企參觀時因格柵板脫落溺亡,事故各方責任有多大?

之乎者也小魚兒
2025-07-24 00:49:03
又一百萬網紅塌房!和女友做局架空投資人,給自己親戚開8萬月薪

又一百萬網紅塌房!和女友做局架空投資人,給自己親戚開8萬月薪

胡一舸北游
2025-07-23 22:07:34
最近發現一個奇怪現象,電車沒有干掉油車,卻干掉了汽車修理廠!

最近發現一個奇怪現象,電車沒有干掉油車,卻干掉了汽車修理廠!

錘不倒的拖油瓶
2025-07-24 05:51:28
恭喜!37歲闞清子官宣懷孕,模樣大變胖到認不出,自曝已胖了30斤

恭喜!37歲闞清子官宣懷孕,模樣大變胖到認不出,自曝已胖了30斤

石場阿鑫
2025-07-24 09:31:40
外交降級!泰國將驅逐柬埔寨大使

外交降級!泰國將驅逐柬埔寨大使

魯中晨報
2025-07-23 23:12:13
2025-07-24 11:19:00
智東西 incentive-icons
智東西
聚焦智能變革,服務產業升級。
10189文章數 116806關注度
往期回顧 全部

科技要聞

利潤暴跌42%,馬斯克坦言:特斯拉正處難關

頭條要聞

口袋里的羅馬仕充電寶突然起火 25歲小伙左腿三級燒傷

頭條要聞

口袋里的羅馬仕充電寶突然起火 25歲小伙左腿三級燒傷

體育要聞

兒薩夢成真!巴薩曬視頻 拉什福德笑得合不攏嘴

娛樂要聞

37歲闞清子官宣懷孕,自曝已胖了30斤

財經要聞

中國,這一步棋實在太厲害

汽車要聞

德系大招放盡 場地極限測試全新奧迪A5L

態度原創

藝術
時尚
旅游
手機
軍事航空

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

歲月不敗美人,58歲的妮可·基德曼比20歲的她更好看

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

手機要聞

Epic Games批評CMA對蘋果監管“薄弱”

軍事要聞

美國核彈頭重回英國牽動全球神經

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 米泉市| 桦南县| 旌德县| 丹凤县| 哈密市| 扎兰屯市| 太原市| 新建县| 隆安县| 连山| 江源县| 宁远县| 酒泉市| 军事| 南投市| 满洲里市| 承德县| 勃利县| 喀喇| 定兴县| 南投市| 毕节市| 林周县| 荃湾区| 天柱县| 尚志市| 新闻| 宝兴县| 阳山县| 新乡市| 阿拉善右旗| 河曲县| 东城区| 屏山县| 武鸣县| 乌拉特前旗| 峡江县| 克什克腾旗| 衡水市| 荆门市| 湖州市|