6 月 16 日，騰訊 AI Lab 推出并開源 SongGeneration 音樂生成大模型，專注解決音樂 AIGC 中音質(zhì)、音樂性與生成速度這三大共性難題，基于 LLM-DiT 的融合架構(gòu)，模型在保持生成速度的同時，顯著提升了音質(zhì)表現(xiàn)，生成歌曲的準確度相較部分商業(yè)閉源模型表現(xiàn)出相當甚至更優(yōu)的質(zhì)量，同時在整體表現(xiàn)、旋律、伴奏、音質(zhì)與結(jié)構(gòu)等維度也優(yōu)于現(xiàn)有多數(shù)開源模型。

此外，SongGeneration模型還支持文本控制、多軌合成與風格跟隨等功能，既滿足面向 C 端創(chuàng)作者的可玩性，又兼具 B 端的穩(wěn)定性與拓展性，構(gòu)建出面向未來的音樂 AI 生產(chǎn)力工具。

圖 1 商業(yè)模型主觀評測結(jié)果

圖 2 開源模型主觀評測結(jié)果

相較于傳統(tǒng)基于規(guī)則或小型模型的方式，基于大模型的音樂生成模型在旋律的長程連貫性、潛在風格遷移能力以及音色建模的表達維度上，展現(xiàn)出更強的泛化能力和生成潛力。AI 音樂創(chuàng)作正從過去的 “輔助工具” 邁向 “智能共創(chuàng)” 的新階段，被廣泛應(yīng)用于短視頻配樂、游戲音效、虛擬人演出、商業(yè)廣告以及個人音樂創(chuàng)作等場景。

當前主流音樂生成大模型雖已初步實現(xiàn) “文本到音樂” 的生成能力，但仍面臨一系列關(guān)鍵瓶頸。在此背景下，騰訊 AI Lab 推出 SongGeneration 音樂生成大模型，專注解決音質(zhì)、音樂性與生成速度這三大共性難題。

SongGeneration 預期目標分為技術(shù)與應(yīng)用兩個層面：在技術(shù)層面，致力于實現(xiàn)業(yè)內(nèi)領(lǐng)先的音質(zhì)表現(xiàn)、音樂性與生成速度，支持多語種歌詞輸入、一鍵式歌曲生成、風格遷移等任務(wù)，全面適配中英文流行、嘻哈、古風、電子等多樣化曲風；在應(yīng)用層面，推出面向開源社區(qū)的友好版本，廣泛賦能內(nèi)容創(chuàng)作平臺、虛擬人項目、游戲廠商以及音樂人創(chuàng)作流程，構(gòu)建開放、靈活、可持續(xù)的音樂 AI 生態(tài)系統(tǒng)。SongGeneration 音樂大模型的推出不僅代表著技術(shù)能力的躍升，更是對 “人人皆可創(chuàng)作” 這一音樂未來愿景的堅實回應(yīng)與有力推動。

一、模型性能及效果展示

SongGeneration 已支持多項核心功能，均可在開源版本中方便調(diào)用。這些功能不僅在操作上簡潔直觀，更在生成過程中提供了高度的可控性，使用戶得以在 “AI 輔助創(chuàng)作” 中真正擁有主導權(quán)。以下是其主要功能概覽：

• 文本控制：用戶僅需輸入關(guān)鍵詞文本（如 “開心 流行”、“激烈 搖滾”）即可實現(xiàn)風格與情緒控制，SongGeneration 會基于輸入文本生成高質(zhì)量的完整音樂作品。
• 風格跟隨：用戶可自行上傳 10 秒以上的參考音頻，SongGeneration 會自動生成風格一致的全長新曲，覆蓋流行、搖滾、中國風、“神曲” 等多種流派。生成歌曲在保持風格一致性的同時，擁有較好的音樂性表現(xiàn)。
• 多軌生成：SongGeneration 能夠自動生成分離的人聲與伴奏軌道，同時保證旋律、結(jié)構(gòu)、節(jié)奏與配器的高度匹配。
• 音色跟隨：SongGeneration 支持基于參考音頻的音色跟隨功能，生成歌曲具備 “音色克隆” 級別的人聲表現(xiàn)，聽感自然、音質(zhì)出眾的同時，兼具卓越的情感表現(xiàn)力。
• 
  

二、技術(shù)方案

SongGeneration 訓練架構(gòu)包含數(shù)據(jù)管線和生成模型兩部分。首先 SongGeneration 搭建了一套包含了音伴分離、結(jié)構(gòu)分析、歌詞識別等模塊的音樂數(shù)據(jù)管線，通過管線可以從原始音頻中得到準確的歌詞數(shù)據(jù)，同時獲得結(jié)構(gòu)、曲風、音質(zhì)等標簽數(shù)據(jù)，然后把這些數(shù)據(jù)送入到生成模型中進行訓練。

圖 3 SongGeneration 訓練架構(gòu)

訓練得到的生成模型 SongGeneration，總參數(shù)量僅為 3B 左右，隨后在海量中英文歌曲上進行了預訓練。如圖所示，它由 codec、LM、FM、VAE 等部分組成，每個模塊都是單獨訓練的。其中 codec 和 LM 在模型中起著舉足輕重的作用。

Music Codec，模型參數(shù)約為 1B，用于對音樂進行編解碼，能以超低比特率將 48kHz 的雙通道音樂壓縮成 25Hz 的離散表征，并實現(xiàn)高保真的還原。

Music LM，模型參數(shù)約為 2B，用于根據(jù)用戶指令（歌詞，文本描述，音頻提示）生成完整的歌曲。

基于這兩個組件，SongGeneration 可以高效地根據(jù)用戶指令生成 48kHz 采樣率的音樂。

圖 4 SongGeneration 模型架構(gòu)

三、技術(shù)創(chuàng)新點

這一節(jié)中主要介紹 SongGeneration 的實現(xiàn)細節(jié)，以及在以下四大領(lǐng)域內(nèi)突破性的技術(shù)創(chuàng)新。

1、低比特率音樂編解碼

Token 作為音樂生成系統(tǒng)的核心橋梁，不僅承擔著語言模型的預測目標，還直接決定了高質(zhì)量雙通道音樂的還原效果。鑒于語言模型在長序列預測過程中容易產(chǎn)生幻覺現(xiàn)象，并且預測誤差會隨序列長度的增加而累積，因此，編解碼器的設(shè)計需在保證音樂信息高質(zhì)量重建的前提下，盡可能降低碼率和比特率，從而減輕語言模型的預測難度，并提升音樂還原的整體質(zhì)量。

音樂生成中的編解碼一直是業(yè)界公認的難題，主要體現(xiàn)在以下幾個方面：

• 復雜的成分結(jié)構(gòu)：與僅包含人聲的語音不同，音樂融合了豐富的背景伴奏與人聲，兩者之間存在復雜的相互作用和和諧關(guān)系。相比只需關(guān)注單一聲學特征的語音或聲學事件，音樂的多元成分使得建模難度大大提升。
• 龐大的數(shù)據(jù)量：高品質(zhì)音樂通常為 44.1kHz 或 48kHz 的雙通道格式，而傳統(tǒng)語音僅為 16kHz 單通道。以 4 分鐘的完整歌曲為例，48kHz 雙通道音樂的數(shù)據(jù)量幾乎是 16kHz 單通道語音的 6 倍。以常見的 75Hz 編碼器為例，其編碼整首歌曲的長度高達 153,600，這極大增加了語言模型的建模壓力，直接影響音樂生成的效果。
• 聲學與語義的雙重橋接：與傳統(tǒng)音頻編解碼不同，音樂生成的編解碼不僅要保留足夠的聲學特征以實現(xiàn)高質(zhì)量還原，還需包含豐富的語義信息以便語言模型準確預測。單一關(guān)注聲學或語義特征都難以滿足音樂生成的復雜需求。

針對上述挑戰(zhàn)，SongGeneration 創(chuàng)新性地提出了業(yè)內(nèi)開源模型中最低比特率、最低碼率的雙通道 48kHz 高質(zhì)量音樂編解碼器。SongGeneration 的音頻編解碼器實現(xiàn)了在僅 25Hz 的極低碼率和 0.35kbps 的超低比特率下能夠達到目前最好的音樂重建效果，極大減輕了語言模型的建模負擔，為高質(zhì)量音樂生成提供了堅實基礎(chǔ)。

此外，為了更精準地建模人聲與伴奏的關(guān)系，SongGeneration 設(shè)計了兩種創(chuàng)新的編碼模式：混合軌道和雙軌道。混合軌道模式將人聲和伴奏進行統(tǒng)一建模，整體編碼音樂信息，確保人聲與伴奏的和諧與連貫；而雙軌道模式則將人聲與背景音樂分別獨立建模編碼，使兩者的細節(jié)表現(xiàn)更加清晰，使得重建更高質(zhì)量的音樂。

2、多類別 token 并行預測

在 SongGeneration 之前，主要的學界工作偏向于采用雙軌預測策略來解決音樂中人聲和伴奏聯(lián)合建模的問題，并且通過交錯預測模式緩解了二者之間的干擾。但分別預測的人聲和伴奏會出現(xiàn)嚴重的不和諧，嚴重影響到用戶聽感，且交錯模式帶來的序列長度倍增問題進一步限制了這類方法的可擴展性。為解決這個問題，SongGeneration 首個提出了 “混合優(yōu)先，雙軌其次” 的多類別 token 并行預測策略。

具體來說，SongGeneration 首先通過一個語言模型對混合 token 進行預測，指導旋律、節(jié)奏、節(jié)拍等高級結(jié)構(gòu)信息的整體安排，確保人聲與樂器的和諧。在此基礎(chǔ)上，SongGeneration 通過一個擴展的自回歸解碼器進一步建模雙軌 token，以捕捉人聲和伴奏軌道各自的細粒度的變化從而提升音質(zhì)和音樂性。兩個模塊之間以隱藏向量作為橋梁緊密連接，在不顯著增加序列長度的情況下既實現(xiàn)了并行預測，又避免了 token 之間的相互干擾。

3、多維度人類偏好對齊

由于歌曲生成領(lǐng)域可用的數(shù)據(jù)集長期以來一直面臨質(zhì)量極不均衡和音樂標注不可靠的問題，目前開源的音樂生成大模型的效果和魯棒性都受到了限制。一方面，在這種質(zhì)量參差不齊的數(shù)據(jù)上訓練的模型雖然能夠生成歌曲，但無法學習到關(guān)于音樂性的先驗知識，導致生成的歌曲難以符合聽眾的偏好。另一方面，不可靠的標注嚴重影響了模型遵循用戶指令的能力，這不僅導致了較高的音素錯誤率（PER），也嚴重影響到了提示驅(qū)動的控制能力。在自然語言處理和圖像生成領(lǐng)域，這個問題經(jīng)常通過高質(zhì)量數(shù)據(jù)微調(diào)或強化學習來解決。但高質(zhì)量、高音樂性的歌曲由于版權(quán)限制無法獲取，且相比于預訓練數(shù)據(jù)數(shù)量要少很多；音樂標注需要專業(yè)的音樂知識和背景，且具有多個維度的需求，這兩種辦法都難以直接應(yīng)用到音樂生成領(lǐng)域。

SongGeneration 是業(yè)內(nèi)已知首個對齊了多維度人類偏好的音樂生成大模型，以較低的成本有效提升了由于數(shù)據(jù)匱乏導致的音樂性問題和指令遵循問題。我們重點關(guān)注了對用戶使用體驗具有顯著影響的音樂性偏好，歌詞對齊偏好和提示一致性偏好。SongGeneration 首先設(shè)計了一種低成本的半自動數(shù)據(jù)構(gòu)建方法，針對上述三種偏好生成分別生成了對應(yīng)的大規(guī)模偏好數(shù)據(jù)對。

• 音樂性偏好：通過少量人工標注評分數(shù)據(jù)訓練的獎勵模型區(qū)分勝負對
• 歌詞對齊偏好：通過預訓練的 ASR 模型計算音素錯誤數(shù)構(gòu)建勝負對
• 提示一致性偏好：通過 MuQ-MuLan 計算的文本-音頻以及音頻-音頻相似度構(gòu)建勝負對

隨后，SongGeneration 提出了一種基于插值的直接偏好優(yōu)化（DPO）以同時解決歌詞對齊、提示一致性和音樂性等挑戰(zhàn)。此外，該方法還支持通過可控的插值系數(shù)實現(xiàn)性能的平滑過渡，以滿足特定需求。

4、全新的三階段訓練范式

針對歌曲生成的復雜性和數(shù)據(jù)稀缺的特點，SongGeneration 提出了一種全新的三階段訓練范式，以進一步優(yōu)化基于語言模型的音樂生成：預訓練、模塊化擴展訓練和多偏好對齊。

• 預訓練：在大型音樂數(shù)據(jù)集上僅訓練語言模型，以初步對齊不同條件輸入與音樂表征之間的模態(tài)。在此階段，AR 解碼器被凍結(jié)，以便語言模型專注于混合 token，為生成多樣性和人聲與樂器和諧性奠定基礎(chǔ)。
• 模塊化擴展訓練：訓練模型中的擴展模塊（如自回歸解碼器），使其能根據(jù)混合 token 中預先確定的音樂結(jié)構(gòu)知識并行建模雙軌 token，從而提升音質(zhì)和音樂性。為保留預訓練知識，預訓練階段中訓練的所有模塊（語言模型）被凍結(jié)。
• 多偏好對齊訓練：以模塊化擴展訓練階段獲得的模型為基礎(chǔ)，整合半自動的數(shù)據(jù)構(gòu)建方式和多維度人類偏好對齊，使模型在能生成音樂的基礎(chǔ)上進一步朝遵循人類指令，生成好聽的音樂演變。針對不同的需求可以考慮使用不同的差值系數(shù)以平衡不同的偏好。

四、評測方案和結(jié)果

在評測環(huán)節(jié)，SongGeneration 聯(lián)合中國傳媒大學音樂與錄音藝術(shù)學院蕭萍副教授 AI 音樂科研團隊，建立了一套基于客觀分析和主觀感知的評價體系，并對 SongGeneration 和三款商業(yè)模型（Suno v4.5、海綿音樂、Mureka O1）、四款開源模型（YuE、DiffRhythm、ACE-Step、SongGen）的音樂生成表現(xiàn)進行了全方位的主客觀評測。評測涵蓋音樂性、音質(zhì)等多個關(guān)鍵維度，能夠全面反映模型在音樂生成中的綜合表現(xiàn)。

• 客觀工具評測（第三方開源模型評測）：
• 制作質(zhì)量（PQ）：側(cè)重于音頻的技術(shù)質(zhì)量，而非主觀感受。評估要素包括清晰度與保真度、動態(tài)范圍、頻率分布以及空間化表現(xiàn)等。
• 制作復雜度（PC）：關(guān)注音頻場景的復雜性，通常通過音頻成分的數(shù)量來衡量。
• 內(nèi)容欣賞度（CE）：涉及音頻的情感沖擊力、藝術(shù)技巧、藝術(shù)表現(xiàn)力以及聽眾體驗等方面。
• 內(nèi)容實用性（CU）：評估該音頻作為內(nèi)容創(chuàng)作素材的可用性或使用可能性。

• 主觀人工評測（普通用戶 + 專業(yè)音樂人評測）：
• 旋律（MEL）：評估旋律的動聽程度、情感表達能力以及音樂線條感，是否與整體風格或預期相一致。
• 伴奏（HAM）：伴奏的色彩豐富度、配器的多樣性與協(xié)調(diào)性，以及與主旋律之間的融合程度。
• 結(jié)構(gòu)（SSC）：樂句起止與過渡是否自然清晰、段落結(jié)構(gòu)的可識別性、相似段落的合理重復，以及節(jié)奏的穩(wěn)定性。
• 音質(zhì)（AQ）：音頻是否飽滿、清晰，是否存在雜音或底噪，同時考察人聲與各類樂器的辨識度及其音色還原程度。
• 歌詞準確度（LYC）：歌詞與演唱內(nèi)容的匹配度，包括是否存在多字、少字、歌詞錯配等問題，以及音樂段落中是否出現(xiàn)不自然的重復或機械循環(huán)。
• 整體表現(xiàn)（OVL）：綜合感知旋律、伴奏、音樂結(jié)構(gòu)、音質(zhì)表現(xiàn)與歌詞準確度等多個要素后，對音樂作品產(chǎn)生的總體喜愛程度。
• 
  

表 1 客觀對比評測

表 2 主觀對比評測

整體結(jié)果顯示，SongGeneration 在開源模型中穩(wěn)居第一，在商業(yè)模型中也位列前茅，具備顯著的競爭優(yōu)勢。

在客觀測評的橫向?qū)Ρ戎?，SongGeneration 在 CE（內(nèi)容欣賞度）、CU（內(nèi)容實用性）和 PQ（制作質(zhì)量）三個維度中均位列榜首，在 PC（制作復雜度）維度也處于領(lǐng)先位置。這表明 SongGeneration 不僅具備較高的技術(shù)完成度與音頻呈現(xiàn)質(zhì)量，還在藝術(shù)表達力、主觀愉悅感和潛在應(yīng)用價值方面展現(xiàn)出強勁的綜合能力，能夠兼顧聽覺體驗與實際創(chuàng)作需求。

主觀評測中，SongGeneration 在歌詞準確度上超越了包括 Suno 在內(nèi)的一眾大模型，這體現(xiàn)出其在語音與文本對齊能力上的顯著優(yōu)勢，也反映出其在內(nèi)容生成細節(jié)處理方面的成熟度。

在旋律、伴奏、音質(zhì)和整體表現(xiàn)等維度，SongGeneration 同樣處于領(lǐng)先位置，與 Suno 最新發(fā)布的 V4.5 版本難分高下。這表明，SongGeneration 不僅在音樂性表達上細膩動人，在音質(zhì)層面也表現(xiàn)出業(yè)內(nèi)頂尖的清晰度與層次感，具備媲美主流商業(yè)模型的綜合生成能力。同時，模型在生成音樂的結(jié)構(gòu)維度也做到了開源第一，并與商業(yè)模型難分伯仲。清晰且富有層次的結(jié)構(gòu)不僅有助于旋律與伴奏的展開，也能增強整體音樂的連貫性與情感表達，從而提升聽眾的沉浸感與記憶點。

五、體驗方式和地址

目前，SongGeneration 模型已登陸 Hugging Face，歡迎在線體驗！同時，全部模型權(quán)重與代碼已全面開源 ，誠邀大家下載、復現(xiàn)、微調(diào)，并提出寶貴的意見。此外，AI Lab 長期開放多模態(tài)大模型、自適應(yīng)自演進 agent、音樂生成等方向的算法崗位，歡迎優(yōu)秀人才加入。

• Huggingface：
• https://huggingface.co/tencent/SongGeneration
• Code：
• https://github.com/tencent-ailab/SongGeneration
• 論文：
  
• https://arxiv.org/abs/2506.07520
• SongGeneration 模型體驗地址：
• https://huggingface.co/spaces/tencent/SongGeneration

圖 5 SongGeneration 使用指南