出品丨AI 科技大本營(ID:rgznai100)
AI 正滲透各行各業,前不久,一首由 AI 創作的歌曲火爆出圈,在短短幾天內登上熱歌榜單。AI 正在為音樂愛好者打開音樂創作之門。據 Fortune Business Insights 數據顯示,2023年全球數字音頻工作站(DAW, Digital Audio Workstation)市場規模高達約30億美元,預計2026年約70%的DAW企業將使用AI技術輔助音樂創作。
人人都是音樂創作人的時代來臨了!
《Mureka》AI 音樂人 MV 全網首發,歌手:Mureka;該作品由 AI 生成,其中音樂由 Mureka 生成,視頻由 SkyReels 技術支持生成。
現在用 AI 做音樂到底有多簡單多驚艷?
筆者打開 www.mureka.ai,只需簡單幾個提示詞,點擊創作,一分鐘生成兩個版本的歌曲:
點開這首《童年的夜晚》,旋律柔和動聽,人聲溫柔真摯,咬字清晰,歌詞很貼近提示詞的風格,完全沒有 AI 感,很不錯。
將生成的歌曲下載下來后,小編發現它支持音軌分離下載。普通歌曲下載只有一條音軌,而Mureka 提供音樂生成的獨立的人聲、伴奏等多軌輸出,比如鼓聲、貝斯等,這樣對編曲者來說無疑是二次創作的神器,方便用戶后續混音。
什么?你說提示詞生成是小case啦?來,上難度,點擊高級模式,Mureka 平臺一鍵“以曲生曲”,選擇或上傳參考的音頻,Mureka 也能根據你想要的音樂生成新的音樂了。Mureka 還可以進行“音色克隆”,即使用指定歌手的音色來生成歌曲,例如讓陳奕迅唱劉德華的歌,或者上傳一段10秒自己的聲音,一鍵生成個性化專屬作品,每個人都能成為 AI 歌手“出道”了。
筆者指定歌手選擇一段《舒克貝塔主題曲》,參考歌曲選擇英文兒歌《TwinkleTwinkleLittleStar》,輸入新歌名為《未來智星球》,點擊生成歌詞,再點擊創作,最后生成全新歌曲:
提取舒克貝塔主題曲的人聲,結合《TwinkleTwinkleLittleStar》歡快上揚旋律,生成的歌曲歡快輕松,風格很貼歌詞,很有童年動漫主題曲那味了,不知道的還以為《舒克貝塔》換主題曲了。
下面是用陳奕迅的聲音來生成新的歌曲,是不是以為 Eason 發新專輯了?
除了中文、英語外,想考考 AI 懂不懂其他語言?灑灑水啦,Mureka 比小編厲害多了,支持生成英語、中文、日語、韓語、法語、西班牙語、葡萄牙語、德語、意大利語和俄語這十種語言的歌曲,偶爾嘗試創作不同語言的歌曲也不錯。
例如輸入“類似新褲子樂隊《你要跳舞嗎》風格的日語歌”,Mureka 生成的日文歌《青春的舞步》活力滿滿,歡快悅耳,Get 到新褲子的精髓了,日文歌詞里還穿插一句中文的“你要跳舞嗎?”,呼應原版緊扣題呀!
輸入“創作一首法語香頌,注意體現法國傳統音樂,歌詞詩意、浪漫,音樂有鋼琴、小提琴等經典樂器”,Mureka 生成一首十分浪漫的法語歌,彷佛一位面容精致的女士,正用深邃的眼睛注視著你,輕輕歌唱一個唯美的愛情故事:
筆者還特意機翻歌詞,寫得和羅曼蒂克:
輸入“一首葡萄牙語的桑巴舞曲,歌詞充滿活力,容易上口,讓人想跟著跳動起來,音樂有打擊樂器、銅管樂器的設計”提示詞,生成的這首桑巴,很上手呀:
體驗一圈下來,細心的你可能發現了,小編生成的歌曲帶"V6"、"O1"的標識,在頁面里還可以選擇切換模型:
這幾款音樂模型有什么區別?背后有哪些黑科技來支撐它們生成如此驚艷的歌曲,小編跟大家詳細說說。
超越 Suno,Mureka O1 上大分!
早在 2024 年 4 月,昆侖萬維發布國內首個公開的 AI 音樂生成大模型 Mureka V1(SkyMusic),經過近一年的迭代更新,Mureka 又上新!3 月 26 日,昆侖萬維發布兩款最新大模型:Mureka O1、Mureka V6,表現亮眼。
Mureka V6 采用自研的ICL(in-context learning)技術,顯著提升聲場的開闊感,增強人聲質感和混音效果,支持純音樂生成和十種語言的歌曲生成。而 Mureka O1 是全球首個采用 CoT 技術音樂模型,O1系統以多語言音樂創作、場景化背景音樂生成和先進 AI 音樂編輯為核心功能,大大降低音樂創作門檻,全面重塑音樂創作范式。據悉,目前已有超過 100 個國家和地區的用戶使用 Mureka。
為什么這么說?分享兩組數據:
在最新的音樂評測中,Mureka O1 在最終的整體聽感評測超過 Suno V4。其中樂器演奏法多樣性和配器設計方面超越 Suno V4,Mureka O1 在音質、人聲質感及 BGM 質感上做到提升,為用戶高品質的音樂體驗。
在客觀評測中,Mureka O1 在發音唱對率、樂段準確率、文本相關度、制作質量等客觀指標中,表現均比Suno V4 表現出色。從中我們看到,Mureka O1 已達到行業SOTA水準。
同一套歌詞,對比 Mureka O1 和 Suno V4 實際生成效果, 是不是覺得 Mureka O1 的人聲更跑滿,樂器更豐富呢?
引入 CoT,Mureka O1 讓人驚艷
Mureka O1 表現如此強勁,離不開這項創新黑科技——MusiCoT。在介紹 MusiCoT 之前,我們先簡單介紹 CoT。之前我們在使用大語言模型時,通過系列提示詞可引導模型逐步完成復雜的任務,這是通過“提示鏈”的方式來給模型提供思考路徑,使模型能按照預定的方向進行推理和生成內容。而“思維鏈”(CoT)讓模型模仿人類的思考過程,通過產生一系列中間推理步驟來解決問題,而不是直接給出答案。這種方法有助于提高模型在復雜問題上的表現,增加輸出結果的準確性和可解釋性。
Mureka O1 首次在音樂生成領域應用的 MusiCoT,便是利用思維鏈 CoT 的方式。據《Analyzable Chain-of-Musical-Thought Promptingfor High-Fidelity Music Generation》(項目主頁:MusiCoT.github.io)記錄,不同于傳統自回歸模型逐步生成音頻,MusiCoT 首次在細粒度音頻 token 預測前預生成整體音樂結構,大幅提升生成音樂的結構連貫性與樂器編排精準度,大大提升歌詞旋律契合度、演唱準確性和藝術表現力,同時保持低延時音樂生成。MusiCoT 基于 CLAP 模型,無需人工標注即具備高擴展性,并顯著提高了生成音樂的可解釋性和質量。
如此一來,MusiCoT 可以大大提升音樂模型的表現。例如在音樂生成任務中,模型可以通過一系列中間步驟來決定一個樂句的發展方向、節奏變化或是和弦進行,從而使得最終生成的作品更加有邏輯性和情感表達力。又如可提高個性化定制能力,音樂模型可以根據用戶偏好或特定風格的要求進行更為精細的調整,有助于生成更符合特定需求或風格的音樂作品。
開放 API,共創價值
如果你想更進一步定制更多音樂內容,Mureka 作為業內首批正式提供多種 API 服務的 AI 音樂生成工具,開發者可以直接調用 Mureka 的 API 生成歌曲,同時可以上傳自己的私有數據微調模型,讓模型生成符合數據特征風格的歌曲。通過開放 API,Mureka 與更多人共同探索大模型從“技術爆發”到“價值創造”,幫助大家拓展商業價值。
目前,Mureka 同時開放兩大類靈活的 API 服務,不僅包括音樂音頻生成 API,還有語音合成 API。音樂 API,包括標準音樂生成 API、精調私有曲庫 API,適用于內容創作、游戲配樂、短視頻等多場景應用,也能提供定制品牌音樂、個人專輯等能力;語音 API,包括 AI 語音播客、精品說話人、音色克隆等 API ,用于語音播客、預制精品音色語音合成、音色克隆等場景。
不僅首次開放 API 服務,Mureka 還放大招——全球首批開放模型微調功能,開放基于 Mureka V6 的模型微調服務。大家可以根據自己的數據來訓練專屬音樂模型,有效提升音樂創作效率。Mureka 將嚴格保密數據,不會用于訓練 Mureka 基座模型和泄露給他人。
開放同共建,有朋遠方來。大模型技術的發展從來不是一家企業、一個平臺就能推動的。Mureka 通過開放 API 和模型微調功能,幫助更多音樂人、制作人、品牌和游戲開發者提供定制化的 AI 音樂解決方案,創造更大的價值,共建蓬勃的 AI 音樂開發者生態。
從本次 Mureka 的全新升級來看,諸多音樂生成領域的技術創新均走在世界前沿:MusiCoT、開放 API 平臺和模型微調。這來源于昆侖萬維的戰略,早在 2023 年 4 月,昆侖萬維在 2022 年年度業績報告提到:展望未來十年,昆侖萬維將堅定的“All in”AGI 與AIGC。在 2024 年 1月,昆侖萬維發布全新使命“實現通用人工智能,讓每個人更好地塑造和表達自我”。
昆侖萬維創始人周亞輝表示:“未來三十年,人類社會將從感知線,變成表達線,整個人類社會在自我表達側要翻1000倍;創作和自我表達是未來30年在整個社交和文化領域增長最快的曲線,會有越來越多人表達自我,表達對世界的理解、對社會事物的態度,表達越來越藝術化和趣味化;這種表達在過去很困難,因為工具門檻高,而未來30年是自我表達的30年,我們要用AI把人類創作的門檻降得足夠低,讓人們更充分地實現自我表達。”
【活動分享】2025 全球機器學習技術大會(ML-Summit)將于 4 月 18-19 日在上海舉辦。大會共 12 大主題、50+ 位來自學術界和一線技術實戰派的頂尖專家,聚焦下一代大模型技術和生態變革技術實踐。詳情參考官網:http://ml-summit.org/。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.