始智AI wisemodel.cn開(kāi)源社區(qū)

始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)。正在，歡迎加入共同成長(zhǎng)。wisemodel社區(qū)上線，最新上線4090資源不限量，價(jià)格實(shí)惠，靈活方便，支持在線微調(diào)訓(xùn)練模型，及和，并。

在當(dāng)今數(shù)字化時(shí)代，語(yǔ)音識(shí)別技術(shù)已成為人機(jī)交互的關(guān)鍵橋梁，廣泛應(yīng)用于智能客服、語(yǔ)音助手、會(huì)議轉(zhuǎn)錄等眾多領(lǐng)域。然而，對(duì)于東方語(yǔ)言的識(shí)別如越南語(yǔ)、緬甸語(yǔ)等，現(xiàn)有模型往往表現(xiàn)不佳，難以滿足用戶的需求。

為解決這一難題，清華大學(xué)電子工程系語(yǔ)音與音頻技術(shù)實(shí)驗(yàn)室（SATLab）聯(lián)合海天瑞聲，共同推出了一款專為東方語(yǔ)言設(shè)計(jì)的語(yǔ)音大模型Dolphin。

該模型核心亮點(diǎn)以豐富數(shù)據(jù)為基石，擁有總時(shí)長(zhǎng)21.2萬(wàn)小時(shí)的訓(xùn)練數(shù)據(jù)，其中包含13.8萬(wàn)小時(shí)海天瑞聲高質(zhì)量專有數(shù)據(jù)與7.4萬(wàn)小時(shí)開(kāi)源數(shù)據(jù)，實(shí)現(xiàn)對(duì)東方40個(gè)語(yǔ)種及中文22種方言（含普通話）的廣泛支持。

在海天瑞聲、Fleurs、CommonVoice三大測(cè)試集下，與Whisper同等尺寸模型相比，base、small、medium、large版本的平均詞錯(cuò)誤率（WER）分別大幅降低63.1%、68.2%、67.7%、60.6%。

同時(shí)，base與small版本模型及推理代碼全面開(kāi)源，其中Dolphin開(kāi)源的small版本較Whisper large v3，平均WER降低54.1%，以優(yōu)異性能與開(kāi)放共享的姿態(tài)，為語(yǔ)音識(shí)別領(lǐng)域樹(shù)立新標(biāo)桿 。 目前 已 上線始智AI-wisemodel開(kāi)源社區(qū)，歡迎體驗(yàn)。

模型地址

https://wisemodel.cn/models/lijp22/dolphin-base

https://wisemodel.cn/models/lijp22/dolphin-small

01.

創(chuàng)新技術(shù)架構(gòu)

1、模型結(jié)構(gòu)

Dolphin網(wǎng)絡(luò)結(jié)構(gòu)基于CTC-Attention的架構(gòu)、E-Branchformer的編碼器和Transformer解碼器，并引入了4倍下采樣層，以實(shí)現(xiàn)高效的大規(guī)模多語(yǔ)言語(yǔ)音識(shí)別模型的訓(xùn)練。

CTC-Attention架構(gòu)結(jié)合了CTC的序列建模能力和注意力機(jī)制的上下文捕捉能力，能夠有效提升模型的識(shí)別準(zhǔn)確性和效率。E-Branchformer編碼器采用并行分支結(jié)構(gòu)，能夠更有效地捕捉輸入語(yǔ)音信號(hào)的局部和全局依賴關(guān)系，為模型提供了更豐富的特征表示。

解碼器部分則采用了在序列到序列任務(wù)中表現(xiàn)出色的Transformer，能夠生成高質(zhì)量的文本輸出。為了進(jìn)一步提高訓(xùn)練效率和性能，我們?cè)谀Ｐ椭幸肓?倍下采樣層。這一層可以減少輸入特征的序列長(zhǎng)度，從而加速計(jì)算過(guò)程，同時(shí)保留關(guān)鍵的語(yǔ)音信息，確保模型的識(shí)別效果不受影響。

2、多任務(wù)格式

Dolphin 借鑒了 Whisper 和 OWSM 的創(chuàng)新設(shè)計(jì)方法，但專注于ASR 進(jìn)行了若干關(guān)鍵修改。

Dolphin 不支持翻譯任務(wù)，并且去掉了previous text及其相關(guān)標(biāo)記的使用，這簡(jiǎn)化了輸入格式并減少了潛在的復(fù)雜性。

Dolphin引入了兩級(jí)語(yǔ)種標(biāo)簽系統(tǒng)，以便更好地處理語(yǔ)言和地區(qū)的多樣性。第一個(gè)標(biāo)簽指定語(yǔ)種（例如 、 ），第二個(gè)標(biāo)簽指定地區(qū)（例如 、 ）。

這種分層方法使模型能夠捕捉同一種語(yǔ)言內(nèi)不同方言和口音之間的差異，以及同一地區(qū)內(nèi)不同語(yǔ)言之間的相似性，從而提高了模型區(qū)分密切相關(guān)的方言的能力，并通過(guò)在語(yǔ)言和地區(qū)之間建立聯(lián)系增強(qiáng)了其泛化能力。

02.

強(qiáng)大的數(shù)據(jù)基礎(chǔ)

Dolphin的訓(xùn)練數(shù)據(jù)集整合了海天瑞聲的專有數(shù)據(jù)和多個(gè)開(kāi)源數(shù)據(jù)集，總時(shí)長(zhǎng)超過(guò)20萬(wàn)小時(shí)，涵蓋40個(gè)東方語(yǔ)種。

其中，海天瑞聲數(shù)據(jù)集包含137,712小時(shí)的音頻，覆蓋38個(gè)東方語(yǔ)種。這些高質(zhì)量、多樣化的數(shù)據(jù)為模型的訓(xùn)練提供了堅(jiān)實(shí)的基礎(chǔ)，使其能夠更好地適應(yīng)不同語(yǔ)言和方言的語(yǔ)音特征。

03.

卓越性能表現(xiàn)

通過(guò)精心設(shè)計(jì)的架構(gòu)和大規(guī)模的訓(xùn)練數(shù)據(jù)，Dolphin在多種語(yǔ)言上的詞錯(cuò)誤率（WER）顯著低于現(xiàn)有開(kāi)源模型。

例如，在海天瑞聲數(shù)據(jù)集上，Dolphin base模型的平均WER為31.5%，small模型為24.5%，medium模型為22.2%；在CommonVoice數(shù)據(jù)集上，Dolphin base模型的平均WER為37.2%，small模型為27.4%，medium模型為25.0%。

即使與Whisper large-v3模型相比，Dolphin在模型規(guī)模更小的情況下，性能也更為出色。以中文為例，Dolphin中模型的WER僅為9.2%，而Whisper large-v3模型為27.9%。

在KeSpeech （包含一個(gè)普通話子集和八個(gè)中國(guó)方言子集）測(cè)試集上，Dolphin模型表現(xiàn)出了卓越的效果：

04.

快速體驗(yàn)

• 一鍵安裝

pip install -U dataoceanai-dolphin

• 命令行調(diào)用Dolphin

dolphin audio.wav

# Download model and specify the model path
dolphin audio.wav --model small --model_dir /data/models/dolphin/

# Specify language and region
dolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN"

# padding speech to 30 seconds
dolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN" --padding_speech true

• Python使用Dolphin

import dolphin

waveform = dolphin.load_audio("audio.wav")
model = dolphin.load_model("small", "/data/models/dolphin", "cuda")
result = model(waveform)
# Specify language and region
result = model(waveform, lang_sym="zh", region_sym="CN")
print(result.text)

Dolphin的開(kāi)源只是起點(diǎn)，未來(lái)語(yǔ)音與音頻技術(shù)實(shí)驗(yàn)室與海天瑞聲將繼續(xù)探索更大規(guī)模模型的訓(xùn)練，以實(shí)現(xiàn)更廣泛的語(yǔ)言覆蓋和更卓越的性能。同時(shí)，我們也將優(yōu)化模型以適應(yīng)低延遲和實(shí)時(shí)應(yīng)用場(chǎng)景，使其在更多領(lǐng)域發(fā)揮價(jià)值。

----- END -----

wisemodel相關(guān)：

系統(tǒng)升級(jí)：

大賽報(bào)名：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開(kāi)源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來(lái)，逐漸成為影響力日益擴(kuò)大的中立開(kāi)放的AI開(kāi)源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開(kāi)發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開(kāi)發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過(guò)添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開(kāi)源社區(qū)

始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。

向上滑動(dòng)查看