99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

模型訓練最重要的依然是 Scaling —— 對話阿里通義千問 Qwen 多語言負責人楊寶嵩 | Open AGI Forum

0
分享至


作者 & 采訪 | 唐小引 Echo Tang

編輯 | 王詩琪、何苗

出品 | GOSIM 開源創新匯

近年來,隨著大模型技術在全球范圍內快速崛起,“出海”成為每家 AI 公司繞不開的話題。在這場激烈的全球競逐中,阿里巴巴通義實驗室研發的通義千問(Qwen)表現尤為搶眼。作為全球開源社區 Hugging Face 上下載量最高的模型之一,Qwen 甚至在歐美用戶中收獲了超越中文用戶的熱情擁躉。這種國際化成功的背后,是通義實驗室在多語言技術上的深度布局與戰略眼光。

在法國巴黎舉行的GOSIM AI Paris大會現場,CSDN&《新程序員》執行總編唐小引阿里巴巴通義實驗室研究科學家楊寶嵩進行了深入交流。作為 Qwen 多語言能力的負責人,楊寶嵩帶領團隊賦予了 Qwen 模型備受稱贊的支持全球119 種語言的能力。采訪中,他透露了Qwen 一開始就將國際化視作核心戰略,優先考慮多語言數據優化,確保全球用戶都能公平享受 AI 帶來的技術普惠。


楊寶嵩指出,大模型出海并非簡單的語言翻譯問題,而是要直面不同語言背后復雜的文化規范和禁忌內容。在多語言安全性與文化對齊方面,團隊專門建立了一整套復雜的文化標注體系,覆蓋上千個細粒度分類,以確保模型內容在全球各地區都安全、合規、有效。這項工作耗費巨大,但楊寶嵩認為意義非凡。

談到多語言大模型技術的挑戰時,他特別指出當前業界普遍存在的“多語言推理難題”。大模型在處理非母語用戶提問時,常常會出現混雜多種語言的情況,這一問題目前尚無模型能夠完美解決。對此,通義團隊采取了折中的策略:在擅長的語言上用原生語言進行推理,而對于低資源的小語種則統一采用英語進行內部推理,力求模型輸出更穩定與一致。

此次專訪也觸及了當前熱門的 Scaling Law(規模定律)問題。楊寶嵩認為,未來持續擴大模型規模和數據量仍然至關重要。但在算力和數據面臨瓶頸的現實情況下,提升數據“知識密度”與利用高質量合成數據將成為新的突破口。正因如此,Qwen 團隊正積極嘗試利用模型生成的數據,持續提升訓練數據質量,以應對規模擴張的瓶頸期。

點擊可觀看完整視頻

以下為對話實錄:

唐小引:大家好,歡迎收看由 GOSIM 主辦的Open AGI Forum欄目,我是來自 CSDN 的唐小引,在法國巴黎舉行的 GOSIM AI Paris 現場,我們很榮幸地邀請到了阿里巴巴通義實驗室研究科學家楊寶嵩老師,和大家一起分享自己的程序人生,以及大家非常關心的通義千問(Qwen)的一些故事和進展。歡迎楊老師,先請您和大家打個招呼并做一下自我介紹。

楊寶嵩:大家好,我是楊寶嵩,來自阿里巴巴通義實驗室。目前主要負責千問及千問系列模型的多語言能力研發,包括機器翻譯能力等。

唐小引:我先講個小插曲,“千問”這個模型英文名“Qwen”到底該怎么讀還有不少的討論,在海外有諧音“Queen”(女王)、“Q wen”的不同發音,能不能從官方角度給我們講一講?

楊寶嵩:其實我覺得大家喜歡怎么叫就怎么叫吧,不過官方的讀法應該就是念作 “Queen”。當然,“Q wen”也挺好聽的。國內的話,大家還是叫“千問”最習慣、最順口。

作者注:英語中的 "Q" 通常發 /k/ 的音,并與后面的 "w" 結合成 /kw/ 的音,就像 “queen”(女王)或“quick”(快的)一樣。國內的發音會比較類似“kun”,而對于不熟悉中文拼音的英語母語者來說,他們則會按照英語的自然拼讀規則來讀,“queen”的諧音就由此而來,也使得不少 AI 開發者一度調侃 Llama 是 King,Qwen 是 Queen。

唐小引:此次來到巴黎參加 GOSIM AI Paris 感受如何?有沒有什么特別的收獲或啟發可以和大家分享?

楊寶嵩:首先,我覺得巴黎是一個非常漂亮的地方,有深厚的歷史文化底蘊,食物也很棒。這次大會在巴黎舉辦,讓我們有機會見到了很多從事開源工作的同行,包括社區里的許多人,比如 Hugging Face 的工程師們。基本上各大開源組織這次都來了。也見到了很多新生代的朋友,有些還在讀碩士、博士,比如像 Llama Factory 的作者等,這次大會真的是一個很好的交流契機。在國內大家平時都在埋頭做研究,其實很少有機會和全球同行面對面深入交流。

唐小引:千問在 Hugging Face 上的下載量非常高,在現場有和 Hugging Face 的工程師交流嗎?

楊寶嵩:對,Hugging Face 的工程師們確實很認可我們國內的開源模型,特別是千問。現在千問在 Hugging Face 上的下載量確實非常大,據我了解,基于千問衍生出來的模型數已經超過十萬個了。

唐小引:沒錯,我們之前統計過,無論大小模型,千問的下載量都遙遙領先。而且我知道,千問在北美(尤其硅谷)影響力很高,在 X 平臺上有很多海外關注者。這次千問來到歐洲的巴黎,您能不能談談千問在中國、歐美的情況?

楊寶嵩:前不久我們開放了 Qwen Chat,發現用戶量最大的其實是英語社區,中文用戶反而并不是排名第二大的。我記得中文好像只排到第三或第四。當時看到這個數據也挺有意思的——這證明千問在整個國際社區中的影響力還是非常大的。

唐小引:作為一個起于中國的模型,中文用戶量居然排不到第二,這是為什么?和你們的策略有關嗎?

楊寶嵩:對,這和我們的策略直接相關。從千問項目啟動之初,國際化就是我們的重要目標之一。我們希望千問能服務全球用戶,而不僅僅是中國用戶。所以在模型訓練的一開始,我們就特別重視讓模型具備多語言能力,面向全球市場去優化。具體來說,在國內做大模型時,我們團隊很早就開始往模型里加入多種語言的數據,訓練一個多語言的基礎模型。即使這么做會犧牲掉一些中英文、代碼或者數學推理方面的性能,我們仍然選擇優先保證模型的多語言效果。這相當于為模型定下了一個調子:千問不是只為中英文優化的,它生來就是面向全球、多語言的。

唐小引:一直以來,Qwen 的多語言能力都是由您來負責與主導,這是由于和您個人的求學背景、從事的 NLP 機器翻譯方向密切相關嗎?

楊寶嵩:沒錯。我大概 2013 年開始踏入機器翻譯領域,當時深度學習才剛剛興起,AI 圈子還沒現在這么熱。但即使如此,那個時候選擇讀博投入 AI 還是需要點魄力的,我們實驗室當時很多師兄弟最后都畢不了業。一直到 2015、2016 年左右,深度學習的浪潮真正起來之后,我們 AI 這一行一下子活躍了起來,可以說迎來了最好的發展時機。

唐小引:對,神經網絡和深度學習那時迎來大爆發。

楊寶嵩:是的。我個人從那時候起一直堅持的研究興趣就是多語言和翻譯方向。即使到現在,我依然在專注做機器翻譯相關的研究工作。之所以對多語言情有獨鐘,是因為我始終覺得對于 AI 來說,或者說對于“技術普惠”來說,多語言是最重要也最值得做的一件事。我們不希望未來世界上只有中美兩國能夠享受 AI 帶來的福利。所以從 AI 平權、讓技術惠及更多不同語言和文化背景的人這個角度,多語言能力是必須要做好的一件事情。這是第一點,我們把格局放大來看。第二點,不管是中國的企業出海,還是各種業務的全球化,多語言翻譯這些技術都是必須長期投入、長期攻堅的能力。

第三點也和我個人興趣有關,我確實覺得這個方向很有意思。在加入阿里之前,我就一直有一個期望:希望在我的職業生涯里能夠實現這樣的場景——戴上一副智能眼鏡或者頭顯出門,所有聽到的外語都能實時翻譯成自己聽得懂的內容,所有看到的文字都自動轉換成你能讀懂的語言。如果是兩三年前甚至五年前來看,這種想法還是非常遙遠的。但大模型出現之后,隨著大模型和視覺、視頻生成、語音識別、TTS(語音合成)這些能力逐步融合到一起,現在已經有非常多的 AI 廠商或者 AI 外設公司開始在做這件事了。我相信這個目標的實現速度會越來越快。

唐小引:千問多語言能力的成功離不開您的長期積累。但在追求卓越多語言能力的過程中,肯定會遇到各種挑戰。能否請您談一談,在打造千問的多語言能力時,您遇到了哪些獨特的挑戰?比如,不同語言有各自復雜的文化背景和內容規范,這些在模型訓練和優化時是如何應對的?

楊寶嵩:做多語言大模型時,我們確實遇到過一些非常棘手的挑戰。我從兩方面來說:首先是數據質量和標注標準的問題。對于一些高資源的主流語言,比如英文、中文,我們有大量數據可以用,模型也容易學到這些語言里的規律和規范。但對于許多小語種來說,可用的數據很少,而且不同語言、不同文化對于內容的禁忌和敏感點也不一樣。

舉個例子,在英文或中文的數據中過濾有害內容也許相對簡單,比如涉黃、涉政信息,有比較明確的標準可以參考,模型訓練時可以通過已有的內容安全模型來識別這些不良信息。但是換成一些其他文化背景的語言就復雜得多。比如阿拉伯語世界,不同國家、不同宗教派別有各自忌諱的內容。某些在一個文化里正常的信息,在另一個文化語境里可能就是禁忌,甚至嚴重冒犯。那對于這些語言的數據,我們如果想做好內容安全和價值觀對齊,就需要付出額外的努力去標注和區分。有些規則可以從英文、中文這些大語種中“遷移學習”過來,用統一標準去過濾。但也有一些跟當地文化習俗密切相關的內容,需要我們專門去理解和處理。我們團隊曾經為多語言內容安全建立過一整套龐大的文化標注體系,涵蓋了可能上千個類目的細粒度標簽,就是為了針對不同語言、不同文化背景下的數據做分類打標。

唐小引:這聽起來需要投入巨大的人工標注和專業知識工作量。

楊寶嵩:是的,確實是一個非常龐雜的工程。這也算是模型出海、多語言化過程中必須啃的硬骨頭吧。好在我們通過一些數據合成的方法,結合人工審核,逐漸建立起了適用于多語言的內容篩查規則和標注標準。這方面的投入雖然大,但我覺得非常值得。如果不做好不同文化的價值觀和禁忌對齊,模型在一些小語種場景下可能就無法真正落地。

唐小引:千問前段時間發布了 Qwen3,我們編輯部也是連夜關注了更新動態。作為千問多語言能力的負責人,在最新版本研發過程中,有沒有什么最讓您頭疼但最終解決(或有所突破)的問題?

楊寶嵩:千問 3.0 在多語言方面其實每一個問題都挺讓人頭疼的。要說其中一個挑戰,我覺得可以講多語言環境下模型推理過程用什么語言這個問題。現在大模型都在強調 “推理” 或 “思考” 的能力,就是 Chain-of-Thought(思維鏈,CoT)。我們最開始也希望模型在用什么語言被提問,就用相同語言去思考和推理。比如用戶用日語問問題,我們理想情況下希望模型內部也是用日語來推理和形成答案,那最后輸出當然也是日語。這聽起來很自然,對吧?

唐小引:按常理這是應該做到的。

楊寶嵩:是的,聽上去是正常邏輯。但實際上我們發現,目前市面上幾乎所有的大模型在這方面都做不到完美。一些模型在啟用了思維鏈后,它的思考過程會混雜多種語言——可能這句話還在用英文想,下一句又蹦出中文或者其它語言。對于用戶來說看到這樣的思維過程是很困惑的。如果模型能力不夠強的話,更極端的情況是思考過程反復來回,用不同語言絮絮叨叨停不下來,導致既浪費算力 token,又影響最后效果。

我們在做千問 3 的時候專門考慮了這個問題,嘗試讓模型嚴格用提問對應的語言進行推理。但后來發現,以當前的技術水平,一些低資源語言(模型不太擅長的語言)的生成和推理能力確實跟不上。強行讓它用那種語言去完整推理,反而可能出 Bug(比如思維鏈卡殼、循環等問題),更影響最終答案質量。

權衡之下,我們目前采用的策略是折中方案:至少保證最后給出的回答(Answer)用用戶提問的語言,而隱藏的思維鏈部分,對于模型特長的語種(模型在那些語言上能力強),我們盡量也用對應語言去做推理;但對于那些模型暫時不太擅長的小語種,我們就干脆統一用一種通用語言(比如英語)來進行思考過程。這至少避免了思維鏈里多語言夾雜的問題,用單一語言思考總比混雜好多種語言要好,讓推理過程干凈一致一些。

唐小引:您這么一說,我深有同感。我自己在使用一些大模型(比如 Claude)時也遇到過類似情況:我用中文提問,它最后回答我是中文,但中間展示的思考過程蹦出了英文,感覺這是大家普遍面臨的問題。那現在有模型完全解決了這個問題嗎?

楊寶嵩:老實說,目前還沒有看到哪個模型做到了這點。而且我覺得這個問題恐怕短期內也很難徹底解決。對于高資源的大語種來說,可能比較容易一些,但涉及到上百種語言讓每一種都用自己的語言進行復雜推理,難度太大了。小語種本身模型掌握的生成能力就弱,推理能力也弱,即使讓它借助英文等強語言來遷移,最后還是需要用小語種輸出復雜邏輯。這種情況下,要模型思維鏈 100%使用對應的小語種,確實是一個極具挑戰性的方向。

唐小引:明白,這也算是多語言大模型推理的下一步難關吧。那回到思維鏈本身,我想接著問一個相關的問題。我們知道有些大模型可以把推理過程顯示出來,就是所謂“思維鏈”。最開始很多人看到模型能展示一步步的思考過程,覺得非常驚艷。但后來大家也發現一個現實問題:這些思維鏈會耗費大量 token,也就是算力和響應長度。對于這個問題,你們在模型設計上有考慮過嗎?有沒有什么改進思路?

楊寶嵩:這個問題現在是大家普遍關注的一個點,我們當然考慮到了。在最新的 Qwen3 模型里,我們做了一些針對性的改進。具體來說,我們融合了兩種對話模式:一種是開啟“思考”的模式,另一種是安靜地不給出冗長思考過程的模式。開發者或者用戶可以選擇開關這個“思維鏈”輸出。此外我們還加入了思考過程長度的控制,也就是可以限定它內部思考最多展開多少步,以防止思維鏈過長變成絮絮叨叨。目前學術界也有很多關于“思維效率”(Efficiency of Thinking)的研究熱點,大家都在探索如何用更短的思考過程達到相同甚至更好的效果,或者根據任務自動判斷需不需要顯式展開思考。我相信這個問題很快會有所突破,因為實在是太多人在研究優化它了,大家都卷進來之后,進展會很快。

唐小引:聽您這么說,感覺接下來在這方面不遠的將來會有改變?

楊寶嵩:我認為會的。因為我已經看到非常多在讀博士、學術界人士,還有很多公司團隊(包括我們自己)都在鉆研這個問題。整個行業一旦卷起來,這個事情應該很快就能得到大幅改進。我猜很快你就不會再被無用的長思維鏈煩惱了。

唐小引:接下來我們聊聊 Scaling Law(規模定律) 和大小模型的問題。當今業界在訓練大模型時,面臨數據和算力上的天花板,很多人都在討論經典的 Scaling Law 是否還能持續有效。您在 GOSIM 的演講中,提到了一個概念:“知識密度”。現在業內也有人討論,模型能力的提升是否可以通過提升訓練數據的知識密度來實現。您是否可以先跟我們講解一下知識密度在大模型中的作用?

楊寶嵩:知識密度簡單理解就是單位數據中蘊含有用知識的濃度。我認為這是一個非常重要的研究方向。這半年多來業界在這方面其實已經有很直觀的體現:你會發現現在參數規模只有 4B 左右的小模型,在很多任務上的效果,可能已經趕上甚至超過半年前、一年前那些 70B 級別大模型的效果。這其中很大程度的收益就來自于我們給模型喂的訓練數據的知識密度和質量提升了。

過去模型訓練可能側重拼數據量、拼參數規模,現在更多人開始關注數據的精細打磨——過濾掉噪音和冗余,壓縮知識點,提高有效信息含量。結果就是模型用更少的數據也能學到同樣甚至更多的東西。所以我覺得提高知識密度本身肯定是大家會持續研究下去的一個技術方向。另一方面,知識密度提升還有一個直接好處是訓練效率提高了。可能原來達到某個指標需要喂給模型 10 萬億詞的語料,現在也許 1 萬億或 2 萬億就夠了。這對于節省算力、降低訓練成本也很重要,這是目前很令人驚喜的一個趨勢。

唐小引:提升知識密度現在算是大家訓練模型時攻關的主要方向之一嗎?

楊寶嵩:我覺得至少是主要方向之一,但未必是唯一最重要的方向。

唐小引:那當前最重要的方向是什么呢?或者說,在提升模型能力方面,排在第一位的突破點是什么?

楊寶嵩:如果從基礎模型(Base Model)的研究角度來看,我個人認為仍然是 Scaling。也就是說,讓模型規模繼續變大、見到更多的數據,這件事本身還是要持續去探索的。包括現在很多人在研究的數據合成,其實某種程度上也是為了服務于 Scaling,可以看作是用另一種方式繼續“喂”模型更多有效數據。所以我心目中排在第一位的依然是擴展模型規模和數據規模(Scaling Law 的延續)。

唐小引:那么在目前算力和原始數據受限的情況下,從您做多語言模型的經驗來看,有哪些辦法可以幫助我們讓 Scaling Law 得以延續?很多人都說,合成數據可能是當前非常有效的一個路徑。您在這方面的思考是怎樣的?

楊寶嵩:合成數據我理解現在主要有兩大方向。第一類方向,是用模型去“創造”新的知識和內容。這是大家最近很關注的一種做法。例如,我們可以讓模型自己生成一些高質量的問題再配上答案,或者基于最新的新聞事件自動總結出一些知識點和推論,用于訓練模型的推理能力等等。簡單說,就是利用模型已有的知識去編造或推演出新的知識來訓練模型。這聽起來有點自我進化的味道,但如果做好了,確實可以進一步提升模型的能力上限,相當于突破原始數據沒有提供的新知識。這是一個很有前景的研究方向。

第二類相對成熟一點,就是提升知識密度相關的合成方法。比如,我們可以讓模型把冗余的數據壓縮一下,提煉出核心內容,或者對重復的、沒價值的數據進行剪裁過濾,使訓練語料“更干凈”。這一類做法直接解決的就是前面提到的知識密度問題。通過模型生成或篩選,讓訓練數據的信息含量更高。總的來說,我覺得數據合成在未來一定是一個非常重要的方向,不管是創造新知識,還是提高知識密度,對延續 Scaling Law 都非常關鍵。

唐小引:的確,現在只要談到大模型訓練,大家幾乎都會提“要不要造數據”。在 NVIDIA GTC 大會上,黃仁勛也特地強調了合成數據對于繼續推動 Scaling Law 的作用。不過合成數據可能帶來另一個問題:如果所有人都用模型生成數據來訓練模型,那么這些模型產出的內容又會被重新爬到互聯網上,進入下一個循環的訓練數據里。長此以往,訓練語料中會混入越來越多 AI 自己生成的東西。這樣一來,模型團隊在訓練時需不需要識別、剔除那些合成的數據呢?會不會出現“模型吃自己的輸出”導致知識面越來越窄的問題?

楊寶嵩:這個現象可以理解為一種“數據回流”問題,確實值得關注。但我的觀點是,首先合成數據這件事歷史上一直存在,并不是有了大模型以后才突然出現的新問題。舉個例子,在 ChatGPT 誕生以前,其實互聯網上早就充斥著大量模板生成的內容和機器翻譯的文本數據。這些嚴格來說也是“合成”的。我們的模型以前訓練也或多或少用了這些數據。所以訓練數據里混入機器生成內容的問題早就有,只是以前大家沒太當回事。現在大模型寫文章比普通人都像模像樣了,大家反而開始擔心它填充了我們的訓練語料。

唐小引:聽您這么一說,我也發現一個有趣的現象:雖然現在大模型很熱,但真正往深里看,其實沒有憑空出現多少“全新的問題”。您看,像強化學習那些概念早在 DeepSeek 帶火之后發展了好多年了;合成數據、幻覺這些話題以前也一直存在。大家好像都在卷大模型新賽道,但底層的技術積累和要解決的問題,卻仿佛是這些年來一直延續的老問題。這是為什么呢?

楊寶嵩:我覺得這說明很多技術或者問題本身并不是突然冒出來的,而是由來已久、水到渠成的。就拿神經網絡來說,這個概念都提出了幾十年了,不也是最近十年才因為算力和數據的突破而大放異彩嗎?以前技術條件不成熟,大家摸索了很久。但一旦時機成熟,老技術也能煥發新活力。所以現在大模型看似新奇,其實背后很多原理和挑戰還是之前的,只不過規模變大了,場景變廣了而已。

唐小引:的確,AI 行業也是幾起幾落起伏發展,神經網絡曾經也坐了幾十年的冷板凳才等到今天的熱潮。面對海量合成數據回流,模型訓練該如何應對?

楊寶嵩:問題的第一面是,合成數據無可避免,會混在訓練數據里,這是現實,沒有必要過度恐慌。第二面是,我們也注意到,大模型生成的很多內容質量并不差,有時候甚至比人寫的還好。那么對我們而言,真正需要過濾和警惕的是什么?無非就是錯誤的信息,或者模型的幻覺產出(瞎編亂造的東西)。除此以外,如果模型生成了一段內容正確、表述清晰的文字,從利用角度看,其實并沒有什么不可以用的。當然,這里有個度的問題,不可能我們訓練數據全都是模型自己寫的,那樣風格和角度都會單一化,對模型長遠發展不利。我之前在做多語言訓練時就觀察到:人類使用語言有非常豐富的多樣性,模型如果老吃自己產出的東西,難免會風格趨同、內容單調,長遠看對語言多樣性和創新是不好的。

所以我們在利用合成數據時也會注意比例,不會讓它淹沒人類數據。同時該過濾的仍然要過濾,比如模型內容里的錯誤和謬誤,我們一定會想辦法去識別和剔除。好在現在也有一些技術手段可以檢測一段話是模型寫的還是人寫的。說到底,大模型生成的內容還是有一些可以識別的特征的。當然模型越來越強,那特征可能會越來越弱,但至少目前來看,這方面研究也在進行。

唐小引:只要合成數據經過你們正常的數據清洗、質量評估,達標了,就可以拿來用,但同時也會控制一個使用比例?

楊寶嵩:沒錯,我們并不排斥模型生成的數據,只要它質量夠高,我們就把它當普通訓練數據用就好了。當然也不會無節制地全用,會混合比例,保證多樣性。現在也有一些研究工作嘗試在訓練時顯式打標簽,比如給合成數據前面加個特殊標記,讓模型知道哪些是 AI 生成、哪些是人類數據,再一塊訓練。最近確實有一些論文在探討這種做法,但我個人覺得沒特別必要一定要做顯式區分。完全可以在預訓練的不同時期用不同的數據源來訓練,這樣達到的效果其實也差不多。所以總的來說,我們不會太糾結某條數據是不是模型寫的,更關注它是不是真實、正確、豐富多樣的。

唐小引:接下來聊聊大小模型的問題。業界不同團隊在模型規模路線上的選擇不太一樣:比如 DeepSeek 一直走的是超大參數模型路線,而像千問以及許多開源模型,基本上大小模型都有布局,近期也發布了好些小模型。您能談談千問在大小模型上的考慮嗎?

楊寶嵩:這其實和每個機構或公司的戰略方向有關。對于阿里來說,因為阿里云和通義實驗室實際上是密切協同的關系,我們需要考慮云上客戶的需求。阿里的很多客戶業務場景是在終端或者邊緣設備上跑的,他們對推理效率、時延有非常高的要求。這種情況下,如果我們的模型只能提供一個上百億、上千億參數的超大模型,顯然無法滿足很多落地需求。所以第一個考慮,我們肯定需要推出小模型,在保證一定能力的前提下盡量精簡,方便部署到各種環境里。其次,從開源和科研的角度,我們也希望不要讓模型規模成為創新的門檻。太大的模型,學術界的老師和同學們沒法跑實驗,普通開發者也用不起。甚至對我們自己來說,訓練和微調一個幾百億參數的模型都已經非常困難了,更別提數千億的。所以為了讓社區生態發展得更繁榮,我們選擇開放小尺寸和中等尺寸的模型,并且持續打磨提升它們的效果。讓更多人可以在千問模型上做二次開發、驗證新想法。這一點上我們最近也挺有成就感的——看到非常多論文、項目開始使用千問模型作為基座。

唐小引:是的,現在不少開源模型提到“基于某某大模型微調”時,都會有千問的名字出現。比如李飛飛團隊的 s1 模型、Manus 據說也是基于 Claude 和千問。

楊寶嵩:這個我們也很高興看到。

唐小引:千問的小模型能夠被這么多成果應用,也說明走“小而精”路線很有價值。您剛才也提到,很多小模型在某些能力上已經可以和大模型相當。這自然讓人想到端側部署的問題——既然小模型足夠強,那把它們放到手機、耳機、眼鏡這些設備上就成為可能。基于您對多語言和模型的研究,千問在端側部署和 AI 外設上有怎樣的規劃和考慮?

楊寶嵩:我們一直在思考布局。其實現在已經有很多廠商在做各種各樣的 AI 外設(設備),比如智能眼鏡、智能耳機,甚至一些家用電器等。這些設備由于算力、功耗限制,往往只能跑很小的模型或者本地推理的模型。它們所需要的功能有些也相對沒那么復雜,比如耳機可能需要做語音識別或者簡單的同聲傳譯,這種場景下也許一個 4B 參數量級甚至更小的模型就能勝任。我們看到的趨勢是,模型在終端側的部署需求會越來越多。千問肯定也會順應這個趨勢,推出適合端側的小模型版本,并針對這些應用場景進行優化。

唐小引:能具體舉個 AI 眼鏡的例子嗎?比如 Meta 的智能眼鏡,我當時很驚喜地看到號稱結合了 Llama 模型的能力,所以立刻買來試了一下。結果不知什么原因,我嘗試跟它語音交互的時候,感覺 Llama 并沒有很好地在發揮作用。目前對我來說,它還只是一個時尚的穿戴設備。我對它的期待其實要高得多——比如我希望戴著它逛盧浮宮時,它能直接用我的語言給我講解眼前蒙娜麗莎的故事;當我看到一幅陌生但有趣的畫作時,它告訴我這是誰的作品,有什么典故和寓意;又比如在異國他鄉,如果周圍有人說我聽不懂的語言,它能實時翻譯告訴我對方在說什么……總之,我理想中的智能眼鏡可以輔助生活工作的方方面面。但是現在來看,它的實際表現離我的期望還差得很遠。

楊寶嵩:這些需求非常典型,而且很有代表性。我認為目前這種智能眼鏡還處在一個起步的階段。早期嘗鮮總是要付出一點代價,智能手機剛出來的時候,第一批 iPhone 用戶也很難想象十多年后手機會如此普及、功能如此強大。AI 外設現在的發展也類似,先從基礎功能做起,隨著軟硬件不斷成熟,再一步步逼近我們的理想目標。一方面,目前硬件層面也許還跟不上,比如電池、算力、網絡連接這些都需要突破。另一方面,軟件層面也在快速演進中。大模型的多模態融合、與外部世界交互(例如工具調用)現在都在積極探索,但確實還沒有完全成熟。所以像您剛才提到的那些場景——多語言的語音翻譯、跨語言的文字識別甚至即時生成展現——目前業內都還在攻關中,算是很有挑戰的課題。

唐小引:您覺得以千問的能力,在現在這個時間點,AI 外設上可以實現到什么程度?您的目標又是希望達到怎樣的效果呢?

楊寶嵩:就目前來看,我了解到的情況是,國內外許多車企、手機廠商以及智能硬件公司都在和阿里云通義團隊合作,嘗試把千問相關的模型能力嵌入他們的設備中。我們實驗室發布過一個 Mobile-Agent 系統,雖然不是我們多語言組負責的,但也是通義實驗室的成果。它相當于是一個基于視覺的智能代理,可以通過“看”來操作手機。比如你對手機說“幫我點一份外賣”,Mobile-Agent 就能模擬人在屏幕上完成點餐的操作。它還能執行一些固定的基本流程,我覺得更復雜的操作很快也能實現,因為確實很多人在做這方面的開發和優化。再比如在智能眼鏡、智能耳機里,其實已經可以做一些定向的視覺識別和語音輔助功能了。

簡單來說,你用眼鏡對著一段文字,眼鏡里可以彈出翻譯后的文字提示——這種基本的文字識別和翻譯,現在技術上已經是可行的。但是,如果你希望眼鏡所見的一切,比如整段文字都實時替換成另一種語言在原環境中呈現(比如把博物館展牌上的法語直接替換成中文顯示在你眼中),這里面還存在很大的難題。涉及到圖像中文字的渲染、Diffusion 生成這類技術,特別是對于一些非拉丁字母的小語種文字,生成效果目前還不夠理想。我之前看過一些最新的嘗試,生成的替換文字常常奇形怪狀,像一堆小蟲子在爬,遠沒有達到可以實用的程度。

不過,我認為這可能在一兩年內會出現突破。畢竟這些問題很多人都在研究,一旦有方法可行,應用層面推進會很快。另外,像您提到的耳機同傳(同聲傳譯),其實現在相關技術相對成熟一些。對于大部分主流語言之間,我們已經可以做到語音輸入 -> 實時翻譯 -> 目標語言語音輸出,還有文字轉寫等功能。只是如果涉及一些非常小眾的語言,把語音翻譯成文字顯示,可能效果還受限于語言的數據量不足。這又回到多語言的老問題了,小語種缺少數據,模型就很難訓好。這部分體驗暫時還有提升空間。

唐小引:剛剛我們聊的是把模型塞進各種智能設備里。我還蠻好奇系統級整合這個話題。現在大家都很期待手機、電腦的廠商能不能把大模型直接集成進操作系統層面。畢竟目前我們用手機上的 AI 模型,大多是裝各種 App(比如通義、ChatGPT、Gemini 等),用起來和系統原生體驗區別挺大,模型和操作系統的結合現在進展到什么程度了?

楊寶嵩:目前來看,應該說大部分功能在技術上都可以集成到系統里,但是有一些過于開放的能力,現在還不敢放到系統層面去。一是因為大模型偶爾還有幻覺、錯誤,做不到百分之百可靠。把這樣不確定性的東西深度集成,很可能出現不可控的問題。但我認為要視場景而定:絕大多數交互場景,其實并不需要 100% 準確率。相比以前的 Siri,現在大模型給你的響應即使偶爾不完美,但在理解你的意圖、陪伴交流上已經是巨大的飛躍了。所以語音助手這一塊的發展非常快。接下來真正難點是那些需要強確定性和安全性的操作,這部分可能短時間內還是得保守一點。

唐小引:是的,比如現在大家討論的端側 AI 主要集中在手機和汽車兩個場景。手機上更多是數據隱私和安全的問題,但汽車上涉及人身安全,您認為車載結合大模型和現在很熱的 Agent 技術,會帶來什么樣的變化?以及在安全層面,該如何看待?

楊寶嵩:我先聲明,我不是直接做車載 AI 的,這方面只是個人觀點。我認為汽車里有非常多地方可以應用 AI,但不代表所有部分都要上大模型。像車內的語音助手,開關窗、調節空調這些指令,用大模型來做其實挺方便的,用戶體驗會比傳統固定命令好很多。再比如車載導航、出行規劃這塊,其實也可以引入大模型來增強體驗。舉個場景:假設我對車里的 AI 說“我現在在巴黎,待會想去吃午飯,然后下午隨便逛逛,你給我推薦幾個不錯的餐館和景點并規劃路線”。傳統導航軟件只能一個功能一個功能來,你得自己搜索、看評價、再設導航。有了大模型代理, 它可以幫你把這些鏈條式的任務都串起來:先在后臺調用點評類的服務搜附近餐廳,篩選高評分又符合你口味的;選好餐廳后再調用導航服務自動幫你設好路線。

整個過程,大模型就像一個調度者或者高級助手,真正執行導航的還是原來的導航軟件,但用戶這邊體驗就是一句話搞定。我相信這種場景下,大模型未來大有用武之地——它擅長理解你的復雜意圖,擅長在不同工具和服務之間做決策、做操作。至于您提到的安全問題,比如自動駕駛那種和人身安全強相關的,我個人覺得短期內大模型不會貿然直接介入。自動駕駛涉及的傳感器處理、控制系統那些,有各自成熟的方案,不一定要用大語言模型來做。大模型更適合做人機交互、輔助決策這一塊。所以安全方面,至少交互層面的安全是可以通過不斷改進模型、設置防御策略來保障的;而駕駛控制層面的安全,我估計業界還是會謹慎,讓大模型該做決策時做決策,該交回專業系統時就交回去。

唐小引:現在看來,像您說的娛樂信息和交互需求上用大模型沒問題,但真正涉及車輛駕駛決策,大多數人還是持保留態度。這部分我們也拭目以待后續行業怎么發展。

楊寶嵩:是的,安全永遠是重中之重。

唐小引:最后我想問個總結性的問題。從您個人經歷來看,您是從機器翻譯一路做到現在大模型的多語言能力研發,可以說見證了 AI 在語言領域的幾次階段性跨越。現在很多人討論“大模型會不會取代 XX”的話題。我想請您談談“取代”這件事的好與不好。比如以翻譯為例,現在我們已經能用 AI 實現相當不錯的機器翻譯和同傳,那么對于人工翻譯從業者來說是危機,對行業來說又是機遇,對大眾則是福利。您怎么看待這種技術替代帶來的機遇和挑戰?

楊寶嵩:我分兩方面來說。首先,就機器翻譯這個領域本身來說,大模型的出現并沒有替代機器翻譯,它只是成為了機器翻譯里面的一種新技術路線,就像當年統計機器翻譯被神經機器翻譯替代一樣,現在神經網絡又升級成大模型來做翻譯。本質上講,機器翻譯是一個長期的需求和問題領域,而大模型的引入讓我們能夠探索更多可能性,解決以前解決不了的問題。比如覆蓋更多的小語種,支持圖像、視頻這類多模態的翻譯,甚至做到實時的語音同傳等等。這些新能力拓展了機器翻譯的邊界,也使得這個行業會發展的更好、更有價值。所以我不覺得大模型是毀掉了機器翻譯行業,相反,它給這個方向注入了新活力,最終會造福更多的人。

至于對人工語言工作者(譯員、同傳等)的影響,我覺得至少目前為止,可以把大模型視作效率工具,就像程序員看待代碼自動補全、代碼生成工具那樣。我們為什么一定要每天苦干十個小時呢?能不能像法國人那樣,下午三點就去悠閑遛狗?我的意思是,如果 AI 工具能提高我們的生產力,我們就應該擁抱它,把重復繁重的部分交給 AI,自己則提升技能去做更高價值的事情。當然,這需要整個社會和用人單位觀念的轉變。如果只是單方面要求從業者又要用 AI 又要加量不加價,那肯定會引起焦慮和不公平。不過長遠看,我相信優秀的人工翻譯、作家這些創意和語言領域的人才,反而更不容易被取代。因為這些工作產出的評價標準是“好不好”,而不是簡單的“對或錯”。代碼不對就是不對,AI 把它寫對了那程序員的價值確實被取代了一部分。但翻譯、寫作不太一樣,有時候 AI 翻譯出來是正確但平淡,而人類翻譯能夠融入更多巧思、文采,那客戶還是會選人類的作品。所以真正頂尖的語言專家我認為更容易保住飯碗,甚至比程序員更安全。

唐小引:您這一番話本來是想安慰一下大眾,讓大家別過度焦慮,結果 CSDN 上的程序員們聽完可能更焦慮了。

楊寶嵩:哈哈,其實也不用焦慮。我覺得未來肯定也會出現新的職位和機會。就像我剛才舉的例子,以后可能會有一種新的程序員,叫 AI 編程師或者 Prompt 工程師之類的,專門負責和各種 AI 打交道,幫 AI 更好地完成任務。這有點類似現在大家說的各種 Agent 調度。最近很熱的 MCP 協議其實就是讓不同模型、工具協同工作。未來懂得把不同 AI 工具組合起來解決復雜問題的人,會非常搶手。這其實也是一種新的開發工作,只不過對象從傳統的代碼邏輯變成了如何編排多個 AI 協同。

唐小引:說到這點,確實像您提到的,現在已經有一些 AI 編程/AI Agent 平臺在做類似的事了。例如 Cursor 等開發工具,其實就可以直接調用各種模型和插件,幫開發者完成復雜任務的編排。國內很多團隊也在鉆研這一塊。所以您說的“新程序員”這個角色,其實現在已經在雛形階段了。

楊寶嵩:是的,本質上和當前的探索是一樣的。我想強調的是,隨著 AI 能力在各行各業、各類設備中鋪開,這方面的人才需求只會越來越多。當智能手機、汽車、眼鏡等等底層的 AI 接口和協議都成熟完善后,在上面開發各種 AI 應用就會變得非常容易且繁榮。那時候所謂的“AI 應用開發工程師”估計比現在的移動開發、Web 開發還要常見,這個領域大有可為。

唐小引:說得很好。節目最后,我們再把目光拉回您最擅長的多語言 AI 這一塊。對于您,以及所有致力于多語言大模型研究的從業者來說,目前已經取得了哪些成果?接下來還希望突破的核心難題是什么?也請您展望一下未來要重點攻克的方向。

楊寶嵩:當前大模型在多語言方面的整體進展,相對慢于比如數學、編程這些熱點方向。在行業討論熱度上,多語言沒有那么風口浪尖,但它其實又非常重要。以我們千問為例,現在可以做到的階段性成果是:對于那些高資源語種(數據足夠豐富的語言),模型基本能理解指令,進行比較流暢的對話和回答。這算是實現了一定程度的“多語言通用能力”。

但是有兩大問題我覺得目前還沒有解決,甚至短期內都不一定能完全解決:首先是不同文化的對齊問題。剛才咱們也提到,比如同樣問“晚上吃什么”,中國用戶期望的回答和阿拉伯用戶期望的可能完全不同——前者可能期待一些本地美食建議,后者還得考慮清真不清真、宗教禁忌等等。未來作為一個 AI 助手,要在角色扮演、情感陪護以及各種場景下都滿足不同文化用戶的需求,這對模型來說很難。我們最近做了一些評測也能發現,現在很多大模型體現出的“文化”和“價值觀”要么就是很東方化,要么就是很英美化(盎格魯-撒克遜化)。這其實說明模型在文化多樣性上還有很大提升空間。

唐小引:您覺得這個問題可以解決嗎?

楊寶嵩:相對來說是能解決的。可以通過一些強化學習和價值觀對齊的方式去調整模型在不同文化下的表現。當然這里面有一個更深層的難點是知識覆蓋。也就是說模型腦子里對不同文化背景的知識儲備。這可能需要通過擴大數據規模、提升模型參數,或者接入 RAG(Retrieval Augmented Generation,即檢索增強生成)等手段來補充。

但目前來看,多文化對齊還不算最棘手,真正不太好解決的是我接下來要說的第二點——各語言的生成能力。簡單說,就是讓模型說不同語言的時候是不是夠自然、夠像人。在一些大語種上(比如中英文),大家可能覺得現在大模型輸出已經挺像人了,但其實仔細一用還是會發現有時候不太地道或者風格怪怪的,更別提那些小語種了。全世界有上千種語言,而目前大模型真正能比較流暢地支持生成和翻譯的可能也就幾十種,占比不到 1%。絕大多數語言,大模型最多能做到“聽得懂”,但很難“說得好”。要讓模型用每一種小語種都寫出像模像樣的段落,這條路還很長。

而且說實話,這個問題很難解決。因為根據我們的研究和經驗,生成這件事情非常依賴 Scaling,也就是依賴海量的數據和超大的模型。但偏偏在多語言上,Scaling 遇到了嚴峻挑戰——很多語言它就是沒有那么多數據給你。所以未來我想一定要靠合成數據這條路,或者甚至跨模態的遷移,把其它模態(比如語音、圖像里的信息)轉化為文本數據來豐富小語種。這方面我們也在積極思考和嘗試。

唐小引:這些是您眼前就已經顧得上的“頭疼問題”嗎,還是說覺得它更像是長遠的戰略難題?

楊寶嵩:既是長遠的,也是眼前正在著手做的。我們作為研究人員,一方面要有長期攻關的意識,另一方面遇到問題該解決還是得解決,不能因為難就不管。目前這些方向我們團隊都有投入,人手再緊也得硬上。

但這也正是科研的有趣之處,有挑戰才有動力。除了剛才說的兩個,我認為還有第三個大問題,就是多語言和多模態的融合。這塊現在業內研究的還比較少。比如,讓模型識別圖片里的多語言文字、或者生成多語言的語音和字幕,甚至對于不同口音、方言的理解和生成,這些都是才剛起步。我相信以后圖像、語音和文本會越來越結合,而語言又有這么多種類,這里面肯定還有很多文章可做。

唐小引:聽起來您是在呼喚更多的研究者趕緊加入一起攻克這些難題啊!

楊寶嵩:確實是希望有更多人一起努力。在千問項目上,我們選擇把模型開源出來,提供一個高性能的基礎模型,目的也是希望整個開源社區能夠和我們一道把事情做好。其實我們自己也從開源社區受益良多。比如一些優秀的數據集項目像 FineWeb、CulturaX,都是社區貢獻的,讓我們能獲取到更高質量的多語言訓練數據;還有各種各樣的 Benchmark 和數據過濾技術,這些都是社區智慧的結晶。

可以說,只有大家一起共建,這些多語言長期難題才能解決得更好。我也不覺得光靠我們千問團隊,或者光靠某個巨頭的閉門團隊,就能把 AGI 實現了。這一定需要成百上千、乃至上萬的科學家和開發者同心協力,才可能最終達成目標。就拿我前面提到的多語言數據問題來說,比如 FineWeb 2.0 那個項目,他們為了清洗互聯網數據,就每種語言都找母語專家或眾包人員去制定過濾規則,甚至訓練專門的分類模型來過濾數據。這種資源和投入對我們一個團隊來說太難了,但靠社區的力量就能完成。這正是開源共建的價值所在。

唐小引:這就是開源的魅力!讓我們一起 Enjoy 開源,Enjoy AI 吧!非常感謝楊老師今天帶來如此深入而精彩的分享!也感謝各位觀眾的觀看。歡迎大家持續關注 GOSIM 的 X、YouTube、B 站等賬號,我們將不斷為大家奉上更多來自開源與 AI 前沿的技術分享和觀點見解。本期節目就到這里,我們下次再見啦。

GOSIM 下一站預告9月13-14 日,GOSIM 將和全球伙伴們相約杭州加入 GOSIMGOSIM HANGZHOU 2025 講師團議題申報截止時間:2025 年 8 月 15 日 24:00

GOSIM 杭州站官網 :


https://hangzhou2025.gosim.org/

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
甜瓜:比斯利是史上最有天賦的球員之一 他并未被真正尊重過

甜瓜:比斯利是史上最有天賦的球員之一 他并未被真正尊重過

直播吧
2025-07-23 17:57:59
杭州余杭受影響用戶7月份水費全免

杭州余杭受影響用戶7月份水費全免

界面新聞
2025-07-23 17:49:15
深圳最新人事任免發布

深圳最新人事任免發布

南方都市報
2025-07-23 20:53:42
周恩來祭拜孫中山,得知守靈人20年未發餉,總理問:他給你多少錢

周恩來祭拜孫中山,得知守靈人20年未發餉,總理問:他給你多少錢

與史說
2025-07-23 12:12:43
老人扎堆乘涼,肯德基損失過萬,警方沒有辦法,老人一語說出關鍵

老人扎堆乘涼,肯德基損失過萬,警方沒有辦法,老人一語說出關鍵

鋭娛之樂
2025-07-22 23:31:40
上海郊區小鎮,全面崩盤

上海郊區小鎮,全面崩盤

魔都財觀
2025-07-23 07:41:49
廣東2個孩子被燒死在爺爺家中!繼奶容貌曝光!身體火辣,僅34歲

廣東2個孩子被燒死在爺爺家中!繼奶容貌曝光!身體火辣,僅34歲

魔都姐姐雜談
2025-07-23 14:08:40
惡魔基因天生壞種?母親執意生下“超雄”兒子,長大后驚嚇全部人

惡魔基因天生壞種?母親執意生下“超雄”兒子,長大后驚嚇全部人

冰雅憶史
2025-07-21 11:38:31
8年前,那個卷走父親全部300萬積蓄到國外揮霍的18歲女孩,咋樣了

8年前,那個卷走父親全部300萬積蓄到國外揮霍的18歲女孩,咋樣了

趣談人物紀
2025-07-23 12:00:03
石破茂辭職,日本變天!日本極右翼得勢,中國嚴陣以待

石破茂辭職,日本變天!日本極右翼得勢,中國嚴陣以待

哲叔視野
2025-07-23 18:12:27
19歲小伙錯付1010元打車費索要無果后自殺,家屬起訴司機案開庭,上海交通委已介入

19歲小伙錯付1010元打車費索要無果后自殺,家屬起訴司機案開庭,上海交通委已介入

極目新聞
2025-07-23 16:43:52
讓中國人滾出韓國!中方再也不忍了,一紙嚴正函件送到李在明手上

讓中國人滾出韓國!中方再也不忍了,一紙嚴正函件送到李在明手上

軍哥風云說
2025-07-23 12:14:03
53歲性感女神驚爆真空上陣露古怪胸型!豐滿上圍下垂到肚臍

53歲性感女神驚爆真空上陣露古怪胸型!豐滿上圍下垂到肚臍

粵睇先生
2025-07-23 00:55:58
咸魚一條狗賣26000:特會配,一次四十分鐘,男生勿擾

咸魚一條狗賣26000:特會配,一次四十分鐘,男生勿擾

丫頭舫
2025-07-23 10:27:36
謝尚果被撤職

謝尚果被撤職

極目新聞
2025-07-23 19:32:34
曝深圳14歲女學生被同班男生殺害,連捅26刀手段殘忍,母親曝原因

曝深圳14歲女學生被同班男生殺害,連捅26刀手段殘忍,母親曝原因

180視角
2025-07-23 16:49:24
市監部門回應“上海和平飯店罐裝可樂一杯賣50元”:屬市場調節價,只要消費者愿意買單

市監部門回應“上海和平飯店罐裝可樂一杯賣50元”:屬市場調節價,只要消費者愿意買單

極目新聞
2025-07-23 18:30:14
A股跳水原因找到了!1.2萬億股民買單了?今晚關注特朗普重磅行動

A股跳水原因找到了!1.2萬億股民買單了?今晚關注特朗普重磅行動

看財經show
2025-07-23 16:56:53
和平湖市委書記聊了一個半小時,他提了106次上海

和平湖市委書記聊了一個半小時,他提了106次上海

上觀新聞
2025-07-23 19:43:51
英偉達大跌!黃仁勛持續減持,近一個月套現約2億美元

英偉達大跌!黃仁勛持續減持,近一個月套現約2億美元

每日經濟新聞
2025-07-22 22:42:08
2025-07-24 00:24:49
CSDN incentive-icons
CSDN
成就一億技術人
25804文章數 242100關注度
往期回顧 全部

科技要聞

別自嗨了!XREAL徐馳:AI眼鏡只有5歲智商

頭條要聞

印度、孟加拉關切雅魯藏布江下游水電站工程 中方回應

頭條要聞

印度、孟加拉關切雅魯藏布江下游水電站工程 中方回應

體育要聞

英格蘭最紅球星 也是加勒比島國驕傲

娛樂要聞

汪峰森林北同游日本 各帶各娃互不耽誤

財經要聞

律師解析娃哈哈遺產案:遺囑是最大變數

汽車要聞

德系大招放盡 場地極限測試全新奧迪A5L

態度原創

教育
本地
親子
公開課
軍事航空

教育要聞

黑龍江考生389分撿漏雙一流鄭州大學

本地新聞

這雙丑鞋“泰”辣眼,跪求內娛不要抄作業

親子要聞

醫學科普中醫脾胃育兒

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

美國核彈頭重回英國牽動全球神經

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 临邑县| 阿合奇县| 中牟县| 五寨县| 南京市| 肃南| 福建省| 双峰县| 凤冈县| 温泉县| 新营市| 宁蒗| 桑植县| 新河县| 唐海县| 屯留县| 石楼县| 黔东| 武汉市| 衢州市| 安新县| 灵台县| 凤凰县| 琼中| 湘阴县| 苏尼特右旗| 宝丰县| 娱乐| 武宣县| 诏安县| 昔阳县| 双流县| 桦川县| 武定县| 广德县| 清水县| 文登市| 葵青区| 唐河县| 广西| 吉水县|