作者林易
編輯重點君
劃重點:
1、HonestAGI團隊發布一項名為“模型指紋”的研究欲證明華為盤古大模型抄襲阿里Qwen,但由于方法過于簡單粗暴、團隊和參考文獻存在造假嫌疑被質疑其真實性。
2、在華為諾亞方舟實驗室官方做出回應之后,一位自稱內部員工人士發表長文《盤古之殤》揭露華為盤古大模型涉嫌套殼、續訓、洗水印,將抄襲風波再次推向高潮。
3、在技術快速迭代的時代,如何建立更加科學、透明的模型評估機制,如何在激烈競爭中保持技術誠信,如何在開源合作與商業利益間找到平衡,這些都是行業必須直面的課題。
整整一個周末,圍繞著“華為大模型抄襲”的話題持續不斷地躍入大眾的視野。
事件的主角是華為于6月30日正式開源的盤古大模型(Pangu Pro MoE),起因則是由HonestyAGI在GitHub中發布的一項研究,通過論文式的推理證明盤古大模型抄襲了阿里巴巴的通義千問Qwen-2.5 14B模型。
在這項研究中,HonestAGI提出了通過分析模型注意力參數的標準差模式來識別“模型指紋” (LLM-Fingerprint)的方法,并基于此對華為Pangu Pro MoE模型的來源進行了分析。
研究中的關鍵發現,便是華為Pangu Pro MoE模型與Qwen-2.5 14B的標準差模式相關性高達0.927,這就表明其可能基于Qwen-2.5“升級改造”而非從頭訓練。
除此之外,HonestAGI還發現盤古大模型官方在GitCode中發布的代碼中,還異常地包含了Qwen 2024的許可證。其意在指出,盤古大模型團隊所用到的“transformers”組件的版權歸屬于Qwen團隊、阿里巴巴集團和HuggingFace團隊。
這項研究一經發布便引發了不少的爭議,有人認為它通過種種證據已經算是實錘了盤古大模型抄襲Qwen;但另一方面,也有人對“指紋”方法的專業性提出了質疑,更是在項目的Issues中產生了對峙之勢。
那么這項研究到底夠不夠靠譜,盤古大模型團隊到底有沒有抄襲,重點君在整理完全部事件的來龍去脈之后,單從技術角度分析認為,HonestAGI這篇研究確實存在較多的可疑點?,F在,我們就帶大家一同深入了解。
具體指出了哪些證據?
HonestyAGI提出的模型 “指紋” 是一種用于識別和區分模型的技術,旨在為模型提供獨特標識,以解決模型知識產權保護、來源追溯和相似性分析等問題。不同的模型 “指紋” 方法在實現方式和應用場景上各有差異。
團隊針對大型語言模型,通過分析各層注意力參數(Q、K、V、O投影矩陣)的標準差(σ)形成 “指紋”。對每個Transformer層提取相關矩陣計算標準差,再跨層歸一化生成特征簽名,這種方法就可以用來識別模型譜系。其特征包括:
·魯棒性:能在大量持續訓練后保留。
·內在性:由模型架構自然產生。
·簡單性:僅需對參數矩陣使用torch.std()計算。
QKV偏置分析結果如下圖所示:
從結果來看,Pangu與Qwen2.5-14B的Q、K、V投影偏差模式幾乎相同,早期層出現特征性峰值后收斂,而這個設計是Qwen 1-2.5代獨有的特色,多數開源模型(包括Qwen3)已棄用。
對注意力層的歸一化權重進行分析后,進一步印證了它們之間的相似性。盤古和Qwen2.5-14B在各層的表現趨勢非常一致,呈現出類似的初始化方式和收斂過程,這也讓它們在行為上明顯區別于像Qwen2-57B-A14B和Qwen3-30A3B這樣的其他模型。
除此之外,團隊正在研究每一層的激活值大小。為此,HonestAGI從The Pile測試集中隨機抽取了1000個批次的樣本(https://pile.eleuther.ai/),并計算了每層的激活范數,同時采用了統一的歸一化方法。每個批次包含8條序列,長度為1024。目前初步結果已經公布,顯示盤古模型和文心模型的表現依然相似,說明它們在計算方式上有很大的相似之處。
為了驗證“模型指紋”是不是存在偶然性,HonestAGI還對Qwen和混元A13B進行了對比,結果發現兩者在不同層級的內部表現差異很大,說明它們的架構和學到的知識表示完全不同。顯然,HonestAGI提供這組對比數據,是為了證明它的測試方法是可信的。
不過也正如重點君在此前提到的,許多人對HonestAGI團隊提出的“模型指紋”方法,在技術層面上提出了質疑。
有人認為這個方法過于簡單粗暴,存在cherry picking(選擇性挑選數據)的空間,且使用參數標準差來判定模型相似度并不科學。在深度學習領域,模型結構創新更重要,模型參數更多依賴算力和數據,華為有足夠算力重新訓練大模型,沒必要套用Qwen的參數。
并且“模型指紋”存在多處缺陷,如僅公開少量模型對比樣本,缺乏大規?;鶞蕼y試;相同參數量的 MoE 模型可能因架構約束產生相似曲線,不能僅憑相似曲線判定抄襲;論文核心假設缺乏權威文獻支撐等。
除此之外,對于“模型指紋”研究團隊,網友們也提出了質疑。原論文作者除這篇文章外沒有其他科研成果,聯名的五個人既沒有留郵箱,也無法在Google Scholar上找到任何信息,且作者自稱是韓國學生,卻使用outlook郵箱,說話有中式英語味道,懷疑作者身份是假的。
更重要的一點是,引用的參考文獻中竟然還存在多處不實的參考文獻,以至于有人認為全篇文章極有可能是用AI來生成。
對于這次抄襲風波,涉事的“主角”盤古Pro MoE背后的團隊也在第一時間站出來發出了聲明做回應。強調了他們是全球首個面向昇騰硬件平臺設計的同規格混合專家模型,創新性地提出了分組混合專家模型(MoGE)架構;并且部分基礎組件的代碼實現參考了業界開源實踐,涉及其他開源大模型的部分開源代碼,是嚴格遵循開源許可證的要求。
而且若是對比著來看兩篇技術報告,雖然他們均采用MoE架構優化計算效率,結合大規模預訓練與多階段微調提升能力,且關注長上下文和多任務泛化;但Pangu Pro MoE是以“硬件-架構協同設計”為核心,而Qwen2則是以“模型通用性與多語言能力”為核心;前者聚焦負載均衡與Ascend硬件適配,后者側重專家設計與模型規模擴展。
總結來看,重點君認為HonestAGI團隊首先在算法上僅將QKVO參數標準差組合在一起向量特征來計算大模型之間的相似,方法過于簡單了些,在嚴謹性和科學性上確有偏頗;其次,從開源標準方面來看,華為也公開回應了其是遵守開源標準來執行,這無可厚非。
目前HonestAGI團隊也下架了最初的研究(聲稱再完善后發布),僅根據這項研究或許并不能實錘華為盤古大模型抄襲了阿里Qwen,但這次的風波卻并沒有因此而結束。
一篇《盤古之殤》再引熱議
就在昨天,一篇名為《盤古之殤:華為諾亞盤古大模型研發歷程的心酸與黑暗》的文章在GitHub上走紅,僅一天時間便攬獲2.5K Star(還在持續增長中)。
僅從標題就不難看出這是一篇華為內部員工的匿名舉報信,曝光了盤古大模型背后的“造假”內幕。事情的起因正是華為盤古大模型被曝抄襲阿里Qwen,這讓一位自稱盤古團隊成員的員工再也忍不住了。他決定站出來爆料內部的真實情況,哪怕可能因此丟掉工作。
按照這位員工的說法,華為內部確實存在大規模的“套殼”行為。所謂套殼,就是拿別人家的模型,稍微改改包裝,然后說成是自己研發的。比如他們的135B模型,其實就是拿阿里千問110B改的,連代碼里的名字都懶得改,還叫"Qwen"。最近爭議很大的72B模型,也是用千問的模型訓練出來的。
據這位員工描述說,更讓人氣憤的是工作環境,他們這些真正做技術的人非常辛苦,經常要去蘇州出差,一去就是幾個月,和家人分離,工作強度巨大。但辛辛苦苦做出來的成果,卻經常被其他部門輕松拿走,然后貼上別人的標簽。真正干活的人累死累活,搶功勞的人輕輕松松,這種不公讓很多優秀的技術人員選擇了離職。
當然,這位員工也承認,華為確實做出了一些真正的技術成果,比如在自家芯片上訓練出了一些從零開始的模型。但這些真實的努力往往被造假行為掩蓋了,讓認真做事的工程師感到心寒。他說自己也準備離職了,再也不想在這樣的環境里工作,他也希望通過爆料能讓華為認識到問題。
相比于HonestAGI的“模型指紋”,這一次網友們的評價并沒有出現一邊倒的情況。一部分網友認為文章中的一些技術細節描述較為具體,有一定的可信度;但也有用戶指出文章可能存在情緒化、片面性等問題,部分觀點缺乏足夠的證據支持,如“內部分析”等表述過于模糊。
截至發稿,華為諾亞方舟實驗室官方并沒有對這篇文章做出正面回應。但這場圍繞華為盤古大模型的爭議,早已超越了單一事件的范疇,折射出AI行業在爆發式發展中的深層矛盾。
從技術層面看,“模型指紋”方法的爭議核心在于:當大模型的參數規模突破千億級,架構創新與參數迭代的邊界愈發模糊,如何用科學標準界定“原創”與“借鑒”?在算力與數據壁壘高筑的當下,純粹的“從零開始”研發是否已成為小概率事件?在AI企業普遍面臨“模型迭代速度競賽”的背景下,如何平衡商業目標與技術誠信,也是在考驗著每個團隊的價值選擇。
結語
華為盤古大模型抄襲爭議,本質上反映了AI行業發展中的三重困境:技術評判標準的缺失、商業競爭的激烈化,以及行業誠信體系的待建立。
無論最終真相如何,這場爭議都為整個AI行業敲響了警鐘。在技術快速迭代的時代,如何建立更加科學、透明的模型評估機制,如何在激烈競爭中保持技術誠信,如何在開源合作與商業利益間找到平衡,這些都是行業必須直面的課題。
更重要的是,這起事件提醒我們:真正的技術創新不應該建立在模糊的邊界線上,而應該以扎實的研發實力和清晰的技術路徑為基礎。只有這樣,中國AI行業才能在全球競爭中贏得真正的尊重和話語權。
1、HonestyAGI GitHub:https://github.com/HonestyAGI/LLM-Fingerprint
2、《盤古之殤》原文:https://github.com/HW-whistleblower/True-Story-of-Pangu
3、知乎相關討論:https://www.zhihu.com/question/1925157415541801408
4、盤古Pro MoE技術報告:https://arxiv.org/abs/2505.21411
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.