民間有句笑話,“你一開源我就遙遙領先”。
事實上這是不準確的。
現在的科學研究早就不是牛頓、愛因斯坦那個時期了。幾乎不可能靠單槍匹馬,腦袋被蘋果砸到,就發明個極具普適性和解釋力的力學三定律,更不可能在專利局苦熬個幾年,一個人提出個相對論。現在更不是20世紀約翰納什、馮諾依曼、奧本海默那種,許多科學家湊堆整個重要結果這樣的時代。
很多時候就是靠開源迭代,互相學習,在學習的過程中進步一小步那么實現的。做過科研,發表過學術論文的都知道我在說什么意思。目前的學術研究只需要你在前人的基礎之上提高那么一小點就可以了。這很令人沮喪,也沒有什么激情,但的確就是這么回事。
在人工智能領域,周鴻祎說過“開源戰勝閉源是歷史的必然”,因為單門獨戶搞技術研發效率太低,開源盡管在知識產權方面會有一些爭議,但是迭代速度更快。這是我的結論。
在此基礎之上,我們談一下華為的盤古Pro MoE 模型有可能是“抄襲”了Qwen-2.5 14B 模型這事。(注:Qwen就是阿里研發的通義大模型)
原始論文我看了,是HonestAGI團隊在其 GitHub 項目中提出來的,在論文中,研究人員寫道::“我們的調查揭示了令人信服的證據,表明華為的Pangu Pro MoE 模型似乎是通過升級技術從 Qwen-2.5 14B 衍生而來的,其相關系數極高(總體平均值為 0.927),遠遠超過了典型的模型間相似性。”“這些統計特征在15 萬億個標記上進行的訓練中能夠持久存在,這證明了我們方法的根本穩健性”
關于此事,研究人員認為這是人工智能領域的激烈競爭以及國際環境的壓力導致的,這種快速的技術迭代需求,導致華為公司的技術開發時間表被壓縮,“從頭開始”的開發和投資或許并不符合市場的實際情況。這樣的分析在我看來具有解釋力。
當然,這只是一篇研究論文的結論,或許與真實性有所偏差。但這也提出了一種預警,即我們在人工智能方向的巨頭們,在自己搞研發的時候,難免會存在對于國內外先進技術的“借鑒”,但是在知識產權方面,一種繼承關系卻需要被強調。這事很好理解,我們在論文用到別人觀點的時候,要給出具體的引用名錄。這不僅涉及到科學的嚴謹,更是需要強調,這些東西,并不是憑空產生的。
從0到1搞技術研發的機構或者商業公司,目力所及,在地球上恐怕只有馬斯克同志有這樣的能耐和潛力,不過此時老馬似乎因感覺被特朗普耍了而惱羞成怒,批判特朗普提出的“大而美”法案。
馬斯克尚不能免俗,更何況是其他人呢。這事就不聊的太細,我記得之前看韓寒雜文的時候,有過這么一段,他小時候也常去免費看某書店的書,也可能是盜版的,總之沒花自己的錢,偷了一身知識,后來韓寒有錢了,就常去那里消費,作為某種心理補償。(也可能是另外一個作家,總之有這么一回事)
在研發的世界里,可能也存在某種平衡,沒有無緣無故的從天而降或是彎道超車,有一分進步就說一分進步,這也是好的。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.