2024年12月4日，號(hào)稱AI屆諾獎(jiǎng)的人工智能頂會(huì) NeurIPS 公布了今年的best paper。

一共有兩篇論文獲得最佳論文獎(jiǎng)：

一是由北京大學(xué)、字節(jié)跳動(dòng)研究者共同完成的《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》（視覺(jué)自回歸建模：通過(guò) Next-Scale 預(yù)測(cè)生成可擴(kuò)展圖像）。

二是由新加坡國(guó)立大學(xué)、 Sea AI Lab 研究者共同完成的《Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators》，論文一作為 Zekun Shi。

但讓人意想不到的是，第一篇論文一作田柯宇竟是四個(gè)月前惡意攻擊字節(jié)大模型被起訴800萬(wàn)的北大實(shí)習(xí)生。

01 反轉(zhuǎn)再反轉(zhuǎn)之

年度最佳魔幻短劇

事情其實(shí)很簡(jiǎn)單：就是一個(gè)高智商人才因不滿資源分配惡意攻擊大模型被字節(jié)解除協(xié)議的事，字節(jié)僅打算通知學(xué)校批評(píng)教育就好了。

但魔幻的地方就在于兩點(diǎn)：一是明知故犯的田同學(xué)到處伸冤，說(shuō)字節(jié)誹謗他，攻擊大模型的另有其人，他只是背鍋俠。二是法院受理“字節(jié)索賠800萬(wàn)”一案不到一周，田同學(xué)竟然獲得了NeurIPS機(jī)器學(xué)習(xí)頂會(huì)的最佳paper！被網(wǎng)友戲稱為“今年最佳魔幻短劇。”

今年6月，字節(jié)跳動(dòng)商業(yè)產(chǎn)品技術(shù)部門一名前實(shí)習(xí)生田某某在實(shí)習(xí)期間因?qū)F(tuán)隊(duì)資源分配不滿，惡意篡改代碼攻擊了公司的內(nèi)部模型訓(xùn)練系統(tǒng)。

田某某利用Huggingface平臺(tái)的漏洞，通過(guò)編寫和篡改代碼的方式，向字節(jié)跳動(dòng)的商業(yè)化模型注入破壞性代碼，使得“8000多張H100的GPU集群”一個(gè)多月的訓(xùn)練結(jié)果全部出錯(cuò)。字節(jié)跳動(dòng)發(fā)現(xiàn)后，立即與其解除實(shí)習(xí)協(xié)議，并將其行為同步至陽(yáng)光誠(chéng)信聯(lián)盟、企業(yè)反舞弊聯(lián)盟以及其就讀學(xué)校進(jìn)行處理。

然而，田柯宇多次對(duì)外否認(rèn)自己的不當(dāng)行為，甚至報(bào)警稱遭到造謠。

字節(jié)跳動(dòng)內(nèi)部人士表示，考慮到田柯宇完全沒(méi)有意識(shí)到錯(cuò)誤，且涉事行為已觸犯公司安全紅線，公司最終決定向法院起訴，要求田某某賠償800萬(wàn)元人民幣及合理支出2萬(wàn)元，并公開(kāi)道歉。

但戲劇性的是，田某在字節(jié)跳動(dòng)實(shí)習(xí)期間，與團(tuán)隊(duì)合作發(fā)表了一篇關(guān)于視覺(jué)自回歸模型的論文，在人工智能頂級(jí)會(huì)議NeurIPS 2024上被評(píng)為最佳論文獎(jiǎng)。

該論文提出了一種新的圖像生成框架VAR，首次使基于GPT風(fēng)格的自回歸模型在圖像生成任務(wù)中超越了擴(kuò)散模型，并驗(yàn)證了VAR模型的可擴(kuò)展性和零樣本泛化能力。

據(jù)悉，這也是第一篇華人團(tuán)隊(duì)在NeurIPS 2024上獲得最佳論文的學(xué)術(shù)作品。

02 事件主體

北大研究生VS國(guó)內(nèi)top大廠

1、田柯宇

田柯宇本科畢業(yè)于北京航空航天大學(xué)軟件學(xué)院，自2019 年起開(kāi)始在商湯科技有限公司及字節(jié)跳動(dòng)等公司開(kāi)展研究性實(shí)習(xí)，曾在NeurIPS 等會(huì)議發(fā)表多篇一作論文，并多次擔(dān)任NeurIPS，ICML，ICLR，CVPR等會(huì)議審稿人。

田同學(xué)到底做了什么？

在實(shí)習(xí)期間為了搶奪集群資源背刺同事和公司，在至少2個(gè)月(目前可追溯)的時(shí)間內(nèi)對(duì)集群代碼持續(xù)發(fā)起惡意攻擊，包括但不限于:

（1）修改集群pytorch源碼，包括隨機(jī)種子，優(yōu)化12隨機(jī)ki11 多機(jī)實(shí)驗(yàn)進(jìn)程

（2）導(dǎo)致大卡實(shí)驗(yàn)卡死8通過(guò)checkpoint打開(kāi)登陸后門，自動(dòng)發(fā)起攻擊

（3）參加集群故障排查日會(huì)，根據(jù)同事排查思路持線4修改同事模型權(quán)重，造成實(shí)驗(yàn)結(jié)果無(wú)法復(fù)現(xiàn)

“無(wú)法想象在看見(jiàn)同事們的大卡實(shí)驗(yàn)?zāi)涿钪袛唷⑹r(shí)，在聽(tīng)到同事們的debug思路后針對(duì)性修改攻擊代碼時(shí)，在看見(jiàn)同事們連續(xù)通宵達(dá)旦但毫無(wú)進(jìn)展時(shí)，是懷著多么大的惡意持續(xù)發(fā)起攻擊以達(dá)目的。”

2、字節(jié)跳動(dòng)

字節(jié)的處理態(tài)度是什么？

2024年8月字節(jié)已辭退該實(shí)習(xí)生，并將其行為同步給所在學(xué)校和行業(yè)聯(lián)盟，用以懲戒教育。

11月5日，字節(jié)跳動(dòng)曾發(fā)布面向內(nèi)部全員的《企業(yè)紀(jì)律與職業(yè)道德委員會(huì)通報(bào)》，進(jìn)一步披露該事件。通報(bào)稱，2024年6月至7月，集團(tuán)商業(yè)產(chǎn)品與技術(shù)部門前實(shí)習(xí)員工田某某，因?qū)F(tuán)隊(duì)資源分配不滿，通過(guò)編寫、篡改代碼等形式惡意攻擊團(tuán)隊(duì)研究項(xiàng)目的模型訓(xùn)練任務(wù)，造成資源損耗。公司已與其解除實(shí)習(xí)協(xié)議，同步陽(yáng)光誠(chéng)信聯(lián)盟及企業(yè)反舞弊聯(lián)盟，并同步至其就讀學(xué)校處理。

11月28日，因田同學(xué)毫無(wú)悔過(guò)之意并在互聯(lián)網(wǎng)發(fā)布虛假言論詆毀公司，字節(jié)跳動(dòng)起訴前實(shí)習(xí)生田某某篡改代碼攻擊公司內(nèi)部模型訓(xùn)練一案，已獲北京市海淀區(qū)人民法院正式受理。

03 田柯宇論文是什么水平？

NIPS best paper：AI界諾獎(jiǎng)

NeurIPS（神經(jīng)信息處理系統(tǒng)會(huì)議）是機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議，與ICML和ICLR齊名，其最佳論文獎(jiǎng)評(píng)選標(biāo)準(zhǔn)非常嚴(yán)格。據(jù)悉，NeurIPS 2024共收到15671篇有效論文投稿，但最終接收率卻低于去年，僅有25.8%。

“nips是人工智能top1的會(huì)議，best paper又是這些論文中top1的存在，可以簡(jiǎn)單理解為AI屆諾獎(jiǎng)。”

而田柯宇，作為這篇論文的第一作者，貢獻(xiàn)率最大。

對(duì)于該論文的質(zhì)量，一位大廠從業(yè)多年的算法工程師王峰表示：

“實(shí)至名歸，這篇文章一出來(lái)我就說(shuō)是best paper水平。”

AR形式的生成本身就不弱于difusion，但最大的問(wèn)題就是AR是一維的，而圖像是二維的，以什么順序進(jìn)行AR的生成是一個(gè)開(kāi)放性問(wèn)題。之前tamingtransformer實(shí)驗(yàn)出來(lái)是一行一行最好，但在換行時(shí)會(huì)出現(xiàn)間斷問(wèn)題;maskgit以及mar等工作是隨機(jī)產(chǎn)生一個(gè)順序，感覺(jué)也很不優(yōu)雅。

這篇文章創(chuàng)新性地找到了屬于圖像的一維順序:尺度。difusion是從沒(méi)什么信息量的噪聲出發(fā)，一步一步消除歧義產(chǎn)生樣本，VAR也類似，從低尺度到高尺度，圖像從模糊到清晰來(lái)消除歧義，是很符合直覺(jué)的做法，讀完讓人有種“就該這么做”的感覺(jué)。

在正常的時(shí)間線上，目前應(yīng)該已經(jīng)推出了在大規(guī)模數(shù)據(jù)上訓(xùn)練的T21模型甚至T2V模型了。結(jié)果因?yàn)閷?shí)習(xí)生的個(gè)人問(wèn)題，這些模型并沒(méi)有面世，不得不說(shuō)歷史也是充滿了偶然性，

現(xiàn)在好了，時(shí)間線被修復(fù)了，best paper的榮譽(yù)足以抹平實(shí)習(xí)生對(duì)AR發(fā)展帶來(lái)的破壞，相信未來(lái)的AIGC領(lǐng)域一定有尺度AR的一席之地。

04 各方吃瓜群眾怎么看

觀點(diǎn)一-資深碼農(nóng)：千萬(wàn)不要成為我的同事！

不上升問(wèn)題高度，我就想說(shuō)一下行內(nèi)人為啥不給他說(shuō)話，因?yàn)樗乃魉鶠檎娴拇恋搅宋覀兺刺?/p>

本來(lái)，訓(xùn)十次模型就會(huì)有八次結(jié)果不符合預(yù)期，天天都在想昨天引入了什么變量導(dǎo)致這次的結(jié)果這么差？以自己為例，我的心路歷程是：反省數(shù)據(jù)質(zhì)量，反省超參，反省 do_sample 時(shí)候運(yùn)氣太差了，反省啟動(dòng)訓(xùn)練的時(shí)候是不是起錯(cuò)命令了，反省推理的時(shí)候是不是選錯(cuò)模型了…… 甚至有時(shí)候會(huì)覺(jué)著訓(xùn)練機(jī)器是不是有問(wèn)題。

每天都已經(jīng)都快被模型效果不符合預(yù)期給逼瘋了，這時(shí)候有人告訴你說(shuō)：以后還應(yīng)該反省一下同事有沒(méi)有在搞破壞，字節(jié)就發(fā)生過(guò)這樣的事情。

fine，thank you。老板惹了你，你不去報(bào)復(fù)老板，你把同事全給捅了。真是服了，是覺(jué)著犧牲這點(diǎn)算力能影響字節(jié)上市是怎么了？同事這幾個(gè)月養(yǎng)家糊口的工資績(jī)效，倒是實(shí)打?qū)嵉谋秽豚肓耍€有這幾個(gè)月的技術(shù)認(rèn)知也完全得不到成長(zhǎng)。如果從學(xué)生的視角來(lái)看問(wèn)題，田的行為就像是：自己和導(dǎo)師吵架了，硬要拉著全實(shí)驗(yàn)室一起延畢。

拋開(kāi)德行不談，這種能寫出 best paper 的人的確是 AI 需要的人才，前提是別成為我的同事

觀點(diǎn)二：不走尋常路，天才無(wú)需被定義！

我如果是硅谷大廠高層（幻想時(shí)刻），這時(shí)正是挖人的大好時(shí)機(jī)！反正字節(jié)這么一告，全中國(guó)的大廠高校都肯定拉黑他了。此刻出手802w幫他還債，再讓他欠下7年賣身契當(dāng)牛馬為我好好干活，田柯宇必然是感激涕零，必是自感飄零半生未遇明主愿拜我為義父。有此呂布加盟，妥善使用，怎么會(huì)拿不下新sota！

觀點(diǎn)三：人品比人才重要

這人從進(jìn)北大開(kāi)始沒(méi)多久就去字節(jié)實(shí)習(xí)，別的不說(shuō)吧，至少論文是擱字節(jié)用人家的資源做出來(lái)的吧？做了幾篇論文就覺(jué)得自己特牛，就可以攻擊同事的勞動(dòng)成果了。然后回學(xué)校繼續(xù)散播謠言拒不認(rèn)錯(cuò)嘛。要我說(shuō)就是該，貪得無(wú)厭的結(jié)果就是如此。字節(jié)可別干什么大發(fā)慈悲的事情，這不典型白眼狼嘛。

想起一句話，不失敗一直一帆風(fēng)順不是啥好事。這人就是過(guò)得太順利了，一點(diǎn)挫折都受不了就要爆炸。

安個(gè)罪名趕緊丟進(jìn)去得了，北大還包庇這人，簡(jiǎn)直是不嫌丟臉。

關(guān)于待遇，字節(jié)給研發(fā)的實(shí)習(xí)生一天400，這待遇比一般普通人正式工打工都多了，哪有什么對(duì)薪資待遇的不滿呢？

觀點(diǎn)四：這已經(jīng)屬于刑事犯罪了

沒(méi)讓他進(jìn)去吃國(guó)家飯呢，道歉索賠已經(jīng)很體面了。 而且這事本質(zhì)上已經(jīng)屬于刑事犯罪范疇了。

我覺(jué)得字節(jié)已經(jīng)很珍惜人才了，這次要是字節(jié)把這人送到公安局去調(diào)查，嚴(yán)格來(lái)講，他這是破壞計(jì)算機(jī)信息系統(tǒng)罪，這可是公訴的刑事案件。就算判得最輕，緩刑肯定也跑不了，還得留個(gè)案底。

一旦有了案底，大學(xué)畢業(yè)不好弄，找工作更是別想了。在中國(guó)，這人基本就廢了一大半，出國(guó)辦簽證也難上加難。

這哥還抽象得很：

字節(jié)都打算放他一馬只通知北大，誰(shuí)知道他自己去報(bào)警了……北大這臉丟的是真大了hhhhhh

本文來(lái)自碼客人生，未經(jīng)授權(quán)禁止轉(zhuǎn)載

【有獎(jiǎng)?wù){(diào)研】2024年了，開(kāi)發(fā)者們過(guò)得還好嗎？碼客人生開(kāi)啟了新一輪的程序員幸福指數(shù)問(wèn)卷調(diào)查，參與問(wèn)卷調(diào)研：https://dworks.zhiding.cn/f/DecZmP，幸運(yùn)用戶還可獲得50元京東卡。