今年,AI頂會(huì)CIKM的時(shí)間檢驗(yàn)獎(jiǎng)?lì)C給了京東何曉冬博士創(chuàng)立的DSSM雙塔模型,而這是他10年前的一個(gè)研究成果,也是今天智能推薦技術(shù)的基石模式之一。
DSSM并不是本文討論的焦點(diǎn),但它是一個(gè)窗口,它可以透視在10年前和今天,人們是如何用不同的方式去對(duì)待AI的創(chuàng)新,以及由此帶來的截然不同的效果。
——導(dǎo)語(yǔ)
01
經(jīng)得住時(shí)間檢驗(yàn)的技術(shù)
老友何曉冬最近又拿一新獎(jiǎng),向來低調(diào)的他,也十分歡喜。我和他特意多談了幾句,引發(fā)了這次對(duì)他的訪問和一些思考。
這個(gè)獎(jiǎng)關(guān)系到一篇10年前發(fā)表的論文,論文的主題是關(guān)于DSSM 模型(也就是雙塔模型)的提出(論文名為:基于點(diǎn)擊數(shù)據(jù)學(xué)習(xí)用于網(wǎng)絡(luò)搜索的深度結(jié)構(gòu)化語(yǔ)義模型)。
所謂善戰(zhàn)者無赫赫之名,在網(wǎng)上搜索DSSM模型+何曉冬,結(jié)果并不太多。
其中,大部分搜索結(jié)果只是提及,DSSM是2013年由微軟在CIKM上發(fā)表的一個(gè)貢獻(xiàn)。
CIKM,就是信息檢索和數(shù)據(jù)挖掘國(guó)際學(xué)術(shù)會(huì)議 CIKM (International Conference on Information and Knowledge Management) ,是AI領(lǐng)域的“頂會(huì)”之一。
較少有人曾經(jīng)由雙塔模型而注意到何曉冬,可能和這樣一個(gè)事實(shí)有關(guān)——就是這篇論文,當(dāng)時(shí)過于超前,也十分的精短。
“2013年的時(shí)候,學(xué)界對(duì)這個(gè)(雙塔模型)的工作,是有懷疑的。包括論文寫出來后都還有些懷疑。我們論文最開始投是一個(gè)全的長(zhǎng)文,最后審稿人給的意見是覺得選題很一般,建議我們要不投個(gè)短文試試,所以我們就改成短文投出去。可能因?yàn)槭沁@個(gè)原因,投出去當(dāng)時(shí)沒有引發(fā)廣泛關(guān)注,后面也陸續(xù)第一時(shí)間應(yīng)用到我們?cè)谖④浀墓ぷ骼铩保螘远貞浾f。
但是,站在2024年這個(gè)角度再看過去,結(jié)果就完全不同了,無論在哪個(gè)AI開發(fā)者社區(qū),你都可以讀到類似以下的一段話——
DSSM在業(yè)界搜索引擎廣告推薦方面的影響力,目前來說是超過其它幾乎任何一個(gè)模型,基本上統(tǒng)治了召回/粗排階段。在大模型領(lǐng)域,它更是無人不知。
十年窗下無人問,一舉成名天下知。
而此刻的何曉冬,早已經(jīng)從大洋彼岸的微軟研究員,變成了今天的京東探索研究院院長(zhǎng)、京東科技人工智能業(yè)務(wù)負(fù)責(zé)人。
目前波瀾壯闊的數(shù)字化、智能化的熱浪,使我們產(chǎn)生一種錯(cuò)覺——那就是只要是新的、好的技術(shù)發(fā)明,很快就能用于實(shí)踐,很快就能夠從實(shí)驗(yàn)室走向產(chǎn)品化、從產(chǎn)品化走向商業(yè)化。
這種認(rèn)知是謬誤的,或者至少是有偏差的。
一方面,經(jīng)受得住時(shí)間和實(shí)踐雙重檢驗(yàn)的論文,并不是那么多。
另一方面,即使一篇論文或一個(gè)科技成果,有很重要的理論價(jià)值和應(yīng)用價(jià)值,但它能夠被應(yīng)用起來,也需要天時(shí)地利人和。
給大家講兩個(gè)小故事。
一個(gè)是我們現(xiàn)在每臺(tái)智能手機(jī)、每臺(tái)筆記本電腦里都裝著的SSD(俗稱閃存盤),給人的印象是這幾年才推廣的。但事實(shí)上,閃存盤這個(gè)發(fā)明的理論基礎(chǔ),1967年就有了。但時(shí)間流轉(zhuǎn)到20年后,才由日本東芝的一位研發(fā)人員——舛岡富士雄發(fā)明了NOR FLASH,一種劃時(shí)代的產(chǎn)品。
結(jié)果呈報(bào)上去,東芝根本就不重視,因?yàn)闁|芝當(dāng)時(shí)的注意力都在DRAM方向上(一種內(nèi)存)。
結(jié)果這位科學(xué)家又不屈不撓的搞出了NAND FLASH閃存,這就是我們今天所用的固態(tài)硬盤的基礎(chǔ)介質(zhì)。
沒想到,這次東芝倒是有所表示了:獎(jiǎng)勵(lì)了他幾百美元獎(jiǎng)金,然后可能是覺得他有些刺頭,把他調(diào)到了一個(gè)邊緣崗位上,又是若干年。
直到在東芝度過了23年,從28歲變成51歲之后,舛岡富士雄選擇了辭職。這時(shí)候閃存已經(jīng)是一個(gè)千億美金市場(chǎng)。
舛岡富士雄在2006年起訴了東芝,并索賠10億日元。但結(jié)果很糟糕,他只拿到了8700萬(wàn)日元的和解金,折合下來只有幾十萬(wàn)美元,而這本來是一個(gè)可以問鼎諾獎(jiǎng)的發(fā)明,可以為發(fā)明者帶來無窮的財(cái)富和榮譽(yù)。
其實(shí),科學(xué)家的優(yōu)秀科研成果轉(zhuǎn)化,靠個(gè)人努力從來是艱難的。
我們可以看看剛剛獲得2024年諾貝爾物理學(xué)獎(jiǎng)的“深度學(xué)習(xí)之父”辛頓的例子,辛頓在2006年在深度學(xué)習(xí)方向的研究取得重要成果后,其實(shí)對(duì)如何推廣這項(xiàng)技術(shù)也感到茫然。
于是,直到2012年,他才成立了一間小公司,但卻對(duì)如何后續(xù)發(fā)展,并無做好準(zhǔn)備。
辛頓的幸運(yùn)是,由于當(dāng)時(shí)人工智能產(chǎn)業(yè)的勢(shì)頭已經(jīng)開始明顯的抬頭,很多企業(yè)都在密切關(guān)注能推動(dòng)人工智能技術(shù)重大突破的新理論,這使得辛頓的公司在幾乎沒有任何實(shí)際業(yè)務(wù)的情況下,就得到了來自百度、谷歌的競(jìng)買。
這其中,最關(guān)鍵的時(shí)刻并不是辛頓在2006年做出的研究,而是谷歌決定請(qǐng)辛頓加入。如果沒有谷歌平臺(tái)上諸多場(chǎng)景對(duì)辛頓的成果的驗(yàn)證、實(shí)踐和孵化,深度學(xué)習(xí)是否還有今天這么高的地位,谷歌是否能拿出一系列基于這個(gè)理論的產(chǎn)品,都很難說。
辛頓的戲劇性經(jīng)歷說明了,在技術(shù)轉(zhuǎn)向應(yīng)用的過程中,充滿了種種的不確定性。即使在商業(yè)體系、技術(shù)體系更為成熟的地方,科研人員在推廣自身研究并付諸于產(chǎn)業(yè)應(yīng)用的路徑,也仍然是不平坦和充滿隨機(jī)性的。
這也說明了,刨除純粹的底層理論性研究外,檢驗(yàn)一個(gè)技術(shù)是否是真正有價(jià)值的技術(shù),時(shí)間只是表征,實(shí)際上還是真正在工業(yè)化場(chǎng)景里的應(yīng)用價(jià)值,是對(duì)現(xiàn)實(shí)世界的變革的推動(dòng)。
而這,可能才是何曉冬辭別美國(guó)的首席研究員、教授、博導(dǎo)等赫赫頭銜,愿意回國(guó)來到京東的原因,因?yàn)檫@里有他想要的轉(zhuǎn)化環(huán)境和條件。
“對(duì)于科研工作,而我不喜歡這種‘發(fā)完就不管’的做法,我希望看到它在真實(shí)世界里創(chuàng)造出價(jià)值”,何曉冬說:“而京東一開始就有這種氛圍”。
02
范式轉(zhuǎn)換:從科學(xué)創(chuàng)新到產(chǎn)業(yè)創(chuàng)新
何曉冬的履歷其實(shí)比較簡(jiǎn)單,清華本科、中科院碩士、密蘇里大學(xué)哥倫比亞分校博士,然后加入微軟,一直從事語(yǔ)音識(shí)別、語(yǔ)言理解、圖像與語(yǔ)言多模態(tài)信息處理等領(lǐng)域的研究,然后于2018年加入京東,擔(dān)任副總裁,主管人工智能方向的技術(shù)和產(chǎn)品研發(fā)。
學(xué)術(shù)界的評(píng)價(jià)是,何曉冬是本領(lǐng)域世界級(jí)科學(xué)家之一,吳文俊人工智能杰出貢獻(xiàn)獎(jiǎng)獲得者。他發(fā)表了200多篇論文,引用5萬(wàn)余次,并多次獲得ACL杰出論文獎(jiǎng)、IEEE SPS Best Paper等獎(jiǎng)項(xiàng)。
這好像是一條從學(xué)霸到頂級(jí)學(xué)者,再?gòu)捻敿?jí)學(xué)者到產(chǎn)業(yè)創(chuàng)新的重要人物的必經(jīng)之路。
但是,我認(rèn)識(shí)的太多AI牛人,走通了從學(xué)霸到頂級(jí)學(xué)者的路,卻沒有走通從頂級(jí)學(xué)者到產(chǎn)業(yè)創(chuàng)新的重要推動(dòng)者的路。
這里面有太多的干擾項(xiàng),但我覺得主要因素就是兩個(gè)——個(gè)人意愿和工作氛圍。
從個(gè)人意愿來講,何曉冬選擇來到京東,就是希望做出一些改變,對(duì)真實(shí)世界的改變——他在微軟研究資源和環(huán)境寬松,整體上偏于純研究,離應(yīng)用比較遠(yuǎn)。“來京東是真正的上一線了”,他興奮的說:“而且這里有非常豐富的場(chǎng)景,是能夠做出一番成果的。”
從企業(yè)環(huán)境來講,我見過的一些科學(xué)家進(jìn)入企業(yè)后,往往不樂于帶團(tuán)隊(duì)、背業(yè)績(jī),還是希望有一個(gè)相對(duì)簡(jiǎn)單的研究環(huán)境。
但何曉冬相反,他和我講過,一開始就要帶團(tuán)隊(duì),而且要背業(yè)績(jī),雖然最開始也是如履薄冰,但“心里是歡喜的,因?yàn)槟阒滥闼芯康募夹g(shù)有可能真正改變這個(gè)行業(yè)”;他說這話時(shí),是由衷的歡喜——因?yàn)樗谝郧暗沫h(huán)境里的任何研究,很多時(shí)候基本走不到能聽到真實(shí)用戶反饋的那一步。
被稱為科技大佬必讀書的托馬斯·庫(kù)恩的名著《科學(xué)革命的結(jié)構(gòu)》里,非常清楚的描繪了這樣一種場(chǎng)景,他認(rèn)為——科學(xué)技術(shù)的突飛猛進(jìn)催生了一系列的理論與技術(shù)創(chuàng)新,促使科學(xué)技術(shù)日益整體化,學(xué)科間相互交叉滲透的趨勢(shì)大大增強(qiáng),預(yù)示著人類文明史和認(rèn)識(shí)史進(jìn)入一個(gè)重要的時(shí)期——以往的科學(xué)更多地表現(xiàn)為個(gè)體勞動(dòng);現(xiàn)代科學(xué)技術(shù)的發(fā)展,促使這種勞動(dòng)方式發(fā)生改變,它需要一群人一起努力,讓科學(xué)制度化、專業(yè)化和集約化的程度大大提高。
而我也非常清楚的記得,何曉冬和我說過一番意思完全相近的話:“現(xiàn)在的AI研究,已經(jīng)不是幾位科學(xué)家在實(shí)驗(yàn)室就可以完成的了,而需要許許多多的人的跨界協(xié)作。技術(shù)在不同場(chǎng)景會(huì)產(chǎn)生不同價(jià)值,所以研究技術(shù)也需要許許多多的業(yè)務(wù)場(chǎng)景,這都是單純?cè)趯W(xué)術(shù)界得不到的,這也是吸引我以及類似技術(shù)工作者來京東檢驗(yàn)我們的成果,甚至是檢驗(yàn)真理的原因”。
03
ai加速落地,場(chǎng)景成關(guān)鍵因素
而讓他在京東堅(jiān)持下來的一個(gè)原因是,這里的研究和應(yīng)用場(chǎng)景的聯(lián)動(dòng),實(shí)在是太快了。
前面說到的雙塔模型,何曉冬在做出理論設(shè)計(jì)、發(fā)表論文后,非常渴望得到在真實(shí)環(huán)境中的檢驗(yàn), “當(dāng)年,經(jīng)過一個(gè)全球副總裁的推動(dòng),才把這個(gè)技術(shù)呈現(xiàn)給了業(yè)務(wù)部門,中間歷時(shí)一年。應(yīng)用了之后產(chǎn)生效果”,何曉冬說:“這也是我來京東的原因。”
在京東,何曉冬的團(tuán)隊(duì)是一群更年輕、但更有欲望做出變革的年輕人。
何曉冬團(tuán)隊(duì)有很多80、90后,他們有的進(jìn)入京東后,依舊聚焦自然語(yǔ)言處理(NLP)、語(yǔ)音識(shí)別(ASR)等AI技術(shù)的研究和產(chǎn)品研發(fā);也曾有一段時(shí)間,這幫年輕人一邊開發(fā),一邊仍執(zhí)著于拿著自己研發(fā)的算法和論文,在各種排行榜上打榜。
然而,當(dāng)他們拿著沖榜成績(jī)以及國(guó)際會(huì)議和期刊論文,打算說服業(yè)務(wù)買單時(shí),“無力感撲面而來”。再厲害的學(xué)術(shù)成績(jī),也要證明自己有應(yīng)用價(jià)值。令他們印象深刻的是,當(dāng)時(shí)業(yè)務(wù)反問的一句話:“可以為用戶帶來什么好處?”
后來,這個(gè)年輕的NLP團(tuán)隊(duì)開始對(duì)當(dāng)時(shí)的“發(fā)現(xiàn)好貨”頻道進(jìn)行技術(shù)攻堅(jiān),這是一個(gè)需要大量?jī)?yōu)質(zhì)文案的板塊,內(nèi)容的好壞會(huì)直接影響用戶種草下單的欲望。
幸運(yùn)的是,在他們技術(shù)攻堅(jiān)的過程中,不僅有極大的算力支持,還有海量、高質(zhì)量的真實(shí)用戶反饋信息,這是形成研發(fā)閉環(huán)的至關(guān)重要的環(huán)節(jié)。
同時(shí),更重要的是,大半年的項(xiàng)目周期,技術(shù)上有幾十個(gè)卡點(diǎn),上下游涉及的成員從不做甩手掌柜,每周一次的例會(huì),更像是密集攻堅(jiān)的學(xué)術(shù)研討。
不到一年時(shí)間,這個(gè)團(tuán)隊(duì)就率先攻克了多個(gè)技術(shù)難關(guān)。靠“發(fā)現(xiàn)好貨”項(xiàng)目,團(tuán)隊(duì)還拿到了京東的技術(shù)金獎(jiǎng)。
04
應(yīng)用推動(dòng)創(chuàng)新是AI發(fā)展的第一性原則嗎?
目前,AI究竟該用什么路徑發(fā)展,已經(jīng)成為行業(yè)里一個(gè)爭(zhēng)論的焦點(diǎn)。
一部分人認(rèn)為,要想做出核心突破,就應(yīng)該專攻底層技術(shù),因?yàn)橹挥械讓蛹夹g(shù)的積累,才能有上層應(yīng)用突破的可能。
但這種路徑的弊端是,AI發(fā)展太快了,以至于沒有人能夠說清AI現(xiàn)在的“底層技術(shù)”到底是什么,方向到底是什么。
“ChatGpt4出現(xiàn),ChatGpt3.5就被人拋棄了。如果只是押寶某個(gè)技術(shù)方向、某個(gè)模型,在強(qiáng)手如云的行業(yè)里,隨時(shí)會(huì)出局。除非你是頂級(jí)巨頭,能同時(shí)去賭多個(gè)方向。但即便如此,這也不能保證你就是贏家。Chatgpt不是由擁有數(shù)萬(wàn)研發(fā)人員的谷歌做出來的,而是由只有150人的openAI團(tuán)隊(duì)做出來的,這個(gè)案例還不夠深刻嗎?”,一位AI的資深大咖這樣對(duì)筆者說。
另一種觀念認(rèn)為,AI業(yè)者,一方面要保持對(duì)底層技術(shù)的敏感性,另一方面主要是關(guān)注應(yīng)用方向,比如京東,結(jié)合自身的產(chǎn)業(yè)場(chǎng)景做各種AI+,反而收獲累累。
任何業(yè)務(wù)的成功,都體現(xiàn)在是否遵循了符合自身規(guī)律的第一性原則。
比如特斯拉,在推動(dòng)電動(dòng)汽車的時(shí)候,遠(yuǎn)遠(yuǎn)沒有今天如此發(fā)達(dá)的供應(yīng)鏈,也沒有一套現(xiàn)成的規(guī)律可以摸索。
但他們就是選擇了自主建廠、自行研發(fā)電池系統(tǒng)、拿掉激光雷達(dá)……換言之,特斯拉成長(zhǎng)背后遵循的第一性原理,就是用技術(shù)降本,將產(chǎn)品賣給更多人,獲得更多利潤(rùn),繼續(xù)投入技術(shù)研發(fā)。
而京東AI的第一性原則就是問題導(dǎo)向、痛點(diǎn)導(dǎo)向, 跳出純技術(shù)、純學(xué)術(shù)的固有思維,針對(duì)現(xiàn)存矛盾突出的問題,探索本質(zhì),思考解決之道。
從挑戰(zhàn)來看,自然語(yǔ)言處理是目前AI最成熟的領(lǐng)域之一,要想在強(qiáng)敵環(huán)伺之下殺出重圍并不是一件簡(jiǎn)單的問題。
而從真實(shí)結(jié)果來看,這幾年京東在AI上的進(jìn)展,是肉眼可見的,他們?cè)谥悄芸头⒅悄芡夂簟?shù)字人、AIGC營(yíng)銷等方面的進(jìn)展都是巨大的。得到了用戶用真金白銀買單的認(rèn)可、也拿到了中國(guó)AI最高獎(jiǎng)——吳文俊獎(jiǎng)。
沒有什么比這個(gè)更能證明,京東的AI研究走在一條以應(yīng)用反饋式創(chuàng)新驅(qū)動(dòng)技術(shù)研究,再通過大量的實(shí)戰(zhàn)積累理論高度的閉環(huán)之路。
“在解決AI應(yīng)用落地的過程中,京東成為了AI大規(guī)模落地應(yīng)用的一個(gè)很好的土壤。技術(shù)文化既有導(dǎo)向性又寬容度,這種氛圍可以吸引更多的科技人才,京東也會(huì)成為AI前沿技術(shù)落地創(chuàng)新的策源地”,何曉冬說。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.