“往事不要再提,人生已多風雨。”如果關注近期因為DeepSeek引發的各種討論,李彥宏的耳邊或許會響起張國榮的這首《當愛已成往事》。
但愛可以是往事,AI不行。在全球新一輪科技敘事里,它是繞不開的絕對主角。以至于百度,2010年就投身人工智能,算得上率全球之先的科技公司,不可避免地被反復提及。相比榮光,更“刺眼”的是那些“錯過”。
比如,機靈的網友發現,DeepSeek北京辦公室的樓上就是百度的投資部門——簡直就是百度AI對外印象的縮影:起了個大早趕了個晚集,就是差那么一點兒。另一個更遺憾的事實最早被曝光出來是在去年的11月份,最近又在社交媒體廣泛傳播:讓OpenAI打通任督二脈的Scaling Law是百度發現的。
和“定律”擦肩而過
最早曝出這事的是Anthropic創始人Dario Amodei。這位仁兄曾是OpenAI副總裁,因為對GPT安全性的擔憂,和妹妹共同創立了Anthropic,并推出了對標ChatGPT的聊天機器人Claude。
他透露,自己2014年和吳恩達在百度共事的時候,就觀察到,通過增加網絡層數、訓練時間和數據量,模型的表現會顯著提升。
這項研究最終被寫到了2017年百度發表的一篇論文《Deep Learning Scaling Is Predictable, Empirically》里,通過大規模實證研究,揭示了深度學習模型的泛化誤差和模型大小與訓練集規模之間存在可預測的冪律關系。
遺憾的是,這篇論文更多地是在描述Scaling現象,沒有明確將它作為定律來包裝。直到3年后,因為OpenAI的那篇《Scaling Laws for Neural Language Models》,Scaling Law才被廣泛認同,Dario Amodei恰好是作者之一。
塵封的往事就此打開。吳恩達,當年在谷歌大腦項目里讓神經網絡看了一周YouTube視頻,學會了識別貓咪,翻開了深度學習嶄新的一面。2013年,他受邀到百度分享人工智能,后來和Robin吃了一頓長達三小時的午餐,決定加入百度。
據說當時打動他的有三點,優秀的人才,海量的數據和最強大的基礎架構。事實也證明,當時的百度在人工智能的投入上下了極大的決心,比如加入百度后吳恩達很快就訂購了1000個GPU,并在24小時內得到,在谷歌可能要花費幾周甚至幾個月時間。
谷歌大腦成為百度大腦,也成為當年硅谷熱議的話題。
全球四大AI巨頭之一
吳恩達加入后,很快就有6位在人工智能領域頂級的學者通過郵件表達了加入百度的意愿。在硅谷,吳恩達負責百度人工智能實驗室,廣納賢才。Dario Amodei就是吳恩達帶來的,他又找了一個斯坦福的實習生Jim Fan,如今是英偉達高級科學家。
其實早在吳恩達前,李彥宏就覬覦了人工智能三巨頭之一的Geoffrey Hinton。2012年他看到了一篇關于深度卷積神經網絡的論文《ImageNet Classification with Deep Convolutional Neural Networks》,決定要把作者拉到百度。
數月后,百度、微軟和谷歌來了一場拍賣,李彥宏拍板4400萬美元邀請Hinton加入百度,最后Hinton決定留在美國,加入了谷歌。
不難發現,在2013年前后,作為曾經世界頂尖的自然語言處理專家,李彥宏帶領百度在人工智能領域展現了足夠的雄心壯志和獨到眼光。
后來的數年里,在吳恩達等人的帶領下,百度確實成了全球有影響力的人工智能巨頭。他們開發了世界上第一個支持GPU&CPU的并行深度學習平臺PaddlePaddle(飛槳),繼谷歌之后推出了開源的深度學習平臺,同時在語音技術、自動駕駛等方面提出了全球領先的解決方案。
當時,吳恩達在接受媒體采訪時就表示,人工智能很多創新都是由中國率先提出的,只不過傳到美國之后被世界所認知。
現在回頭去看,Scaling Law也算是典型案例之一。
2016年,《財富》雜志把百度與谷歌、微軟和Facebook并稱為全球四大AI巨頭。
一場四萬人的失戀
一年后,百度推出了全球首個自動駕駛開放平臺,李彥宏坐在一輛自動駕駛汽車里上了五環,因為并線問題吃到了一張罰單,留下了“無人駕駛罰單已經來了,無人車量產還會遠嗎”的豪言。
主導這次經典亮相的,是“硅谷最有權勢的華人”陸奇。那會兒他加入百度沒多久。
華人科技圈里,很少人能像陸奇一樣擁有絕好的口碑。作為領導,工程師們會穿著“我曾與陸奇一起工作”的T恤表達感謝;作為手下,他成了微軟CEO薩蒂亞·納德拉最為信賴的人之一,做到了執行副總裁這一華人在外資科技公司的最高職位。
他是李彥宏20多年的好友,兩人一度每年夏天都會見上一面。李彥宏也斷斷續續挖了他10年,直到2017年。離開微軟前,比爾·蓋茨曾親自挽留他并許諾“百度能給你什么,我都給你”。陸奇的回答是:你不能給我“中國”。
來到百度后,陸奇迅速對百度的業務、人員做出了一系列大調整,喊出了All in AI的口號,百度內部多數員工對此給出了很高的評價和期待。然而,陸奇在百度的職業生涯在一年后戛然而止,留給百度員工“一場四萬人的失戀”。
在宣布離職的內部交流會上,他感謝了管理層的信任,再次強調“人工智能將徹底地改變世界”。
陸奇走后不久,李彥宏參加極客大會,強調自己從來沒有說過“All in AI”。更準確來說,他強調了百度大部分資源會投入到搜索和信息流等相對活性的業務上。在外界看來,這是百度在人工智能的探索上踩了一腳剎車。
這會是Scaling最終沒能被百度發展成為Law的一大原因嗎?
向左向右向前看
但在2018年前后,經歷了2016年的AlpahGo,沉寂了一段時間的人工智能正在醞釀新的機會。2017年,在谷歌工作的8位程序員經過數月的合作,創造了一種處理語言的架構Transformer,成為如今大模型的架構底座。
而百度同一年發表的關于Scaling的論文,采用的是LSTM架構。如果百度用了Transformer,事情的走向會有所不同嗎?
可以用來參考的,是大洋彼岸另一個科技巨頭谷歌。2018年,基于Transformer架構他們推出大模型Bert,能夠讓機器更好地理解上下文。谷歌很快將它應用到了搜索業務里,讓機器更懂用戶說了什么,提升搜索結果的相關性。
就是在同一年,OpenAI同樣基于Transformer發布了GPT-1,主打的是處理生成任務,能夠讓機器根據已有文本進行連貫的后續內容生成,翻開了人工智能發展嶄新的一頁。
對谷歌而言,Bert是基于對搜索體驗優化而出現的正常的技術演進,也是大公司慣常采用的“延續性創新”;瞄準AGI的OpenAI希望創造一個全新的AI工具。目標不同,結果自然不同。
但相比谷歌,陸奇離職的“蝴蝶效應”或許成為一個躲不開的變量。很難不去想象一個符合邏輯的演繹:如果2018年底陸奇還在百度,面對GPT-1的誕生,他會不會跟10多年的好友、OpenAI的創始人阿爾特曼來一次詳談,然后成為Scaling Law的中國先行者,帶領百度AI走上不一樣的道路?
歷史無法假設,但可以復盤。就像DeepSeek故事里的另一個主角OpenAI,如果延續開源政策,是否會借助全球智慧擁有更多創新?在大量功勛老臣和核心骨干離職之后,如何再保持創新能力?當手握足夠多的資源,是否會陷入創新者的窘境?
某種程度上,昔日的百度和如今的OpenAI站在了同一個漩渦里。
但無論如何,作為一家在AI領域持續投入10年的企業,百度對行業的貢獻已經超過了公司本身。尤其是在無人駕駛領域,百度幾乎幫中國的智能駕駛產業鏈培養了最核心的一批技術創業者和工程師,為中國智能汽車的全面崛起奠定了人才基礎。
只是這些都是“回頭看”的往事,身為一號位的李彥宏需要也只能繼續向前看。就像《約翰·克里斯朵夫》里說的:“向前,向前,永遠不要停。”
這也是陸奇少年時最喜歡的一本小說。
文 | 梁應杰
VIEW MORE
@杭州四小龍:閃耀的“東方神秘力量” >>
@無人機“極客捕手” >>
@機器人“普羅米修斯” >>
@“大模型界的拼多多”要刺破英偉達泡沫?>>
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.