選自Calvin French-Owen博客
機(jī)器之心編譯
作者:Calvin French-Owen
揭秘 OpenAI 打工日常。
一直以來(lái),OpenAI 都是媒體的重點(diǎn)關(guān)注對(duì)象,尤其在多位核心員工離職后,關(guān)于 OpenAI 內(nèi)部文化和管理方式的討論更是愈演愈烈。
最近,OpenAI 前員工 Calvin French-Owen 發(fā)布了一篇深刻的反思文章,親身講述了自己在 OpenAI 工作的點(diǎn)滴,也為我們提供了關(guān)于 OpenAI 內(nèi)部運(yùn)作的第一手資料。
Calvin French-Owen 是誰(shuí)?
Calvin 是一位經(jīng)驗(yàn)豐富的創(chuàng)業(yè)者、工程師。
據(jù)領(lǐng)英個(gè)人頁(yè)面顯示,Calvin 本科就讀于麻省理工學(xué)院的計(jì)算機(jī)科學(xué)專業(yè)。
大學(xué)還沒(méi)畢業(yè),他就成為客戶數(shù)據(jù)平臺(tái) Segment 的聯(lián)合創(chuàng)始人兼首席技術(shù)官。2020 年,Segment 被 Twilio 以 32 億美元收購(gòu)。之后,Calvin 做過(guò)兩份短暫的全職工作,其中一份工作就在 Y Combinator。
2024 年 5 月,Calvin 加入 OpenAI,成為一名工程師,并參與了 Codex 項(xiàng)目的開(kāi)發(fā)。Codex 是 OpenAI 推出的 AI 編程助手,旨在幫助開(kāi)發(fā)者提高編碼效率。
在 OpenAI 待了一年多后,Calvin 于今年 6 月份離職。
離職三周后,他在個(gè)人博客中寫下了這篇名為《關(guān)于 OpenAI 的反思》文章。
至于離職原因,Calvin 強(qiáng)調(diào)并沒(méi)有什么私人恩怨,相反,他走的時(shí)候還挺糾結(jié)。
「從自己當(dāng)老板到成為 3000 人公司的一員,這種轉(zhuǎn)變確實(shí)不小?,F(xiàn)在,我想重新開(kāi)始,找點(diǎn)新鮮感,但說(shuō)不定哪天我會(huì)回去,畢竟 OpenAI 的工作吸引力太強(qiáng)了,能參與 AGI 的開(kāi)發(fā)、接觸到可能是這十年最重要的技術(shù),這種機(jī)會(huì)太難得了。」
沒(méi)有郵件文化,全靠Slack溝通
Calvin 透露,OpenAI 的增長(zhǎng)速度快得驚人。
他剛加入時(shí),公司剛過(guò) 1000 人,但一年后已經(jīng)超過(guò) 3000 人,Calvin 的工齡甚至排在前 30%,而領(lǐng)導(dǎo)層的職責(zé)也跟兩三年前完全不同。
這么快的擴(kuò)張,必然會(huì)出現(xiàn)各種問(wèn)題,比如內(nèi)部溝通、組織架構(gòu)、產(chǎn)品發(fā)布、人員管理、招聘流程等等。
不同團(tuán)隊(duì)的風(fēng)格差別也很大:有的團(tuán)隊(duì)全速?zèng)_刺各種新項(xiàng)目,有的負(fù)責(zé)大模型訓(xùn)練,還有一些團(tuán)隊(duì)則按部就班,節(jié)奏更為穩(wěn)定??傊?strong>OpenAI 沒(méi)有統(tǒng)一的工作體驗(yàn),因?yàn)檠芯?、?yīng)用和市場(chǎng)推廣團(tuán)隊(duì)的工作節(jié)奏完全不同。
特別有意思的一點(diǎn)是,OpenAI 內(nèi)部事情幾乎全靠 Slack 溝通,基本不用郵件。Calvin 在公司一年大概只收到 10 封郵件。如果 Slack 通知沒(méi)有設(shè)置好,會(huì)覺(jué)得非常分散注意力;但如果管理得當(dāng),Slack 還挺好用的。
晉升靠實(shí)際能力,而不是演講或搞政治
OpenAI 在研究方面非?!缸韵露稀?。Calvin 剛加入時(shí),詢問(wèn)下一季度的計(jì)劃,得到的回答是:「沒(méi)有這種東西!」(不過(guò)現(xiàn)在有了)。好點(diǎn)子可以從任何地方冒出來(lái),事先沒(méi)人知道哪個(gè)會(huì)成功,研究進(jìn)展靠一步步試錯(cuò),靠新發(fā)現(xiàn)推動(dòng),而不是什么宏大藍(lán)圖。
這種自下而上的文化讓 OpenAI 很看重能力,公司領(lǐng)導(dǎo)的晉升也主要看誰(shuí)能提出好點(diǎn)子并執(zhí)行到位。很多厲害的領(lǐng)導(dǎo)其實(shí)并不太擅長(zhǎng)演講或搞辦公室政治,但在 OpenAI 這都不重要,好想法才是王道,他們更看重實(shí)際能力和成果,而不是表面功夫或內(nèi)部博弈。
只要有好想法,無(wú)需請(qǐng)示,干就完了
OpenAI 強(qiáng)調(diào)「行動(dòng)為先」(你可以直接去做事)。不同團(tuán)隊(duì)常會(huì)不約而同想到類似點(diǎn)子。Calvin 剛?cè)r(shí)參與了一個(gè)類似 ChatGPT Connectors 的內(nèi)部項(xiàng)目。Codex 發(fā)布前,公司里大概有三四個(gè)類似的原型,都是幾個(gè)人自發(fā)搞的,不需要向上級(jí)請(qǐng)示,只要點(diǎn)子有潛力,團(tuán)隊(duì)很快就會(huì)聚起來(lái)。
Codex 的負(fù)責(zé)人 Andrey 說(shuō),研究員就像「小型 CEO」,公司鼓勵(lì)研究員自己找問(wèn)題、試想法,如果一個(gè)問(wèn)題被認(rèn)為「無(wú)聊」或「已解決」,基本不會(huì)再有人去碰它。
優(yōu)秀的研究經(jīng)理超級(jí)重要,但資源有限。他們能把不同研究工作串起來(lái),推動(dòng)更大規(guī)模的模型訓(xùn)練。優(yōu)秀的產(chǎn)品經(jīng)理(PM)也一樣。
Calvin 舉了個(gè)例子。他合作過(guò)的 ChatGPT 工程經(jīng)理(Akshay、Rizzo、Sulman)是他見(jiàn)過(guò)最沉穩(wěn)的人,感覺(jué)他們什么陣仗都見(jiàn)過(guò)了。他們大多放手管理,專注于招聘優(yōu)秀人才并為他們創(chuàng)造成功的條件。
戰(zhàn)略調(diào)整迅速,很注重保密
OpenAI 的戰(zhàn)略轉(zhuǎn)向很快。新信息來(lái)了就調(diào)整方向,不死守計(jì)劃。一個(gè) 3000 人的公司能保持如此高效決策的能力,這一點(diǎn)是谷歌比不了的。OpenAI 決策很快,一旦確定方向,就會(huì)全力以赴。
公司受外界關(guān)注極多,經(jīng)常內(nèi)部還沒(méi)宣布的事,媒體就先報(bào)道了。一些 Twitter 用戶甚至運(yùn)行自動(dòng)化機(jī)器人,監(jiān)控 OpenAI 是否有新功能發(fā)布。
所以,OpenAI 很注重保密,這也使得 Calvin 沒(méi)法跟外人細(xì)說(shuō)他究竟在干啥。Slack 工作區(qū)有嚴(yán)格的權(quán)限管理,收入和支出數(shù)據(jù)更是高度保密。
內(nèi)部非常重視安全問(wèn)題
OpenAI 比你想象的嚴(yán)肅,因?yàn)樨?zé)任重大。一方面,公司目標(biāo)是打造 AGI,壓力山大;另一方面,產(chǎn)品服務(wù)數(shù)億用戶,涉及醫(yī)療建議、心理咨詢等各種場(chǎng)景。同時(shí),公司還在全球最大舞臺(tái)上競(jìng)爭(zhēng),盯著 Meta、谷歌、Anthropic 的動(dòng)態(tài),當(dāng)然它們肯定也在盯著 OpenAI。各國(guó)政府也在密切關(guān)注 AI 領(lǐng)域。
雖然 OpenAI 常被媒體批評(píng),但每個(gè)人都在努力做正確的事。作為消費(fèi)者導(dǎo)向的公司,它最受矚目,自然也招來(lái)最多非議。
但別把 OpenAI 看成鐵板一塊。它更像最初的洛斯阿拉莫斯實(shí)驗(yàn)室:一群科學(xué)家搞前沿研究,意外做出了席卷全球的應(yīng)用,然后開(kāi)始向政府和企業(yè)拓展。不同部門、不同工齡的員工目標(biāo)和視角差別很大。待得越久,越可能以「研究實(shí)驗(yàn)室」或「公益組織」的角度看問(wèn)題。
OpenAI 真的在踐行 AI 的普惠。尖端模型不只給大客戶,任何人都能用 ChatGPT,哪怕不登錄。API 對(duì)初創(chuàng)公司開(kāi)放,最先進(jìn)的模型也很快會(huì)上線。
安全問(wèn)題比你想的更受重視。很多人致力于開(kāi)發(fā)安全系統(tǒng),重點(diǎn)解決實(shí)際風(fēng)險(xiǎn),比如仇恨言論、濫用、操控政治偏見(jiàn)、生物武器、自我傷害、提示注入等,而不是空談理論風(fēng)險(xiǎn)(像智能爆炸)。理論風(fēng)險(xiǎn)也有人研究,但不是重點(diǎn),很多安全工作還沒(méi)公開(kāi)。
靠 Twitter 氛圍驅(qū)動(dòng)
與其他公司在招聘會(huì)上隨意發(fā)放各種帶有品牌標(biāo)志的紀(jì)念品不同,OpenAI 的周邊很少,甚至新員工也拿不到多少。公司會(huì)通過(guò)「限量發(fā)售」的方式,讓大家訂購(gòu)現(xiàn)貨。第一次發(fā)售因?yàn)樾枨筇螅苯影?Shopify 商店搞崩潰了。內(nèi)部還流傳了一篇帖子,教大家如何通過(guò)發(fā)送正確的 JSON 數(shù)據(jù)來(lái)繞過(guò)限制。
跟 GPU 成本比,其他開(kāi)銷都是小錢。舉個(gè)例子,Codex 一個(gè)冷門功能的 GPU 成本,就頂?shù)蒙?Segment 整個(gè)基礎(chǔ)設(shè)施的開(kāi)銷(Segment 規(guī)模雖不如 ChatGPT,但流量也不?。?/p>
你可能會(huì)覺(jué)得,擁有全球頂級(jí)應(yīng)用已經(jīng)夠了,但 OpenAI 還想在多個(gè)領(lǐng)域競(jìng)爭(zhēng):API、深度研究、硬件、編碼代理、圖像生成等多個(gè)領(lǐng)域競(jìng)爭(zhēng),還有一些尚未公布的項(xiàng)目。
OpenAI 很關(guān)注 Twitter。你發(fā)條跟 OpenAI 相關(guān)的推文火了,內(nèi)部很可能有人看到并討論。有人開(kāi)玩笑說(shuō):「這公司靠 Twitter 氛圍驅(qū)動(dòng)?!?/strong>這話不假,當(dāng)然,數(shù)據(jù)分析(用戶增長(zhǎng)、留存等)也很重要。
團(tuán)隊(duì)流動(dòng)性高,領(lǐng)導(dǎo)層接地氣
OpenAI 的團(tuán)隊(duì)流動(dòng)性很高。Codex 發(fā)布時(shí),需要幾位經(jīng)驗(yàn)豐富的 ChatGPT 工程師幫忙趕上線日期。他們跟 ChatGPT 的工程經(jīng)理聊了一下需求,第二天就有兩位超厲害的工程師加入幫忙。沒(méi)有「等季度規(guī)劃」或「重新分配人力」的拖延,行動(dòng)非???。
領(lǐng)導(dǎo)層也很接地氣、很投入。每個(gè)高管,比如 Greg Brockman、Sam Altman、Karpathy、mark、dane 等都在 Slack 上參與討論,沒(méi)人當(dāng)「甩手掌柜」
OpenAI 有點(diǎn)像早期 Meta
OpenAI 用一個(gè)超大的單體代碼庫(kù),主要以 Python 為主,但也有越來(lái)越多 Rust 服務(wù)和少量 Golang 服務(wù),通常用于網(wǎng)絡(luò)代理這類場(chǎng)景。
因?yàn)?Python 寫法靈活,代碼風(fēng)格看起來(lái)五花八門。你會(huì)看到谷歌老兵寫的可擴(kuò)展庫(kù),也會(huì)碰到剛畢業(yè)的博士扔在 Jupyter 筆記本里的臨時(shí)代碼。API 基本都用 FastAPI 開(kāi)發(fā),參數(shù)校驗(yàn)用 Pydantic,但公司沒(méi)有強(qiáng)制執(zhí)行統(tǒng)一的代碼風(fēng)格規(guī)范。
OpenAI 所有服務(wù)都跑在 Azure 上。有趣的是,只有三種服務(wù)靠譜:Azure Kubernetes Service、CosmosDB(文檔存儲(chǔ))和 BlobStore。沒(méi)有 AWS 那種 Dynamo、Spanner、Bigtable、Bigquery、Kinesis 或 Aurora 的直接替代品。自動(dòng)擴(kuò)展的思維用得不多,權(quán)限管理(IAM)功能也比 AWS 弱不少,公司更傾向于自己開(kāi)發(fā)。
工程團(tuán)隊(duì)里,Meta 到 OpenAI 的人才流動(dòng)很明顯。OpenAI 有點(diǎn)像早期 Meta:爆款消費(fèi)者應(yīng)用、剛起步的基礎(chǔ)設(shè)施、追求快速行動(dòng)。從 Meta 和 Instagram 來(lái)的基礎(chǔ)設(shè)施人才都很強(qiáng)。基礎(chǔ)設(shè)施很多地方有 Meta 的影子,比如自研了類似 Meta 的 TAO(圖數(shù)據(jù)庫(kù)),還有邊緣身份認(rèn)證整合的項(xiàng)目等。
聊天功能深入代碼庫(kù)。ChatGPT 火了后,代碼庫(kù)很多地方都圍繞聊天消息和對(duì)話設(shè)計(jì),這些基礎(chǔ)元素根深蒂固。Codex 稍有不同(更偏向 API 響應(yīng)邏輯),但仍大量借用現(xiàn)有技術(shù)。
代碼為王。沒(méi)有中央架構(gòu)或規(guī)劃委員會(huì),干活的團(tuán)隊(duì)說(shuō)了算。結(jié)果就是,鼓勵(lì)行動(dòng)優(yōu)先,但也導(dǎo)致代碼庫(kù)重復(fù),比如隊(duì)列管理或代理循環(huán)的庫(kù)就有五六個(gè)。
快速擴(kuò)張的工程團(tuán)隊(duì)和工具不足帶來(lái)了一些問(wèn)題。后端單體服務(wù)(sa-server)有點(diǎn)像「垃圾堆」,主分支的持續(xù)集成更容易出問(wèn)題,測(cè)試用例跑半小時(shí)是常態(tài)。這些問(wèn)題不是沒(méi)法解決,但這種問(wèn)題哪兒都有,擴(kuò)張?zhí)鞎?huì)更嚴(yán)重,好在內(nèi)部團(tuán)隊(duì)正在努力改進(jìn)。
從敲下Codex第一行代碼到發(fā)布,只用了7周
除了以上內(nèi)容,Calvin 還分享了 Codex 的發(fā)布情況。
2024 年 11 月,OpenAI 定下 2025 年推編碼 Agent 的目標(biāo)。到 2025 年 2 月,內(nèi)部工具已很有效,市場(chǎng)也冒出很多「氛圍編碼」工具。
Calvin 提前結(jié)束產(chǎn)假,加入 Codex 團(tuán)隊(duì)。一周后,兩支團(tuán)隊(duì)合并,開(kāi)始瘋狂沖刺。從第一行代碼到發(fā)布,只用了 7 周。每天干到深夜 11 點(diǎn)或凌晨,早上 5:30 被新生兒叫醒,7 點(diǎn)到辦公室,周末也加班。團(tuán)隊(duì)全力以赴,每周都關(guān)鍵。
這種速度太夸張了。很少有公司能這么快從點(diǎn)子到發(fā)布完整產(chǎn)品。項(xiàng)目還不小:構(gòu)建容器運(yùn)行環(huán)境、優(yōu)化代碼倉(cāng)庫(kù)下載、微調(diào)專門處理代碼編輯的模型、支持 git 操作、開(kāi)發(fā)新界面、接入互聯(lián)網(wǎng),最終打造出這個(gè)好用的產(chǎn)品。
無(wú)論你對(duì) OpenAI 有什么看法,這家公司至今仍保留著那種「沖刺發(fā)布」的精神。
Codex 團(tuán)隊(duì)有 8 個(gè)資深工程師、4 個(gè)研究員、2 個(gè)設(shè)計(jì)師、2 個(gè)市場(chǎng)人員和 1 個(gè)產(chǎn)品經(jīng)理。沒(méi)人需要太多指導(dǎo),但需要協(xié)調(diào)。
發(fā)布前一晚,團(tuán)隊(duì)五人熬到凌晨 4 點(diǎn),忙著部署主服務(wù)。第二天早上 8 點(diǎn),回到辦公室,準(zhǔn)備發(fā)布公告和直播。功能一上線,流量立馬涌入。「我從沒(méi)見(jiàn)過(guò)一個(gè)產(chǎn)品僅靠出現(xiàn)在 ChatGPT 側(cè)邊欄,就能立刻吸引這么多用戶,這就是 ChatGPT 的威力?!?/p>
產(chǎn)品形態(tài)上,Codex 選擇了完全異步的方式,用戶啟動(dòng)任務(wù),讓代理在獨(dú)立環(huán)境中運(yùn)行?!肝覀兊脑O(shè)想是,未來(lái)用戶會(huì)把編碼 Agent 當(dāng)『同事』:發(fā)個(gè)任務(wù)給它,讓它干活,然后它提交一個(gè) PR?!?/p>
這有點(diǎn)冒險(xiǎn)?,F(xiàn)在的模型很好,但還不完美,能運(yùn)行幾分鐘,但還不能持續(xù)幾小時(shí)。用戶對(duì)模型能力的信任度不一,他們甚至還不完全清楚模型的真正能力。從長(zhǎng)遠(yuǎn)看,Calvin 相信編程會(huì)越來(lái)越像 Codex。
Codex 擅長(zhǎng)處理大代碼庫(kù)和多任務(wù)并行。相比其他工具,它能同時(shí)跑多個(gè)任務(wù)并比較結(jié)果。公開(kāi)數(shù)據(jù)顯示,Codex 發(fā)布 53 天生成了 63 萬(wàn)個(gè)公開(kāi) PR,平均每位工程師貢獻(xiàn)約 7.8 萬(wàn)個(gè),私有 PR 可能更多。
離職感言
Calvin 坦言,最初他對(duì)加入 OpenAI 有點(diǎn)忐忑。放棄創(chuàng)業(yè)自由、接受管理、做大機(jī)器的小齒輪,他不確定能不能適應(yīng),所以剛加入時(shí)很低調(diào),以防不合適。
他想從 OpenAI 得到三樣?xùn)|西:
- 了解模型訓(xùn)練和未來(lái)方向;
- 跟牛人共事、學(xué)習(xí);
- 發(fā)布一個(gè)好產(chǎn)品。
而以上這些他無(wú)疑都實(shí)現(xiàn)了。此外,他還得到了其他收獲。
- 「大型消費(fèi)品牌」的威力:在 OpenAI,所有衡量指標(biāo)都圍繞「Pro 訂閱」展開(kāi)。即使是像 Codex 這種偏工具類產(chǎn)品,也主要以「?jìng)€(gè)人使用」的視角來(lái)設(shè)計(jì)引入流程,而不是從「團(tuán)隊(duì)使用」角度出發(fā)。只要按一上線,流量馬上就來(lái)了。
- 大模型的訓(xùn)練:模型訓(xùn)練是一個(gè)從「實(shí)驗(yàn)」到「工程」的過(guò)程。最初都是小規(guī)模實(shí)驗(yàn),如果結(jié)果不錯(cuò),就會(huì)被整合到更大的訓(xùn)練中。實(shí)驗(yàn)不僅涉及調(diào)整核心算法,還要優(yōu)化數(shù)據(jù)組合,仔細(xì)分析結(jié)果。到了大規(guī)模訓(xùn)練,就像在搞巨型分布式系統(tǒng)工程,會(huì)有各種意想不到的邊緣情況,需要你去排查解決。
- GPU 計(jì)算的門道:Codex 發(fā)布時(shí),需要預(yù)測(cè)負(fù)載容量要求,核心經(jīng)驗(yàn)就是,應(yīng)該從你需要的延遲要求(整體延遲、token 數(shù)量、首個(gè) token 時(shí)間)出發(fā),而不是從 GPU 能支持的性能去推算。每次模型迭代都會(huì)大幅改變負(fù)載模式。
- 在大型 Python 代碼庫(kù)中工作:當(dāng)有大量開(kāi)發(fā)者同時(shí)維護(hù)一個(gè)倉(cāng)庫(kù)時(shí),你必須增加各種「防誤操作」機(jī)制,比如「默認(rèn)可用」、「主干分支保持干凈」、「不容易被誤用」等。這些都需要通過(guò)規(guī)范和工具來(lái)系統(tǒng)性保障。
最后,Calvin 表示,如果你是創(chuàng)業(yè)者,覺(jué)得公司沒(méi)進(jìn)展,建議深入反思如何才能取得更多進(jìn)展,或者加入頂級(jí)實(shí)驗(yàn)室。目前來(lái)看,AGI 的競(jìng)爭(zhēng)是三強(qiáng)爭(zhēng)霸:OpenAI、Anthropic、谷歌。每家路子不同,在任何一家工作都會(huì)大開(kāi)眼界。
https://calv.info/openai-reflections
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.