OpenAI又為AI產業“貢獻”了家大模型公司。
日前,OpenAI前CTO 米拉·穆拉蒂公布了其創業項目,Thinking Machines Lab(思考機器實驗室)。
米拉是OpenAI的聯合創始人,也短暫擔任過公司CEO。
聯創中,包括Agent概念提出者Lilian Weng等前OpenAI研究員。
并且,在其官網還貼出了公司29人團隊名單,其中超過20人有在OpenAI供職的經驗。
公司公布的發展方向包括最先進的模型智能、高質量的基礎設施和先進的多模態能力等三個方面,可以說是分別對標OpenAI、xAI與谷歌Deepmind Gemini。
至此,OpenAI原始團隊已分裂出四個前沿模型公司,堪稱AI產業的黃埔軍校。
xAI:由埃隆·馬斯克于創立。該公司成立的目標是“了解宇宙的真實本質”,并致力于開發先進的人工智能技術,就在昨天還發布了第三代AI大模型Grok3,其被馬斯克稱為“地球上最聰明的人工智能”。
SSI:首席科學家以利亞創立,估值200億,宣稱沒有開發出AGI之前,啥都不發布。
Anthrpic:核心研究員Dario創立,以注重安全倫理為目標,Claude3為目前最強AI編程工具.
Thinkingmachines.ai:前CTO米拉剛成創立。
以下為米拉最近的一個訪談實錄:
主持人:各位,大家玩得開心嗎?太棒了!接下來,我很高興介紹我們的大咖訪談嘉賓:Mira Murati。她曾經擔任OpenAI的首席技術官。在那里,她負責監督包括 ChatGPT 和 DALL-E 在內的產品團隊,并為人工智能安全、倫理和機器學習研究的進步做出了貢獻。她甚至還擔任了幾天臨時 CEO。我還聽說她負責對外關系。我最近做了一個關于微軟的報道,有幾個人在沒有提示的情況下告訴我,她對微軟和 OpenAI 的合作關系至關重要,他們很喜歡和她一起工作,她讓西北地區的那家小公司的事情進展得更順利。在加入 OpenAI 之前,她在 Leap Motion 管理產品和工程團隊,并在特斯拉領導了包括 Model X 在內的汽車產品設計、開發和發布。這些都對嗎?歡迎Mira!
Mira Murati:謝謝你們邀請我。
主持人:Mira,你在九月份離開了OpenAI,并發表了一份非常慷慨和外交的聲明。你說你要進行自己的探索。我讀到了一些未經證實的報道,說你一直在籌集資金,并且可能在與其他 OpenAI 的員工合作。劇透一下,我知道從我們的準備來看,你不會過多談論你正在做的事情。但是,你能告訴我們任何關于你下一步計劃的事情嗎?
Mira Murati:我不會分享太多關于我下一步計劃的信息,因為我還在探索中,我還在摸索。但我可以告訴你們一些我未來感到興奮的事情。
主持人:好。
Mira Murati:并且,我通常會完全忽略外界的噪音和猜測。實際上,我認為關于誰離開了實驗室等等的噪音太多了,而對事情的實質性內容的關注卻很少。我所興奮的是,這與我之前做的事情非常相似,但也許角度略有不同。我對未來非常樂觀。我認為我們即將看到巨大的潛力,以及充沛的能量和智慧,甚至是意義。我真的認為,我們正處于好奇心和驚奇的無限時代的開端,我們將加深對世界的了解。最困難的部分將是如何在知識不斷加深的情況下,使我們的文明與科學技術的發展共同進化。我希望我能繼續在這方面做出積極的貢獻。
主持人:我認為你的樂觀不僅體現在你身上,也體現在 OpenAI 的其他人身上。這是一個人們擁有共同愿景的公司。你甚至可能一度把它描述為某種精神層面的東西。它以一種信念為中心,即人類真的在探索,利用數字技術發展中突然涌現的可能性,去做類似人類,甚至超越人類的事情。有人稱之為 AGI。你是否分享了這種觀點,即我們正在接近可以實現這一目標的時刻?
Mira Murati:是的。但為了說明它實際意味著什么,我將 AGI 定義為一個能夠在所有認知任務中達到人類水平的系統。如果你看看過去幾年,我們現在擁有在許多不同領域達到博士水平的系統。在此之前,我們擁有大學水平的系統。在此之前,僅僅在幾年前,我們還只有高中水平的系統。如果你只看這個趨勢并進行推斷,雖然不確定,但這表明進步很可能會繼續。在很短的時間內,我們可能會得到一個具有人類水平學習能力的系統,并具備在所有認知任務中進行表現的能力。現在,這感覺非常可行。即使它不是在幾年內發生的事情,也可能需要十年,也許是二十年,我不知道。但這感覺是可以實現的。而我記得六年前,它對我來說更像科幻小說。
雖然我受到了啟發,并且我們相信你所說的精神使命和共同愿景,但它仍然感覺很像科幻小說。 而現在,我們已經取得了足夠的進展,可以看到技術如何發展。
主持人:你是什么時候開始意識到這是可能的?你是如何參與到人工智能工作的?是在特斯拉早期還是在你的教育階段?
Mira Murati:嗯,我的背景是,我從小就對數學和科學很感興趣。我繼續學習了機械工程,并在航空航天領域擔任工程師。這讓我了解了如何在現實約束下構建和開發復雜的系統,以及那些對安全至關重要的系統。但是在特斯拉,我直觀地感受到人工智能將如何真正推動交通運輸的發展。在那里,我開始更多地思考它將如何影響其他領域,特別是我們如何改變我們與知識和信息的關系。這就是我開始對探索虛擬現實、增強現實以及從探索人機界面的角度進行研究時感興趣的地方。當我這樣做的時候,我實際上讀了很多雷·庫茲韋爾的書。在他的《奇點臨近》一書中,他談到我們的時代就像地球上人類生命出現的時候一樣,變化如此之大。這感覺很像科幻小說,但與此同時,它又足夠基于真實的可能性。對我來說,即使只有 2% 的可能性,這也將是我要做的最重要的事情。而 OpenAI 的使命真正引起了我的共鳴,要確保人工智能造福人類。
主持人:你提到了你工作過的那家虛擬現實公司。這似乎在你的簡歷中是一個有趣的轉折,就像一次旅行。我的意思是,如果這個訪談或這次會議在六年前舉行,所有人都會在談論元宇宙。我認為這里的任何會議都不是關于元宇宙的。我們現在談論的是人工智能。你仍然相信增強現實和虛擬現實將是非常重要的技術嗎?
Mira Murati:是的。我對虛擬現實和增強現實的看法更多的是來自于我想了解下一個人機界面是什么樣子,而不是我認為它會在那個特定的時間發生。我認為,自那時以來,虛擬現實和增強現實肯定取得了很大進展。我認為我們將看到偉大的技術,但我們也將看到其他界面。
主持人:關于炒作,有些人認為人工智能被瘋狂炒作了,并且有些人說,現在的情況表明它正在放緩或停滯。他們說,下一代模型不會像從 GPT-3 到 GPT-4 那樣的飛躍。那次飛躍簡直令人震驚。你是否反駁這種觀點?你認為人工智能正在停滯不前嗎?
Mira Murati:我認為一個有趣的觀察結果是,人們非常快地適應了這些變化。就像今天我們擁有的 ChatGPT 和 Claude 以及所有這些系統一樣,也許他們認為它們不夠好,它們沒有進步得足夠快。我將做這樣的觀察。也許這是一個關于我們社會適應更多變化的能力的良好信號。
但是,就是否存在平臺期而言,讓我們考慮一下進步來自哪里。今天的大部分進步來自增加神經網絡的規模、增加數據量、增加系統中使用的計算量。我們觀察到這種縮放定律,這實際上不是一個定律,而是一種觀察,即當你可預測地增加所有這些東西時,它會導致能力的提高。
我們在 2020 年看到了文本方面的進步,但自那時以來,我們已經在許多不同的數據、代碼、圖像和視頻等方面看到了這種進步。我們已經看到很多來自那里的進步。另一個進步的維度是多模態性。此外,我們也剛剛開始看到更多智能系統的興起。我預計那里將會有很多進步。但問題是,這些進步是否足夠?這些縮放定律是否會將我們引向能夠在所有認知任務中達到人類水平的系統?
我認為,目前的證據表明,進步很可能會繼續,我沒有看到太多相反的證據。但我們是否需要新的想法才能達到 AGI 級別的系統,這是不確定的。也很可能我們在架構或方法方面會遇到限制。但當這種情況發生時,人們會找到繞過它的方法,會出現新技術和新優化。所以我認為這不確定,但我很樂觀,進步將會繼續。我也聽到過一些相反的論點,比如數據墻和計算投資。
關于數據墻,人們正在探索諸如合成數據之類的方法,即模型生成自己的數據。 在計算方面,如果我們看看計算的投資水平,今年公司花費了10億美元,明年將增加10倍,達到100億美元,后年達到1000億美元。從能力的角度來看,進步似乎會繼續。但我認為,達到 AGI 級別的系統不僅僅關乎能力,還關乎如何使這些系統對齊、安全,以及如何建立整個社會基礎設施,使這些系統能夠運作,從而擁有積極的未來。因為這項技術本身既不是好也不是壞,它具有兩面性。
主持人:你提到了安全。當我深入研究 OpenAI 時,我不得不說,OpenAI 的成立是為了安全地構建 AGI。我與之交談過的人,一般來說,我并不是在說你,他們對構建 AGI 部分比對安全部分更興奮。他們并不是不重視安全,但那才是真正驅動他們的事情。當他們談論這個時,他們會興奮起來。你是否覺得我們對安全投入了足夠的注意力?而且,因為存在一種軍備競賽,確實存在一場競賽,一家公司要勝過另一家。你的模型更好,我的模型更好,我必須修復它并領先。你認為我們是否在安全方面做得太過火?你認為我們是否給予了足夠的關注?
Mira Murati:我認為,在實踐安全方面,我們實際上取得了很大進展。OpenAI 在實踐對齊方面所做的工作令人難以置信,它真正引領了整個行業。這很有意思,因為它也推動了整個行業的創新。但在理論層面,在更理論化的對齊方面,我們仍然缺乏。同時,在治理方面也是如此。在 AGI 級別的系統中,我們如何生活?我認為監管也滯后了,基本上整個基礎設施都滯后了。我認為,文明需要與這項技術和諧共存的基礎設施確實滯后了。
主持人:什么讓你更擔心?是我們在虛假信息或偏見等方面遇到的實際問題,還是人們所描述的更長期的、存在性的威脅?有人說,存在性的威脅是一種分散注意力的手段,因為人們現在并沒有真正構建安全的東西。你更擔心哪一個?
Mira Murati:我認為兩者都讓我擔心,但可能更擔心長期的安全問題。因為我認為,在圍繞虛假信息和偏見的短期安全問題上,市場已經達成了一致。因為,如果在你的業務中集成了會制造虛假信息的 AI 系統,這對你的業務不利。因此,我認為大量精力已經投入并將繼續投入到這一系列問題中。但缺乏的一個領域是透明度和人工智能素養。世界上大多數人對正在發生的事情缺乏了解。這些系統都是黑匣子。我認為,在理解這些系統的能力,以及它們如何運作,我們如何控制它們方面投入更多資源,并讓人們對他們擁有控制權以及沒有控制權的地方有直觀的認識,以及對未來會發生什么有期待,我認為這些非常重要。
主持人:你一直在開發這些產品。你能向我解釋一下,為什么我們一直無法消除“幻覺”嗎?
Mira Murati:一種思考 方式是,嗯……實際上,馮·諾依曼在 1955 年寫了一篇文章,他在文中談到了技術有害和積極的方面,以及它們是如何始終聯系在一起的。 他說,這些東西總是聯系在一起的,你幾乎無法區分,不可能區分獅子和羔羊。 我認為“幻覺”也是如此。 它使模型能夠提供極富想象力的輸出,但在不同的情況下,如果在你需要非常準確的信息(如法律或醫療)的背景下操作,則可能會非常有害。 自大型語言模型在現實世界中開發和部署以來,我們開發了諸如使用工具、使用搜索、獲取引文等新技術。 但這仍然是我們需要解決的問題。
主持人:你提出了一個有趣的問題。我知道 OpenAI 正在為此苦苦掙扎,實際上它正在因為知識產權問題而被起訴,即在訓練集中使用了涉嫌侵權的知識產權。有些人建議,你之前談到的合成數據可能是解決這個問題的一種方法。但在我看來,我們越深入這條道路,值得信賴的原始信息就越有價值。我最近讀到一篇研究報告,該研究報告討論了如果模型在人工智能生成的數據上進行訓練,會得到糟糕的結果。每次迭代都變得毫無意義。這似乎強調了人類創建的內容在訓練集中的價值。因此,不可避免的是,最終會出現某種最佳、最值得信賴模型的許可問題。這將限制世界模型。我們最終將如何處理這個知識產權問題,并擁有可靠的世界知識模型?
Mira Murati:我認為,這個問題的答案可能非常復雜。一方面,法律如何隨著這項技術的出現而演變?這是一個問題。另一個問題是如何確保那些沿途貢獻數據的人以某種方式參與到好處中,并探索新的商業模式,以及做更多的研究,了解特定的數據貢獻如何使模型產生一定的收入。還有一個層面絕對是關于數據的研究,以及弄清楚可以使用哪種數據,并推動諸如后訓練等領域的發展。這意味著你正在使用諸如人類反饋的強化學習或來自 AI 反饋的強化學習,就像憲法 AI 一樣,或者你正在使用其他技術。我認為,這實際上是現代 AI 系統中越來越復雜的一個領域。它需要大量的人類反饋或合成數據。
主持人:最后,假設我們確實得到了 AGI。你以前的老板說,這將是一個難以置信的豐饒時代,未來最貧窮的人將比現在最富有的人過得更好。你一定對此考慮了很多。如果我們擁有可以匹配甚至超越人類能力的 AGI,然后學會超越人類,我們將身處何處?那個世界會是什么樣子?
Mira Murati:我認為這取決于我們。我們對事物的發展以及文明如何與這項技術共同進化有很大的能動性。我認為,這完全取決于我們、我們建立的機構和結構、我們所做的投資以及我們如何前進。
我真正認為,現在有很多關注點放在特定的人身上。
但真正的問題是,我們所有人如何為這個生態系統做出貢獻,以一種集體積極的方式推動它前進?這才是真正塑造行動、約束任何特定個人行動的關鍵。
我希望更多人關注這一點。這不是由一家公司或個人來負責將AGI帶給整個文明。
主持人:非常感謝你,Mira。太棒了。
掃碼邀請進群,我們帶你一起來玩轉ChatGPT、GPT-4、文心一言、通義千問、訊飛星火等AI大模型,順便學一些AI搞錢技能。
往期文章回顧
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.