2025年6月2日，蘭德公司（RAND）發(fā)布題為《誰將為未來人工智能發(fā)展提供資金？》（Who Could Fund Future Artificial Intelligence Development?）的專家洞察報(bào)告。報(bào)告指出，自2018年以來，能夠執(zhí)行多種任務(wù)的基礎(chǔ)模型人工智能發(fā)展迅速，但其訓(xùn)練和運(yùn)行消耗的電力和先進(jìn)計(jì)算芯片等資源呈指數(shù)級(jí)增長。這引發(fā)了關(guān)于未來如果資源需求持續(xù)上升，巨額成本將由誰承擔(dān)的關(guān)鍵問題。報(bào)告旨在梳理未來可能出現(xiàn)的各種融資情景，探討在不同條件下，政府和私營部門各自可能扮演的角色及相應(yīng)的融資模式，為政策制定者和私營機(jī)構(gòu)在人工智能發(fā)展資金投入方面提供決策參考。啟元洞見編譯了其中的核心內(nèi)容，供讀者參考學(xué)習(xí)。

一、問題界定

自2018年以來，人工智能開發(fā)者一直在創(chuàng)建功能廣泛的基礎(chǔ)模型——這些模型在大型多樣化數(shù)據(jù)集上進(jìn)行訓(xùn)練，能夠適應(yīng)并執(zhí)行多種任務(wù)。其中最先進(jìn)的模型，如OpenAI的GPT系列和Anthropic公司的Claude，在短短幾年內(nèi)迅速改進(jìn)，并在特定任務(wù)中展現(xiàn)出令人印象深刻的性能。然而，它們也消耗著呈指數(shù)級(jí)增長的資源，如電力和先進(jìn)計(jì)算機(jī)芯片。如果資源需求的增長持續(xù)下去，誰將為這巨額成本買單？

（一）現(xiàn)有先進(jìn)機(jī)器學(xué)習(xí)模型的訓(xùn)練成本估算

創(chuàng)建基礎(chǔ)模型最關(guān)鍵的步驟是訓(xùn)練。在此階段，開發(fā)者輸入大量訓(xùn)練數(shù)據(jù)（通常是人類編寫的文本），并執(zhí)行復(fù)雜的計(jì)算，最終生成一個(gè)能夠產(chǎn)生與訓(xùn)練數(shù)據(jù)相似輸出的人工智能模型。訓(xùn)練階段成本高昂，但原則上只需執(zhí)行一次。訓(xùn)練完成后，終端用戶可以通過與訓(xùn)練模型交互來獲得輸出，這一過程稱為推理。

運(yùn)行先進(jìn)的大型機(jī)器學(xué)習(xí)（ML）模型需要高度專業(yè)化的硬件，其中最重要的是人工智能加速器，如圖形處理單元（GPU）。GPU最初為視頻游戲等應(yīng)用快速處理計(jì)算機(jī)圖形而開發(fā)，因其高效執(zhí)行高度并行化操作的能力，在ML應(yīng)用中廣泛使用。2023年，全球60%至70%的人工智能服務(wù)器使用了美國英偉達(dá)（NVIDIA）公司設(shè)計(jì)和銷售的GPU。NVIDIA A100系列芯片是現(xiàn)代ML應(yīng)用中最重要的GPU之一，2023年每片售價(jià)在10000至20000美元之間。

OpenAI的GPT-3模型，據(jù)估計(jì)在2020年于微軟Azure數(shù)據(jù)中心使用10,000塊NVIDIA V100芯片訓(xùn)練了15天。這次訓(xùn)練運(yùn)行的成本估計(jì)至少為160萬美元，更可能約為460萬美元，盡管研究人員后來證明，到2022年底，可以用不到50萬美元實(shí)現(xiàn)類似性能。關(guān)于OpenAI最先進(jìn)的基礎(chǔ)模型GPT-4的技術(shù)數(shù)據(jù)很少。然而，一項(xiàng)廣為引用的分析估計(jì)，GPT-4的最終訓(xùn)練（可能在2022年完成）需要25000塊NVIDIA A100芯片運(yùn)行90至100天，僅計(jì)算方面的成本就高達(dá)6300萬美元。該分析估計(jì)，同樣的訓(xùn)練在2023年使用8200塊H100芯片運(yùn)行55天，成本為2150萬美元。

同一分析估計(jì)，GPT-4的推理成本約為每頁對(duì)話0.0014美元。截至2024年3月，OpenAI對(duì)GPT-4默認(rèn)版本的收費(fèi)約為每頁對(duì)話0.03美元，這意味著21倍的利潤標(biāo)記。

谷歌（Google）并未公布其領(lǐng)先基礎(chǔ)模型Gemini Ultra的訓(xùn)練費(fèi)用，但人工智能研究機(jī)構(gòu)Epoch AI估計(jì)谷歌在硬件采購上花費(fèi)了2.6億至20億美元。

（二）機(jī)器學(xué)習(xí)模型訓(xùn)練計(jì)算需求的
前期增長率

區(qū)分ML模型高昂的一次性訓(xùn)練成本與顯著較低（但頻繁重復(fù)）的查詢模型成本（即模型推理）非常重要。訓(xùn)練GPT-3模型所需的計(jì)算資源與查詢?cè)撃Ｐ椭敝疗渖杉s6750億詞（約30億頁）輸出所需的計(jì)算資源大致相當(dāng)。然而，由于用戶數(shù)量龐大，用于運(yùn)行ML模型的大部分計(jì)算資源估計(jì)都用于推理而非訓(xùn)練。NVIDIA和亞馬遜網(wǎng)絡(luò)服務(wù)均估計(jì)，約90%的ML相關(guān)操作用于推理，僅10%用于訓(xùn)練。

公開信息中，訓(xùn)練成本的計(jì)算資源數(shù)據(jù)比推理成本更容易獲得。這些信息顯示，自2010年深度學(xué)習(xí)復(fù)興以來，用于訓(xùn)練最先進(jìn)ML模型的計(jì)算資源成本呈爆炸性增長。Sevilla等人研究了自2010年以來開發(fā)的80個(gè)被認(rèn)為是“里程碑式”ML模型的計(jì)算資源需求，發(fā)現(xiàn)訓(xùn)練這些模型所需的浮點(diǎn)運(yùn)算次數(shù)（FLOP）呈指數(shù)級(jí)增長，大約每5.7個(gè)月翻一番。Hobbhahn和Besiroglu研究發(fā)現(xiàn)，每秒可執(zhí)行的FLOP成本呈指數(shù)級(jí)下降，大約每2.5年減半，但Lohn和Musser發(fā)現(xiàn)這些成本自2017年以來已基本趨于平穩(wěn)。

正如Heim在2023年指出的，這兩個(gè)趨勢共同意味著訓(xùn)練模型所需的計(jì)算資源量增長速度遠(yuǎn)快于計(jì)算成本的下降速度。即便在對(duì)2022年計(jì)算成本下降的相當(dāng)樂觀評(píng)估下，每訓(xùn)練一個(gè)模型的成本仍在迅速增加，每年增長超過兩倍。這種趨勢不可能持續(xù)太多年；Heim指出，如果持續(xù)下去，到2036年，訓(xùn)練一個(gè)尖端模型將需要美國全年GDP。

Cottier在2023年更詳細(xì)的分析估計(jì)，所有“里程碑式”ML系統(tǒng)的訓(xùn)練成本每年增長175%至224%。超大規(guī)模模型的訓(xùn)練成本增長較慢，每年增長58%。Cottier總結(jié)道，“近期的增長支出可能會(huì)在2020年代大幅放緩。”Lohn和Musser同樣預(yù)測，訓(xùn)練成本的增長將在“遠(yuǎn)早于2026年”時(shí)趨于平穩(wěn)。

（三）可能限制計(jì)算能力的其他因素

除了成本，硬件可用性也是一個(gè)問題。Lohn和Musser估計(jì)，每年最多向數(shù)據(jù)中心銷售3500萬個(gè)人工智能加速器芯片。如果加速器需要在三年后更換，現(xiàn)有的增長趨勢在短期內(nèi)也可能無法維持。

NVIDIA的芯片全部由臺(tái)灣積體電路制造股份有限公司（簡稱臺(tái)積電，TSMC）制造。2021年的全球微芯片短缺映射出供應(yīng)脆弱的問題。但當(dāng)前多國正投資數(shù)十億美元用于國產(chǎn)微芯片生產(chǎn)，這可能在長期內(nèi)緩解供應(yīng)限制的問題。

數(shù)據(jù)中心巨大的電力需求也可能最終對(duì)現(xiàn)有電網(wǎng)的發(fā)電能力構(gòu)成壓力。微軟最近聘請(qǐng)專員負(fù)責(zé)將小型模塊化核反應(yīng)堆整合到其人工智能數(shù)據(jù)中心。

一些人也對(duì)ML訓(xùn)練和推理所用能源的環(huán)境影響表示擔(dān)憂。據(jù)統(tǒng)計(jì)，GPT-3的訓(xùn)練約排放了552公噸二氧化碳當(dāng)量（tCO2e）。

（四）增加計(jì)算投入是否能持續(xù)提升性能？

近年來，隨著開發(fā)者投入越來越多的計(jì)算資源訓(xùn)練更大的模型，大語言模型（LLM）的能力大幅提升。進(jìn)一步增加計(jì)算資源是否會(huì)繼續(xù)提升訓(xùn)練模型的性能？這個(gè)技術(shù)問題的答案對(duì)于確定未來硬件趨勢至關(guān)重要。

對(duì)于當(dāng)今大語言模型最流行的Transformer架構(gòu)，用于分析性能與生產(chǎn)投入函數(shù)關(guān)系的標(biāo)準(zhǔn)分析框架被稱為“縮放定律”（scaling laws）。根據(jù)經(jīng)驗(yàn)，Transformer LLM的性能在模型參數(shù)數(shù)量和訓(xùn)練數(shù)據(jù)集大小這兩個(gè)主要輸入變量上表現(xiàn)出簡單的數(shù)學(xué)依賴性。然而，2023年的研究表明，性能依賴于這些輸入的方式可能不像以前認(rèn)為的那么簡單。

大語言模型面臨的最大問題之一是它們傾向于編造或“幻覺”出不存在的虛假事實(shí)和參考文獻(xiàn)。測試表明，GPT-4的幻覺率為3.0%，而GPT-3.5的幻覺率為3.5%。從不同角度看，這可能被視為在計(jì)算資源增加約100倍的情況下，回報(bào)顯著或微不足道。

還有兩個(gè)更具體的技術(shù)挑戰(zhàn)可能會(huì)限制額外計(jì)算對(duì)訓(xùn)練基礎(chǔ)模型帶來的邊際效益。首先是人工智能開發(fā)者可能耗盡高質(zhì)量訓(xùn)練數(shù)據(jù)。2024年公開可用的最大的大語言模型訓(xùn)練數(shù)據(jù)集Dolma約4.3 TB，而2023年11至12月的Common Crawl檔案約500TB。人工智能開發(fā)者可能會(huì)在2026年至2032年之間耗盡高質(zhì)量文本訓(xùn)練數(shù)據(jù)。其次，未來的大語言模型可能會(huì)在包含大量先前大語言模型生成的文本的數(shù)據(jù)集上進(jìn)行訓(xùn)練，導(dǎo)致“模型崩潰”，即新訓(xùn)練模型的質(zhì)量嚴(yán)重下降。

OpenAI首席執(zhí)行官Sam Altman曾聲稱，僅僅擴(kuò)大現(xiàn)有范式不太可能帶來顯著進(jìn)展，并且“我們正處于（日益增大的）巨型模型時(shí)代的終結(jié)”。但無論是否會(huì)繼續(xù)按數(shù)量級(jí)增長，用于訓(xùn)練最大的大語言模型的計(jì)算資源無疑至少在近期內(nèi)會(huì)繼續(xù)增長。

二、經(jīng)濟(jì)理論

本節(jié)提供了一個(gè)理論框架，描述了投資日益復(fù)雜的基礎(chǔ)模型初始開發(fā)和訓(xùn)練的潛在情景。我們關(guān)注兩類潛在資金來源：私人融資和政府融資，并考慮混合模式、慈善融資以及可能沒有可行資金來源的情況。

（一）私人融資的盈利能力

私營部門只有在盈利的情況下才能可持續(xù)地資助未來基礎(chǔ)模型的開發(fā)和訓(xùn)練。現(xiàn)有基礎(chǔ)模型的盈利能力難以確定。截至撰寫本文時(shí)，領(lǐng)先的基礎(chǔ)模型估計(jì)訓(xùn)練成本在6300萬美元到20億美元之間。未經(jīng)證實(shí)的報(bào)告稱，OpenAI在2023年10月的年化收入為13億美元，Anthropic在2023年10月的年化收入為1億美元，并內(nèi)部預(yù)測到2024年底年化收入將達(dá)到8.5億美元。

這些未經(jīng)證實(shí)且具有推測性的收入和成本估計(jì)給基礎(chǔ)模型開發(fā)的盈利能力帶來了巨大的不確定性。

這種盈利能力的可持續(xù)性如何？ChatGPT于2022年11月向公眾發(fā)布時(shí)，確實(shí)引發(fā)了終端用戶興趣的爆炸式增長。但此后出現(xiàn)了一些興趣降溫的跡象。此外，微軟將GPT-4整合到其必應(yīng)（Bing）搜索功能中，但這并未導(dǎo)致Bing的使用量的顯著增加。然而，到2023年11月，ChatGPT網(wǎng)站的流量再次回升。

如果成本將呈指數(shù)級(jí)增長的說法是正確的，那么收入也必須以類似的速度增長才能使此類投資保持盈利。尚不清楚有多少收入來自個(gè)人終端用戶，有多少來自在基礎(chǔ)模型之上構(gòu)建自己應(yīng)用的其他公司。人類與這些服務(wù)互動(dòng)的時(shí)間存在實(shí)際限制，這將阻止廣告收入的無限擴(kuò)展。此外，開發(fā)者或用戶最終可能因此類模型的輸出或基于它們的行為而面臨社會(huì)或法律責(zé)任。

（二）未來可能融資情景框架

我們將探討四種主要的融資情景類別：停滯融資（人工智能寒冬）、私人融資、政府與私人聯(lián)合融資以及純政府融資。

圖1 可能的融資情景框架

*注：圖中橫軸為政府興趣，縱軸為私人興趣。左下角區(qū)域?yàn)椤叭斯ぶ悄芎保笊辖菂^(qū)域?yàn)椤八饺碎_發(fā)”，右上角彎曲區(qū)域?yàn)椤奥?lián)合開發(fā)”，右下角區(qū)域?yàn)椤罢_發(fā)”。

1. 人工智能寒冬（AI Winter）

如果私營部門、政府和其他參與者的興趣都過低，不足以證明進(jìn)一步開發(fā)基礎(chǔ)模型所需的高昂費(fèi)用，那么基礎(chǔ)模型的新融資將會(huì)停止。這通常被稱為人工智能寒冬，因?yàn)樗鼤?huì)嚴(yán)重阻礙人工智能能力的進(jìn)一步發(fā)展。

2. 私人融資基礎(chǔ)模型的開發(fā)與治理（Private Funding of Foundation Model Development and Governance）

政府興趣不高但私營部門興趣充足，將導(dǎo)致私營部門繼續(xù)提供開發(fā)未來基礎(chǔ)模型所需資金的情景，正如迄今為止在美國所見。美國公司已經(jīng)在基礎(chǔ)模型訓(xùn)練上花費(fèi)了數(shù)千萬甚至數(shù)十億美元。

3. 政府與私人聯(lián)合融資基礎(chǔ)模型的開發(fā)與治理（Joint Private-Government Funding of Foundation Model Development and Governance）

私營部門和政府對(duì)人工智能的研發(fā)和發(fā)展（R&D）的充分興趣，最終可能產(chǎn)生私營部門和政府合作融資的情景。其中一個(gè)例子是聯(lián)合基礎(chǔ)設(shè)施項(xiàng)目，如提議的美國國家人工智能研究資源（NAIRR），旨在創(chuàng)建一個(gè)國家級(jí)基礎(chǔ)設(shè)施，為人工智能研究提供計(jì)算資源、數(shù)據(jù)、技術(shù)專長和教育資源。該試點(diǎn)項(xiàng)目已于2024年1月啟動(dòng)。

4. 政府資助基礎(chǔ)模型的開發(fā)與治理（Government Funding of Foundation Model Development and Governance）

政府興趣充足而私營部門興趣不高，將導(dǎo)致政府直接資助基礎(chǔ)模型的開發(fā)，并可能擁有這些模型甚至包括國有化，例如核聚變研究或歐洲核子研究組織（CERN）。一些人工智能專家已經(jīng)呼吁建立一個(gè)“人工智能界的CERN”。

三、結(jié)論

目前領(lǐng)先的基礎(chǔ)模型訓(xùn)練成本估計(jì)在6300萬美元到20億美元之間，運(yùn)行成本更高。自2010年以來，訓(xùn)練領(lǐng)先模型的成本每年增長約58%，這一趨勢不可能再持續(xù)很多年。未來成本的增長取決于多種不可預(yù)測的因素，包括增加計(jì)算帶來的未來邊際性能回報(bào)、更高效訓(xùn)練算法的開發(fā)、GPU的可用性、高質(zhì)量訓(xùn)練數(shù)據(jù)的可用性以及各種政治和社會(huì)因素。

迄今為止，私營企業(yè)通過外部資本和內(nèi)部研發(fā)投資相結(jié)合的方式，在資助最先進(jìn)基礎(chǔ)模型開發(fā)方面處于領(lǐng)先地位。其商業(yè)模式和盈利能力仍不清楚。如果私營部門無法承擔(dān)或滿足相關(guān)法律社會(huì)規(guī)范，政府可能會(huì)介入直接資助新基礎(chǔ)模型的開發(fā)，并可能施加更高程度的控制。

即使是領(lǐng)先基礎(chǔ)模型巨大的（估計(jì)）成本，與私營公司在成熟行業(yè)（如云計(jì)算或石油天然氣開采）項(xiàng)目上的最大資本投資相比，仍然只占一小部分。因此，私營公司在達(dá)到其極限之前，可能仍有相當(dāng)大的財(cái)務(wù)空間來增加其在人工智能模型開發(fā)上的投資。

此外，這些模型的成本（估計(jì)）仍然只占政府資助的科學(xué)研究項(xiàng)目（如阿波羅計(jì)劃、大型強(qiáng)子對(duì)撞機(jī)或國際空間站）投資的一小部分。如果未來的基礎(chǔ)模型展現(xiàn)出僅靠私營部門無法釋放的重大經(jīng)濟(jì)或其他國家價(jià)值，那么政府主導(dǎo)如此規(guī)模的投資也并非完全沒有先例。另一種可能的未來是公私合作伙伴關(guān)系模式，類似于機(jī)場和美國國家實(shí)驗(yàn)室的現(xiàn)有模式。例如，2024年1月啟動(dòng)的NAIRR試點(diǎn)項(xiàng)目，就是對(duì)人工智能開發(fā)的公私合作伙伴關(guān)系最終可能形態(tài)的一個(gè)小型展示。

免責(zé)聲明：本文轉(zhuǎn)自啟元洞見。文章內(nèi)容系原作者個(gè)人觀點(diǎn)，本公眾號(hào)編譯/轉(zhuǎn)載僅為分享、傳達(dá)不同觀點(diǎn)，如有任何異議，歡迎聯(lián)系我們！

編輯丨啟元洞見

研究所簡介

國際技術(shù)經(jīng)濟(jì)研究所（IITE）成立于1985年11月，是隸屬于國務(wù)院發(fā)展研究中心的非營利性研究機(jī)構(gòu)，主要職能是研究我國經(jīng)濟(jì)、科技社會(huì)發(fā)展中的重大政策性、戰(zhàn)略性、前瞻性問題，跟蹤和分析世界科技、經(jīng)濟(jì)發(fā)展態(tài)勢，為中央和有關(guān)部委提供決策咨詢服務(wù)。“全球技術(shù)地圖”為國際技術(shù)經(jīng)濟(jì)研究所官方微信賬號(hào)，致力于向公眾傳遞前沿技術(shù)資訊和科技創(chuàng)新洞見。

地址：北京市海淀區(qū)小南莊20號(hào)樓A座

電話：010-82635522

微信：iite_er