公眾號(hào)記得加星標(biāo)??，第一時(shí)間看推送不會(huì)錯(cuò)過(guò)。

來(lái)源：內(nèi)容編譯自semiengineering。

人工智能數(shù)據(jù)中心的能源消耗速度大約是電網(wǎng)新增電力速度的四倍，這為發(fā)電地點(diǎn)、人工智能數(shù)據(jù)中心建設(shè)地點(diǎn)以及更高效的系統(tǒng)、芯片和軟件架構(gòu)的根本性轉(zhuǎn)變奠定了基礎(chǔ)。

對(duì)于正在競(jìng)相建設(shè)人工智能數(shù)據(jù)中心的美國(guó)和中國(guó)來(lái)說(shuō)，這些數(shù)字尤其引人注目。美國(guó)能源部委托撰寫的一份2024年報(bào)告顯示，去年美國(guó)數(shù)據(jù)中心消耗的電量約占美國(guó)總發(fā)電量的4.4%，約為176太瓦時(shí)。預(yù)計(jì)到2028年，這一數(shù)字將增至325至580太瓦時(shí)，分別占美國(guó)總發(fā)電量的6.7%至12%。

圖 1：2014 年至 2028 年服務(wù)器存儲(chǔ)、網(wǎng)絡(luò)設(shè)備和基礎(chǔ)設(shè)施的總發(fā)電量與消耗量（預(yù)估）

與此同時(shí)，預(yù)計(jì)中國(guó)明年的能源消耗量將達(dá)到400太瓦時(shí)。雖然這些數(shù)字看起來(lái)與美國(guó)的消耗量相當(dāng)，但國(guó)際能源署指出，中國(guó)公民的能源消耗量遠(yuǎn)低于美國(guó)公民。在全球范圍內(nèi)，能源消耗率每年以30%的速度增長(zhǎng)，這主要?dú)w因于人工智能，其中美國(guó)和中國(guó)占了約80%的增量。

圖2：電力消耗地點(diǎn)

“電力不再是玩笑，”西門子EDA副總裁兼硬件輔助驗(yàn)證總經(jīng)理Jean-Marie Brunet說(shuō)道。“想象一下，如果2028年的數(shù)據(jù)中心用電量占美國(guó)總用電量的12%，那簡(jiǎn)直太瘋狂了。我們得重建整個(gè)電網(wǎng)。”

其他人也對(duì)此表示贊同。NVIDIA 總裁兼首席執(zhí)行官黃仁勛在最近與Cadence首席執(zhí)行官 Anirudh Devgan 的 CDNLive 討論中指出：“發(fā)電將會(huì)成為一件大事。原因在于電網(wǎng)不足以支撐這個(gè)行業(yè)的增長(zhǎng)。我們希望在陸地上發(fā)展這個(gè)行業(yè)，如果真這么做，我們將會(huì)看到大量柴油發(fā)電機(jī)和各種各樣的設(shè)備。”

那么，我們能做些什么呢？主要有四個(gè)目標(biāo)領(lǐng)域，每個(gè)領(lǐng)域都直接涉及半導(dǎo)體行業(yè)：

• 減少輸電距離和降壓次數(shù)；

• 盡可能限制數(shù)據(jù)移動(dòng)；

• 更高效的處理，以及

• 靠近處理元件或封裝內(nèi)部的冷卻效果更佳。

距離和降壓損耗

與數(shù)據(jù)一樣，電力輸送也需要成本。根據(jù)美國(guó)能源信息署的數(shù)據(jù)，平均有5%的電力在輸配過(guò)程中損耗。然而，違反直覺(jué)的是，長(zhǎng)達(dá)數(shù)百英里的高壓線路的損耗（約2%）比短距離低壓線路的損耗（約4%）更低。這些數(shù)字還會(huì)因電源的不同而疊加，因?yàn)椴煌碾娫崔D(zhuǎn)換率不同（見(jiàn)下圖3）。

圖3：美國(guó)電力消耗量

（單位：千萬(wàn)億英熱單位）

Saras Micro Devices 首席商務(wù)官 Eelco Bergman 表示：“理想情況下，電壓要盡可能高，這意味著電流要盡可能低。損耗是電流的平方乘以電阻。所以一路上都在損耗電能。無(wú)論高壓線是什么，你都要不斷降低電壓。例如，數(shù)據(jù)中心的電壓可能是 400 伏，然后被轉(zhuǎn)換為 48 伏提供給機(jī)架，最終降壓到 12 伏到達(dá)負(fù)載點(diǎn)。但在整個(gè)過(guò)程中，你都希望在數(shù)據(jù)中心附近發(fā)電，以縮短距離，并盡可能保持高電壓，并使電壓接近終端。”

這里需要權(quán)衡的是電壓與電流。電流越大，發(fā)熱量越大。而且沒(méi)有哪個(gè)器件的效率是100%，所以隨著電源靠近封裝，會(huì)產(chǎn)生一些熱量。反過(guò)來(lái)，封裝內(nèi)部發(fā)生的所有事情，包括數(shù)據(jù)處理、數(shù)據(jù)在內(nèi)存中的來(lái)回傳輸，以及互連中的電阻/電容，都會(huì)使發(fā)熱量進(jìn)一步加劇。此外，AI數(shù)據(jù)中心需要處理的數(shù)據(jù)更多，因此這些工作負(fù)載需要更高的利用率，這使得滿足散熱需求變得更加困難。

因此，從高壓線到低壓線，再到PCB、封裝，最終到單個(gè)芯片，每一步都會(huì)產(chǎn)生功率損耗，Bergman說(shuō)道。“如何縮短距離？電壓能盡可能接近多少？效率如何？散熱能力如何？這些都是業(yè)界正在關(guān)注的問(wèn)題。”

芯片行業(yè)在此扮演著重要角色。“由于現(xiàn)有基礎(chǔ)設(shè)施的限制，我們的步驟太多，中間電壓等級(jí)太多，”弗勞恩霍夫IIS自適應(yīng)系統(tǒng)工程部高效電子部門負(fù)責(zé)人安迪·海尼格 (Andy Heinig) 表示。“當(dāng)然，我們可以在這方面節(jié)省大量能源。我們還看到，處理器和電源調(diào)節(jié)器需要協(xié)同工作。目前，電源調(diào)節(jié)器并不智能。它們只能跟蹤來(lái)自處理器的電流。但處理器知道它們?cè)谙乱粋€(gè)周期要做什么，并且可以通知電源轉(zhuǎn)換器即將發(fā)生大幅跳變或某些設(shè)備被關(guān)閉。因此，在某些方面，我們可以共同優(yōu)化處理器和電壓調(diào)節(jié)器，減少中間電壓等級(jí)的數(shù)量將有所幫助。”

移動(dòng)數(shù)據(jù)

另一個(gè)挑戰(zhàn)是構(gòu)建系統(tǒng)，使數(shù)據(jù)處理更靠近源頭。這可以減少需要移動(dòng)的數(shù)據(jù)量。但與此同時(shí)，數(shù)據(jù)傳輸?shù)木嚯x也需要縮短。這是 3D-IC 封裝背后的關(guān)鍵驅(qū)動(dòng)因素之一。無(wú)需在 SoC 上布線，而是可以策略性地垂直放置組件，以縮短這些距離。這不僅提高了性能，還降低了驅(qū)動(dòng)信號(hào)所需的功率。

Arteris產(chǎn)品管理和營(yíng)銷副總裁 Andy Nightingale 表示：“目前，我們的客戶面臨的最大挑戰(zhàn)之一是設(shè)計(jì)中的線長(zhǎng)。多裸片是一個(gè)單獨(dú)的挑戰(zhàn)，但在每個(gè)單片裸片變成多裸片之前，縮短線長(zhǎng)對(duì)于功耗來(lái)說(shuō)至關(guān)重要。我們關(guān)注的一個(gè)方面是擁塞。我們?cè)谠O(shè)計(jì)分析中也使用了熱圖來(lái)查看擁塞，因?yàn)槟鞘嵌鄺l線在開(kāi)關(guān)處匯合的關(guān)鍵點(diǎn)。我們也在平面圖內(nèi)工作，在其中我們將物理設(shè)計(jì)可視化，以便我們可以將開(kāi)關(guān)移出擁塞點(diǎn)，同時(shí)仍然在平面圖內(nèi)工作，以減少某個(gè)區(qū)域的散熱和電源擁塞。”

這也需要思維模式的轉(zhuǎn)變，因?yàn)樵谌斯ぶ悄軘?shù)據(jù)中心，電力仍然排在性能之后。但如果電力供應(yīng)不足，或者電價(jià)飆升，那么人工智能公司將別無(wú)選擇，只能認(rèn)真考慮電力問(wèn)題。

Ansys（現(xiàn)為 Synopsys 旗下公司）產(chǎn)品營(yíng)銷總監(jiān) Marc Swinnen 表示：“如今，AI 設(shè)計(jì)的重點(diǎn)仍然放在性能上，這意味著雖然功耗確實(shí)非常重要，但相比于如何發(fā)揮芯片的最佳速度和性能，功耗仍然是次要考慮因素。功耗和性能之間總是存在權(quán)衡，這是根本。因此，如果真的想降低功耗，就必須降低性能。遵循摩爾定律會(huì)有所幫助，這會(huì)降低功耗。另一方面，大部分功耗用于 GPU 與不同元件之間的通信，甚至用于數(shù)據(jù)中心的背板。NVIDIA 推出了共封裝光學(xué)網(wǎng)絡(luò)，就是為了降低機(jī)架內(nèi)和機(jī)架之間的通信功耗。”

解決這些問(wèn)題需要整個(gè)芯片行業(yè)的變革。“一切都從芯片開(kāi)始。如果芯片非常耗電，而你想構(gòu)建一個(gè)LLM，那么你就必須訓(xùn)練它，”西門子的Brunet說(shuō)道。“你通過(guò)添加多種功能和擴(kuò)展來(lái)訓(xùn)練它。但如果你把所有東西加起來(lái)，從一個(gè)非常耗電的元素開(kāi)始，那么整個(gè)系統(tǒng)就會(huì)變得非常耗電。你還有一個(gè)數(shù)字孿生，你也需要大量的電力來(lái)計(jì)算這個(gè)數(shù)字孿生。但這不僅僅是EDA行業(yè)的問(wèn)題。這是全世界的問(wèn)題。”

更高效的處理

好消息是，有一些顯而易見(jiàn)的低成本解決方案。Movellus 總裁兼首席執(zhí)行官 Mo Faisal 表示：“僅僅是由于缺乏可見(jiàn)性，就存在 20% 的功耗稅。例如，假設(shè)你設(shè)計(jì)了一個(gè) 2 GHz 500 瓦的芯片。當(dāng)你完成系統(tǒng)級(jí)測(cè)試并準(zhǔn)備部署時(shí)，你會(huì)發(fā)現(xiàn)所有這些電源系統(tǒng)都是按照不同的目標(biāo)構(gòu)建的。所以現(xiàn)在，如果你想保持在 500 瓦以內(nèi)，你必須將頻率降低 10% 到 20%。這基本上是一個(gè)節(jié)流閥。對(duì)于芯片組來(lái)說(shuō)，情況只會(huì)變得更糟，因?yàn)楝F(xiàn)在你擁有的是同樣的東西，但你要將其乘以你正在處理的芯片組數(shù)量。每個(gè)芯片組可能有不同的工藝角，或者它可能采用不同的工藝。”

這只是一部分情況。“通過(guò)從芯片到系統(tǒng)，再到數(shù)據(jù)中心，提高可視性，可以額外獲得 20% 到 30% 的收益，”Faisal 說(shuō)道。“這兩者相互疊加，所以并非非此即彼。原因是芯片設(shè)計(jì)師擔(dān)心風(fēng)險(xiǎn)。‘嘿，我不希望芯片出現(xiàn)故障。’所以他們會(huì)通過(guò)冗余來(lái)超額配置。但在部署過(guò)程中，當(dāng)你設(shè)計(jì)數(shù)據(jù)中心時(shí)，你不是在為最大工作負(fù)載而設(shè)計(jì)的，而是在為峰值工作負(fù)載而設(shè)計(jì)的。原因是工作負(fù)載和軟件的變化速度遠(yuǎn)快于芯片。你不可能用現(xiàn)場(chǎng)看到的所有工作負(fù)載組合來(lái)測(cè)試芯片，因?yàn)楣ぷ髫?fù)載、模型、轉(zhuǎn)換器和代理都在快速變化。所以你必須考慮到這一點(diǎn)。與最大負(fù)載相比，數(shù)據(jù)中心的容量配置超出了 30%。”

理解半導(dǎo)體的使用方式對(duì)于這個(gè)等式也至關(guān)重要。僅僅增加冗余度并為最壞情況設(shè)置保護(hù)帶，就會(huì)增加驅(qū)動(dòng)信號(hào)通過(guò)額外電路所需的功率，以及由于導(dǎo)線中的電阻/電容而需要耗散的熱量。

摩爾定律在這里也發(fā)揮了作用。雖然每個(gè)新工藝節(jié)點(diǎn)上處理器性能的提升正在逐漸減弱，但預(yù)計(jì)功耗的改善將非常顯著——最高可達(dá) 30%，具體取決于工藝和代工廠。與任何新工藝一樣，這些數(shù)字會(huì)因架構(gòu)和工作負(fù)載的不同而有很大差異。

冷卻

經(jīng)驗(yàn)法則是，數(shù)據(jù)中心的電力成本是雙重的。第一次是為服務(wù)器和存儲(chǔ)機(jī)架供電。第二次是為它們冷卻，防止它們過(guò)熱。而這正成為一個(gè)更大的問(wèn)題，因?yàn)閯?dòng)態(tài)電流密度隨著人工智能服務(wù)器的利用率而不斷增加。訓(xùn)練大型（甚至小型）語(yǔ)言模型，以及支持生成式和代理式人工智能搜索，需要更多的處理能力。這反過(guò)來(lái)又提高了各種計(jì)算單元的利用率，使它們能夠在更長(zhǎng)的時(shí)間內(nèi)全速運(yùn)行。

Saras Bergman 表示：“冷卻的電力開(kāi)銷約為 30% 到 40%，如果只采用液體冷卻而不使用冷卻器，就可以將這一比例降低一半。但如果添加冷卻器，電力開(kāi)銷又會(huì)回升。這里需要進(jìn)行優(yōu)化。”

這個(gè)等式的關(guān)鍵點(diǎn)在于水的可用性。封閉系統(tǒng)中的自來(lái)水需要冷卻。使用當(dāng)?shù)毓┧畡t不需要。但根據(jù)環(huán)境與能源研究所的數(shù)據(jù)，一個(gè)大型數(shù)據(jù)中心每天的耗水量高達(dá)500萬(wàn)加侖，這大約相當(dāng)于一個(gè)擁有1萬(wàn)至5萬(wàn)人口的城鎮(zhèn)的用水量。

兩種替代方案是直接冷卻單個(gè)芯片和浸入式冷卻。直接冷卻可以采用微流體通道，這個(gè)想法最早由IBM在20世紀(jì)80年代提出，后來(lái)由于難度過(guò)大而被放棄。但隨著熱密度的增加，芯片制造商可能別無(wú)選擇，只能采用某種類型的微流體技術(shù)。然而，實(shí)施這種方法會(huì)增加結(jié)構(gòu)和制造方面的挑戰(zhàn)。這個(gè)想法很容易理解，因?yàn)樗浼夹g(shù)已經(jīng)使用了半個(gè)多世紀(jì)。但在封裝或芯片內(nèi)部，更靠近晶體管的位置實(shí)施它仍然是一個(gè)挑戰(zhàn)。

英特爾高級(jí)首席工程師兼公司熱核心能力小組負(fù)責(zé)人 Rajiv Mongia 解釋說(shuō)：“如果你考察一項(xiàng)冷卻技術(shù)，就會(huì)發(fā)現(xiàn)它需要考慮傳熱效率（這往往是從熱阻的角度來(lái)看待的），以及廣義上的結(jié)點(diǎn)到流體溫度。但如果從熱力學(xué)的角度來(lái)看，它關(guān)注的不是結(jié)點(diǎn)到流體的入口溫度，而是結(jié)點(diǎn)到流體的出口溫度。基本上，流體流出封裝或封裝區(qū)域時(shí)的溫度越高，從傳熱角度來(lái)看，下游設(shè)備就越容易管理。這會(huì)影響冷卻裝置、冷卻器以及所有相關(guān)設(shè)備的整體效率。”

這是堆疊芯片時(shí)的一個(gè)關(guān)鍵考慮因素。“當(dāng)我們談到3D-IC時(shí)，你可能需要在結(jié)構(gòu)內(nèi)部注入流體，比如芯片背面的硅微通道，”Mongia說(shuō)。“這是一個(gè)效益與復(fù)雜性的比率。你可以用這種放在背面的板來(lái)冷卻它。但是，一旦3D堆疊內(nèi)部的體積足夠大——想象一下某種立方體——你就無(wú)法再通過(guò)硅片的一側(cè)傳導(dǎo)熱量。你必須以某種方式從硅片內(nèi)部吸出熱量。最終，你需要一些特殊的機(jī)制，因?yàn)槟阋谌绱舜蟮墓杵w積內(nèi)產(chǎn)生如此多的能量，而不僅僅是在一個(gè)表面上。”

相比之下，浸入式冷卻則需要將整個(gè)服務(wù)器放入惰性液體中。其挑戰(zhàn)與微流體相同。熱量需要從機(jī)架內(nèi)部排出，而將封裝內(nèi)的熱負(fù)荷耗散到外部冷卻槽中比聽(tīng)起來(lái)要復(fù)雜得多。這需要了解組件在封裝內(nèi)的位置、潛在的熱界面材料，以及從數(shù)字邏輯到封裝外部的熱通道。

也有可能將這兩種方法一起使用，以大幅降低熱量，從而實(shí)現(xiàn)更均勻的晶體管密度和更大的電力需求。

資金和資源

芯片行業(yè)不會(huì)忽視這些。為了繼續(xù)保持至少與今天一樣快的增長(zhǎng)速度，需要解決兩個(gè)相關(guān)問(wèn)題——可持續(xù)性和成本。這些問(wèn)題最終將決定人工智能數(shù)據(jù)中心的部署速度、其能夠處理的處理量，以及從傳輸角度和芯片/系統(tǒng)/封裝設(shè)計(jì)角度需要進(jìn)行哪些改變。

西門子數(shù)字工業(yè)軟件首席執(zhí)行官邁克·埃洛表示：“可持續(xù)性始終是企業(yè)關(guān)注的重點(diǎn)，因?yàn)閹资陙?lái)，企業(yè)一直面臨著更好地利用自然資源的壓力。這正是我們的發(fā)展方向，以半導(dǎo)體為支柱，將助力眾多行業(yè)發(fā)展。從數(shù)據(jù)中心的功耗來(lái)看，我們的發(fā)展方向是不可持續(xù)的。對(duì)我們來(lái)說(shuō)，挑戰(zhàn)在于如何在數(shù)據(jù)中心現(xiàn)有的相同功耗配置下，將四倍、五倍甚至六倍的計(jì)算能力投入其中。”

商業(yè)基礎(chǔ)也體現(xiàn)在這幅圖中。“歸根結(jié)底，這是總擁有成本，”英特爾的 Mongia 說(shuō)。“無(wú)論是你正在創(chuàng)建的大型語(yǔ)言模型，還是你試圖生成的推理，都需要資本成本和運(yùn)營(yíng)成本。散熱成本既包括資本成本，也包括運(yùn)營(yíng)成本。那么，平衡點(diǎn)在哪里？投資回報(bào)率 (ROI) 是多少？升級(jí)到液體冷卻解決方案需要多少成本，因?yàn)閺臍v史上看，液體冷卻比空氣冷卻更昂貴。所有這些 AI 數(shù)據(jù)中心或 AI 解決方案主要都采用液體冷卻。對(duì)于我們來(lái)說(shuō)，要構(gòu)建它，你需要從你的軟件包中獲得更多，這意味著在生成你的語(yǔ)言模型時(shí)有更多的推理或更高的性能，從而隨著時(shí)間的推移降低運(yùn)營(yíng)成本。”

結(jié)論

為了更好地理解這一點(diǎn)，我們可以想象一下，內(nèi)華達(dá)州胡佛大壩每年發(fā)電量約為 4 TWh，亞利桑那州帕洛弗迪核電站每年發(fā)電量為 32 TWh，而中國(guó)三峽大壩預(yù)計(jì)每年發(fā)電量為 90 TWh。但按照目前的增長(zhǎng)速度，2028 年至 2030 年間，人工智能數(shù)據(jù)中心的電力需求將增加 350 TWh，幾乎是所有這些發(fā)電設(shè)施總發(fā)電量的三倍。

任何單一的改變都無(wú)法縮小這一差距。半導(dǎo)體行業(yè)要想繼續(xù)以目前的速度增長(zhǎng)，就需要從電網(wǎng)向下，到芯片向上的變革。即便如此，目前尚不清楚這是否真的能縮小差距，還是只會(huì)讓人工智能數(shù)據(jù)中心的規(guī)模進(jìn)一步擴(kuò)大。

https://semiengineering.com/crisis-ahead-power-consumption-in-ai-data-centers/

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對(duì)該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4102期內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送，小號(hào)防走丟

求推薦