院士的話

如何實現(xiàn)低能耗人工智能計算?

人工智能的發(fā)展歷程中，一個重要的推動因素是對人類神經(jīng)系統(tǒng)的研究。通過對視覺皮層、聽覺系統(tǒng)以及其他神經(jīng)系統(tǒng)的深入研究，科學家們得以理解和模擬大腦處理信息的方式，這些研究成果為構(gòu)建更先進的人工智能算法提供了理論基礎(chǔ)。然而，盡管人工智能在許多方面已經(jīng)取得了顯著的進步，但在能耗效率上卻遠遜于人腦。相關(guān)研究表明，完成特定任務(wù)的人工智能計算系統(tǒng)的能耗大約是人腦處理相同任務(wù)能耗的數(shù)千倍。這種巨大的能源消耗不僅限制了人工智能的應(yīng)用范圍，也對環(huán)境產(chǎn)生了負面影響。

因此，發(fā)展低能耗的人工智能成為了科研人員的緊迫任務(wù)。未來，人工智能的發(fā)展借鑒生物神經(jīng)系統(tǒng)高效節(jié)能的信息處理方式，通過模仿大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和突觸傳遞機制，開發(fā)出能夠像人腦一樣在極低能耗下運行的人工智能系統(tǒng)。這樣的類腦技術(shù)將有可能帶來一場人工智能的革命。發(fā)展低能耗人工智能計算不僅是解決當前算力瓶頸和環(huán)境問題的關(guān)鍵，也將推動人工智能走向千行百業(yè)，真正改變我們的生活和社會。

錢德沛

中國科學院院士，北京航空航天大學教授

01

何為人工智能？

人工智能（ArtifcialIntelligence，AI）是一門研究如何使計算機能夠模擬和執(zhí)行人類智能任務(wù)的科學和技術(shù)領(lǐng)域。它致力于開發(fā)能夠感知、理解、學習、推理、決策和與人類進行交互的智能系統(tǒng)。1956年8月在美國的達特茅斯夏季人工智能研究計劃中首次提出并確立了人工智能這一研究領(lǐng)域。因此1956年被普遍認為是人工智能元年，但人工智能真正為大眾普遍關(guān)注是在2010年前后，當神經(jīng)網(wǎng)絡(luò)終于被明確證明是非常有效的機器學習架構(gòu)時。研究人員通過學習人類視覺神經(jīng)系統(tǒng)，發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)能夠解決機器視覺問題；通過學習人類大腦的獎勵機制，發(fā)現(xiàn)了強化學習的方法從而大幅提升機器學習效率。要進一步了解人工智能，就要了解機器學習、深度學習、神經(jīng)網(wǎng)絡(luò)這些術(shù)語。

從視覺神經(jīng)網(wǎng)絡(luò)到機器視覺

人類一直渴望機器能像人一樣擁有智能。機器“看懂這個世界”即機器視覺，就是計算機接收到視覺信息如圖片、視頻、文字并能夠進行識別、分類、分析的智能處理過程。哈佛大學的大衛(wèi)·休伯爾和托斯坦·維厄瑟爾是兩位神經(jīng)生物學家，他們因在貓的視覺系統(tǒng)的研究成果獲得了1981年的諾貝爾生理學或醫(yī)學獎。他們發(fā)現(xiàn)視覺信號是通過幾層神經(jīng)元傳遞后呈現(xiàn)的結(jié)果。在初級視覺皮層中，每個神經(jīng)元僅連接到視野的一小部分區(qū)域，這些神經(jīng)元被稱為簡單細胞。在下一層，即視覺皮層中，其他單元集成了上一層激活的信息，使得視覺對象即使在視野中稍微移動，視覺系統(tǒng)也能保持圖像的呈現(xiàn)，這些單元被稱為復(fù)雜細胞。這種由簡單探測器（簡單細胞）被“總結(jié)”來創(chuàng)建更復(fù)雜探測器（復(fù)雜細胞）的機制遍布整個人類視覺系統(tǒng)。最終這種結(jié)構(gòu)和機制成為卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

▲卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

（引自：Yann LeCun論文：Gradient-based learning applied to document recognition）

卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)如圖所示，它是計算機視覺最經(jīng)典的架構(gòu)，它模擬人類視覺神經(jīng)元的感受野，將輸入的圖像分割為像素點矩陣，通過卷積運算和滑動窗口完成輸入信息的特征學習，具有非常高的視覺識別、分類和檢測性能，被廣泛應(yīng)用于自動駕駛、人臉識別、自助超市等場景。

02

人工智能大模型高能耗的挑戰(zhàn)

全球綠色可持續(xù)發(fā)展目標

今年聯(lián)合國氣候大會指出，全球碳排放量自2019年以來持續(xù)上升，盡管全球在減少溫室氣體排放方面取得了一些進展，但仍不足以實現(xiàn)巴黎協(xié)定的溫度目標。2015年簽署《巴黎協(xié)定》時，預(yù)計到2030年的溫室氣體排放量將增加16%，而如今預(yù)計的增加幅度為3%。然而，到2030年溫室氣體排放仍需分別下降28%和42%，才能達到《巴黎協(xié)定》的氣溫上升2°C 和1.5°C的限制。能源是溫室氣體排放的主要來源，目前占全球二氧化碳排放量的86%。報告呼吁所有國家加速低碳經(jīng)濟發(fā)展的轉(zhuǎn)型，擁有更大能力和排放責任的國家需要采取更具雄心的行動。

大模型高能耗的挑戰(zhàn)

人工智能模型的訓練和推理是實現(xiàn)人工智能應(yīng)用的關(guān)鍵環(huán)節(jié)。訓練的過程可以類比為人類的學習過程，需要花費時間和精力來理解和掌握知識；推理可以類比為人類的決策過程，是利用已有的知識進行判斷和決策。

人工智能模型訓練能耗巨大。根據(jù)斯坦福人工智能研究所（HAI）發(fā)布的《2023年人工智能指數(shù)報告》，OpenAI的GPT-3完成訓練耗電量高達1287兆瓦時（1 兆瓦時=1000千瓦時），大約相當于120個美國家庭1年的用電量。而這僅僅是訓練人工智能模型的電力消耗。

▲全球承諾排放量示意圖

（引自《Emissions?Gap?Report?2023》）

03

如何應(yīng)對人工智能的高能耗問題

低能耗人工智能是指在保證性能的同時，降低人工智能計算平臺的功耗。隨著人工智能技術(shù)的廣泛應(yīng)用，越來越多的設(shè)備開始搭載人工智能算法，而這也使得這些設(shè)備的電量消耗不斷增加。因此，如何降低人工智能的能耗，延長設(shè)備的續(xù)航時間，成為了當前亟待解決的問題。

更高效的數(shù)據(jù)

數(shù)據(jù)被視為AI系統(tǒng)的基石，是機器學習算法進行訓練和學習的“燃料”，現(xiàn)階段先進的大模型進行參數(shù)訓練時，常采用依賴于海量數(shù)據(jù)的粗獷式計算方式，造成大量計算資源和存儲空間浪費。相比于“數(shù)海戰(zhàn)術(shù)”，足量的優(yōu)質(zhì)數(shù)據(jù)更能為AI系統(tǒng)提供全面的、準確的訓練信息，使算法在面對未知的情況時能夠做出準確且具有魯棒性的決策。為了適應(yīng)AI算法的小樣本訓練和學習，可以通過數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、特征工程等對原始數(shù)據(jù)進行有效改造，將數(shù)據(jù)轉(zhuǎn)化為高價值資源，為低能耗AI的開發(fā)及優(yōu)化提供有力支持。

▲數(shù)據(jù)優(yōu)化示意圖

優(yōu)化算法

在人工智能領(lǐng)域，算法是人工智能技術(shù)的核心，也是能耗的重要組成部分。隨著“百模大戰(zhàn)”競爭的不斷加劇，頂級的NLP模型參數(shù)已經(jīng)高達上千億，訓練使用的高性能加速卡增長到了約4000張，所帶來的功耗和成本需求更是驚人。因此，在不降低模型性能的前提下，針對特定應(yīng)用場景，需要根據(jù)數(shù)據(jù)特性和任務(wù)需求，探索算法創(chuàng)新和超參調(diào)優(yōu)，減少模型的復(fù)雜度和計算量，進行精細的優(yōu)化和設(shè)計。好的算法可以更好地匹配訓練數(shù)據(jù)，有效挖掘特征信息，更好的理解數(shù)據(jù)的本質(zhì)和規(guī)律，顯著縮短模型訓練的時間。模型在推理部署前進行量化和壓縮，使模型在運行時更加高效和穩(wěn)定，進一步降低能源消耗。

硬件提升

算力是模型算法利用數(shù)據(jù)進行訓練和推理的硬件底座，如深度學習算法的計 算任務(wù)通常具有海量數(shù)據(jù)、復(fù)雜計算、高度并行等特性，需要計算單元和存儲單元高效協(xié)同工作，快速完成大規(guī)模數(shù)據(jù)的并發(fā)計算和模型的參數(shù)優(yōu)化。相比于中央處理器，圖形處理器有更多的計算單元和線程以及更大的內(nèi)存和帶寬，適合人工智能模型的訓練和推理。如美國英偉達公司的A100GPU是2020年5月正式發(fā)布的，采用7納米制程技術(shù)，在AI算力方面比前代產(chǎn)品V100有顯著提升；2022年3月正式發(fā)布H100 GPU，采用4納米制程技術(shù)，并且在AI算力和高帶寬內(nèi)存等方面比前代產(chǎn)品有顯著提升。如圖7所示的性能對比。另一種專門用于加速神經(jīng)網(wǎng)絡(luò)推理階段的定制ASIC，如Google的張量處理單元，Google在2021 年5月發(fā)布了第四代張量處理單元TPUv4i。這是用于加速機器學習特別是深度學習。

▲Nvidia的GPU?A100和H100性能對比圖

（引自Datasheet?of?NVIDIA?H100?Tensor?Core?GPU）

04

總結(jié)

智能計算將逐步成為主流計算方式，低能耗是人工智能走進千行百業(yè)、千家萬戶的必然途徑。解決人工智能產(chǎn)業(yè)的高耗能問題，將促進全社會數(shù)智化轉(zhuǎn)型，助力實現(xiàn)高質(zhì)量發(fā)展、碳達峰與碳中和的發(fā)展目標。智能計算將逐步成為主流計算方式，低能耗是人工智能走進千行百業(yè)、千家萬戶的必然途徑。解決人工智能產(chǎn)業(yè)的高耗能問題，將促進全社會數(shù)智化轉(zhuǎn)型，助力實現(xiàn)高質(zhì)量發(fā)展、碳達峰與碳中和的發(fā)展目標。

下期小編還會給大家?guī)砥渌把乜萍嫉慕庾x內(nèi)容，歡迎讀者朋友們持續(xù)關(guān)注我們！

圖文內(nèi)容來源于：

《面向未來的科技——2023重大科學問題、工程技術(shù)難題和產(chǎn)業(yè)技術(shù)問題解讀》

微信號｜大美科學

07-05熱文

06-26熱文