斷網(wǎng)的AI如同廢物，這種情況沒有解決方法嗎？

01

AI時代的隱疾

我們有多依賴網(wǎng)絡？以前的出租車師傅要憑經(jīng)驗和腳力記住每一條行車路線、每一個站點特征；而現(xiàn)在，網(wǎng)約車司機們依賴的是手機、網(wǎng)絡以及必備的導航軟件，一旦網(wǎng)絡被切斷，世界又會變成什么樣？

科幻電影《斷網(wǎng)假期》給了一個“絕妙”的答案：擱淺的巨輪、不斷從天墜落的客機、似乎被操控著的無人駕駛特斯拉以追尾的方式堵塞交通……或許失控才是AI時代斷網(wǎng)的后果。

想象一下，未來某一天，你正在自動駕駛的車輛中打盹，本該按照既定路線行駛的汽車突然警示“網(wǎng)絡中斷”，車輛開始偏離路線；抑或是家庭服務機器人突然暴走舞動，掃地機器人橫沖直撞……

這會是我們期待的AI嗎？當然不是。那有沒有不依賴云端網(wǎng)絡就能就能即時反應的AI？

有啊，“邊緣AI”概念就是為它而生。“邊緣AI”和“邊緣計算”有異曲同工之意。在企業(yè)、醫(yī)院、學校內(nèi)部的服務器、電腦、手機，都可以被視為“邊緣節(jié)點”；當數(shù)據(jù)在這些邊緣節(jié)點中處理、運算時，就稱為“邊緣計算”；那在這些邊緣節(jié)點上運行的AI，就可稱為“邊緣AI”。

這個只是一個大概意思，其實節(jié)點的范圍并不固定，業(yè)內(nèi)還沒有統(tǒng)一的定義，這里我們只是為了讓大家更好理解“邊緣AI”這一概念而做的解釋。

總的來說，“邊緣AI”意味著要把云端的計算能力，搬運到更靠近數(shù)據(jù)源頭的地方。

02

延遲與居高不下的成本

大部分AI軟件目前的運行都是將數(shù)據(jù)送上云端分析，再等待回傳結果，但這樣本身就有很多問題。

首先就是物理層面的限制：難以避免的延遲。

就算光速再快，你發(fā)出的信息從你附近的基站傳到幾百甚至幾千公里外的云端服務器，再把分析結果反饋回來，中間有各種網(wǎng)絡節(jié)點傳來傳去……就算把物理延遲控制在幾十毫秒內(nèi)，對于需要即時回應的AI系統(tǒng)來說也是個風險。

另外，就是基礎設施建設的成本幾乎無上限。要把海量的實時數(shù)據(jù)輸送到云端處理，繞不開帶寬的隱形限制。

根據(jù)香農(nóng)定理，傳輸速率與信道帶寬呈正相關。以我們更熟悉5G基站為例，當160MHz（兆赫茲，用于衡量網(wǎng)絡帶寬）頻寬開啟時，單用戶峰值速率可達2Gbps；但每增加一倍頻寬，設備射頻模塊成本就上升30%。

簡單來說就像拓寬高速公路時，需要拆除更多建筑，因而邊際成本會急劇攀升。AI應用時代，高解析影像與感測器所產(chǎn)生的數(shù)據(jù)就像一輛輛汽車，瘋狂涌入這一高速公路，為了滿足需求自然要不斷修路，但這個成本是很嚇人——現(xiàn)在全球物聯(lián)網(wǎng)設備已經(jīng)超過290億臺，如果全部依賴云端處理，每個月全球骨干網(wǎng)得擴容12%才能勉強應對。

而“邊緣AI”不一樣，它能把信息先在當?shù)靥幚恚侔选皾饪s”后的信息傳給云端，這不就能減輕頻寬負擔？

03

給AI大模型“瘦身”

AI的“邊緣化”最重要的優(yōu)勢當然還是可靠性。

如前所述，現(xiàn)在依賴云端的系統(tǒng)都可以視為“看天吃飯”，一旦網(wǎng)絡不穩(wěn)甚至斷線，那些公共安全系統(tǒng)和重要的預警設備就會形同虛設。而邊緣處理會讓任何系統(tǒng)都更獨立，哪怕暫時斷線，本地的AI還是會繼續(xù)運作。

這么一個合理且實際的應用需求該怎么實現(xiàn)？業(yè)界目前是“兩條腿走路”，一條是給AI大模型“瘦身”，另一條自然是要有強大的硬件平臺。

后者更依賴硬件廠商，英偉達、ARM、富士康近年來都沒閑著；前者則是“軟功夫”。

硬件資源總是有限的，但是大模型卻越來越龐大，不“瘦”不行啊。這其實跟圖片壓縮有點像：有些畫面細節(jié)我們?nèi)庋鄹究床怀鰜恚瑒h掉也不影響整體感覺，卻能大幅減少檔案大小。

在大模型上就是“量化”，意味著把模型中大量參數(shù)的精度降低。這就需要程序員們精密調(diào)整了，從而實現(xiàn)降低參數(shù)精度的同時，不影響到模型表現(xiàn)，“瘦身”但不會“降智”。

還有一個方法是把大模型本身給“修剪”一下。

打造一個“蒸餾”后的小模型更適合邊緣節(jié)點的應用

AI大模型實際上就是一整套類神經(jīng)網(wǎng)絡的系統(tǒng)，訓練類神經(jīng)元中彼此關聯(lián)的參數(shù)，但是那么多神經(jīng)元并不是各個都有用，總會有一些神經(jīng)元或連結參數(shù)是沒有太大貢獻的，那就把它去掉，讓整個結構都精簡。

其實現(xiàn)在更常見的是一開始就打造一個很小的模型，并讓它去學習大模型的知識，這就是“蒸餾”。

授人以魚不如授人以漁，小模型要用自己有限的“腦容量”學會大模型的思考過程，學到精髓，不必自己埋頭訓練就能輕松學到某種推理過程——現(xiàn)在很多小型語言模型就是這么練出來的，好處在于，能讓資源有限的設備能部署愈來愈強大的AI模型。

軟硬功夫缺一不可，這恐怕是AI時代一個必解的課題。

微信訂閱

歡迎通過郵局渠道訂閱2025年《電腦報》

郵發(fā)代號：77-19

單價：8元，年價：400元

編輯｜張毅

主編｜黎坤

總編輯｜吳新

爆料聯(lián)系：cpcfan1874（微信）

壹零社：用圖文、視頻記錄科技互聯(lián)網(wǎng)新鮮事、電商生活、云計算、ICT領域、消費電子，商業(yè)故事。《中國知網(wǎng)》每周全文收錄；中國科技報刊100強；2021年微博百萬粉絲俱樂部成員；2022年抖音優(yōu)質(zhì)科技內(nèi)容創(chuàng)作者