機器之心報道
機器之心編輯部
又一項中國的 AI 技術在國外火了!
近日,海外社交媒體平臺 X 上眾多關注 AI 的博主對一個來自中國的新技術展開熱烈討論。
有人表示:「中國不是隨便玩玩。這事兒影響太大了!」
有的直呼:「中國真的是在突破邊界!」
還有的說:「中國不是在『下棋』,他們在重新定義整個『棋局』!」
到底是什么樣的技術,竟能讓一眾老外給出如此之高的評價?
還驚呼「Amazing」「Superb」「Exciting」(小編仿佛在做雅思考試的高級詞匯替代練習)。
頭部 AI 科技博主 Jaynit Makwana 發帖說:「......It's called AI Flow - a system where models adapt, collaborate, and deploy......」
科技博主 Rishabh 推文表示:「......(它)可能會重塑生成式人工智能在邊緣端的運行方式...... 比我們見過的任何技術都更快、更經濟、更智能......」
Rasel Hosen 回復評論說:「...... 擁抱一個人工智能與我們的生活無縫融合的未來,真的可能徹底改變協作模式。已經迫不及待想看看它會如何發展了!」
Muhammad Ayan 表示:「這正是我們在實時人工智能部署中所需要的那種架構。」
VibeEdge 更是用「Game Changer」來形容。
小編立即搜索了一下,找到了AI Flow的定義,并且它還有個中文名字——智傳網
智傳網(AI Flow)是人工智能與通信網絡交叉領域的一項關鍵技術,即通過網絡分層架構,基于智能體間的連接以及智能體和人的交互,實現智能的傳遞和涌現
通過智傳網(AI Flow),智能可以突破設備和平臺的限制,在網絡不同層之間自由流動,從云計算中心到終端設備,實現隨需響應,隨處而至。
更令小編沒想到的是,這個技術竟是出自中國的一家央企 ——中國電信
根據 AI 科技博主 EyeingAI 介紹:「AI Flow by Professor Xuelong Li (CTO at China Telecom and Director of TeleAI) and the team explores how AI can actually work better in the real world.」
原來,智傳網(AI Flow)是中國電信人工智能研究院(TeleAI)正在著重發力的一項技術,由其院長李學龍教授帶領團隊打造。
李學龍教授是中國電信集團 CTO、首席科學家,他是全球少有的光電和人工智能雙領域專家,在光電領域的 OSA(美國光學學會)、SPIE(國際光學工程學會)和人工智能領域的 AAAI、AAAS、ACM 學會,以及 IEEE,都入選了 Fellow。
而這些海外博主們之所以會關注到智傳網(AI Flow),是源于 TeleAI 團隊于 6 月中旬在 arXiv 上掛出的一份前沿技術報告:
AI Flow: Perspectives, Scenarios, and Approaches
報告地址:https://arxiv.org/abs/2506.12479
在這份技術報告掛出后,快速受到全球技術市場研究咨詢機構 Omdia 的關注,還發布了一份行業短評報告,在分析生成式人工智能技術落地應用的趨勢和方向時,推薦產業各方將 TeleAI 的智傳網(AI Flow)技術「On the Radar」。
Omdia 的 AI 首席分析師蘇廉節(Lian Jye Su)還在社交媒體平臺發布推文表示:
「通過架起信息技術與通信技術之間的橋梁,智傳網(AI Flow)為自動駕駛汽車、無人機和人形機器人等資源密集型應用提供了強大支持,同時不會在延遲、隱私或性能方面做出妥協。分布式智能的未來已然來臨 —— 在這一未來中,先進應用既能突破設備限制,又能保持實時響應能力與數據安全性。」
AI Flow 到底是什么?
又為什么需要它?
翻開技術報告,開篇提到了兩個赫赫有名的人物:Claude Shannon(克勞德?香農)和 Alan Turing(艾倫?圖靈),一位是信息論的創始人,一位被譽為計算機科學之父。他們分別奠定了信息技術(IT)與通信技術(CT)的基礎。
報告指出,IT 與 CT 的發展呈現出雙軌并行的態勢,一方面不斷提升單個機器的性能,另一方面構建網絡以實現多臺機器間更高效的互聯。這種協同效應引發了一場技術革命,如今在人工智能大模型的推動下達到頂峰。
AI 的能力邊界正以超乎人們想象的速度擴張,文能賦詩作畫寫代碼,武能驅動機器人、無人機與自動駕駛汽車。更有觀點認為我們正在進入所謂的「AI 下半場」。然而,大模型對資源消耗大和通信帶寬高的需求,在實現普適智能方面正面臨著巨大挑戰。
真正的現實是,除了在聊天框里與 AI 對話,我們手中的手機、佩戴的設備、駕駛的汽車,距離真正的「泛在智能」似乎仍有遙遠的距離。
于是,一個巨大的悖論也隨之浮現:既然 AI 已如此強大,為何它仍未能無縫融入我們日常生活的方方面面呢?
答案其實就隱藏在 AI 強大的外表之下。一個殘酷的現實是:幾乎所有頂尖的 AI 都無法直接運行在我們身邊的終端設備上。它們是名副其實的「云端巨獸」,嚴重依賴遠在千里之外、擁有龐大算力的數據中心。
舉個例子,如果你要運行 671B 參數量的 DeepSeek-R1 模型(BF16 滿血版),則理論上至少需要 1342 GB 內存,而要保證 Token 輸出速度,所需的算力更是讓人咋舌。很明顯,這些需求已經遠遠超出了絕大多數手機、汽車等端側設備的承載極限。
這種絕對的云端依賴為 AI 應用的普及帶來了最致命的枷鎖:延遲
正如英特爾前 CEO 帕特?基辛格所言:「如果我必須將數據發送到云再回來,它的響應速度永遠不可能像我在本地處理那樣快。」—— 這是不可違背的「物理定律」。
對于毫秒必爭的自動駕駛汽車以及要求實時響應的外科手術機器人,這種延遲是不可接受的,甚至是生死攸關的。
這便是 AI 普及的「最后一公里」困局:最需要即時智能的場景往往離云端很遠;而最強大的智能,又偏偏被困在云端,無法下來。
如何打破這個僵局?過去,行業的思路是造更快的芯片、建更大的數據中心,但這越來越像一場投入產出比急劇下降的「軍備競賽」。
當所有人都執著于如何把算力的磚墻砌得更高時,破局的答案或許來自一個長期被忽視、卻更關乎萬物互聯本質的領域——通信
智傳網(AI Flow)正是這個顛覆性的答案!
它是一套整合了通信網絡與 AI 模型的創新架構,目標是要搭建起一座橋梁,讓智能本身能夠突破平臺的限制,在「端、邊、云」的層級化架構之間像數據一樣自由流動、隨需而至,實現 Ubiquitous AI Applications(讓 AI 應用無處不在)。
就像它的中文名字一樣,「智」代表人工智能,「傳」代表通信,「網」代表網絡,是一座讓「智」能「傳」輸之「網」
仔細看過 TeleAI 的技術報告后發現,智傳網(AI Flow)是一套組合拳,包含三個核心技術方向。
- 端-邊-云協同(Device-Edge-Cloud Collaboration):為智能的分布式運行提供了硬件基礎。
- 家族式同源模型(Familial Model):能夠靈活伸縮以適應不同設備,并通過復用計算結果實現高效協作。
- 基于連接與交互的智能涌現(Connectivity- and Interaction-based Intelligence Emergence):通過模型間的連接與交互,催生出超越任何單體能力的智能涌現,達成 1+1>2 的效果。
端-邊-云協同
分布式推理
為了實現 AI 服務的增強智能和及時響應,智傳網(AI Flow)采用了分層式端-邊-云協同架構。這三層網絡架構可為各種下游任務提供靈活的分布式推理工作流程,是模型協作的基礎,而模型協作正是智傳網(AI Flow)的一大基石。
首先來看現今通信網絡普遍使用的三層網絡架構,即設備層(端)邊緣層(邊)云層(云)
其中,端側設備通信時延最短但算力很低;部署在基站(BS)和路側單元(RSU)等邊緣節點的服務器算力稍強但通信時延稍長,而云端服務器雖然算力很強,但因為網絡路由,通信時延最高。
邊緣節點由于靠近終端設備,因此能夠提供中等計算能力和相對較低的傳輸延遲。邊緣服務器可充當云層和設備層之間的中介,支持本地化處理和動態任務編排。通過從資源受限的終端設備接管對延遲敏感的工作負載,邊緣層可以提高響應速度,同時減少對遠程云基礎設施的依賴。
然而,與云集群相比,其硬件資源仍然有限。因此,邊緣服務器對于工作負載的動態編排至關重要,它可以將計算密集型操作卸載到云端集群,同時直接支持終端層設備,從而確保高效利用分層資源。
容易看出,對于這種架構,有效的動態任務編排至關重要。
為了做到這一點,針對端-邊的協同推理,TeleAI 提出了任務導向型特征壓縮(Task-Oriented Feature Compression)方法,簡稱TOFC。該方法可通過在設備上執行融合與壓縮,根據通道條件動態優化與任務相關的多模態特征傳輸。
這種方式能極大減少傳輸的數據量,在實驗中,相比傳統圖片壓縮方式,TOFC 能在保證任務效果的同時,節省高達 60% 的傳輸數據。
用于端-邊的協同推理的 TOFC 系統圖示
具體來說,如上圖所示,首先由 CLIP 視覺編碼器生成視覺特征并對其進行基于 K 最近鄰的密度峰值聚類(DPC-KNN),從而大幅減少數據量和計算負載。
然后,采用基于超先驗的熵模型對融合后的特征進行編碼和解碼,從而在保持下游任務性能的同時最大限度地減少數據傳輸。
最后,訓練多個專門用于編碼不同特征的熵模型,并根據輸入特征的特點自適應地選擇最優熵模型。
此外,為了進一步提升效率,智傳網(TeleAI)還整合了推測解碼(speculative decoding)技術,也就是使用「Draft Token 生成 + 驗證」的方法。當用戶發起請求時:
- 設備先「生成 Draft Tokens」:部署在手機等終端設備上的輕量級模型會利用其響應速度快的優勢,迅速生成回答的「Draft Tokens」。
- 云/邊后「驗證」:「Draft Tokens」生成后,會被發送到邊緣服務器或云端。部署在那里的、能力更強的大模型并不會從頭重新生成一遍答案,而是扮演「驗證者」的角色,快速地驗證和修正「Draft Tokens」中的錯誤或不完善之處。
通過推測解碼實現的設備與邊緣服務器的分層協作框架概覽
為了克服傳統推測解碼中順序式「Draft Token 生成 + 驗證」范式所導致的固有延遲,TeleAI 提出了一種并行式端-邊協作解碼框架。而且該框架非常靈活,可以輕松地擴展成「端-邊-云」三層架構,解決一些更為復雜的任務,如下圖所示。
「端-邊」兩層以及「端-邊-云」三層的協同解碼示意圖
這種模式下,用戶能以小模型的速度享受到大模型的質量。實驗證明,在數學推理、代碼生成等任務上,這種協同方式的生成速度比單獨使用云端大模型提升了約 25%,同時還能保證與大模型同等的準確度 。
家族式同源模型
如何定制不同大小的智能?
家族式同源模型是指一系列大小不同但隱含特征已對齊的模型,因此可以實現無開銷的信息共享和有效協作。
實際上,這套模型并非不同大小模型的簡單組合,也不是像混合專家(MoE)模型那樣隨機激活一定比例的參數,而是能像變焦鏡頭一樣靈活伸縮,讓一個大模型可以按需「變身」成不同尺寸,以適應各類終端的算力限制。
更關鍵的是,它們在協同工作時還能夠復用彼此的計算結果,從而避免重復勞動,極大提升效率。不僅如此,該架構支持幾乎任意數量參數的模型,使其能夠充分利用異構設備的計算能力,從而滿足各種下游任務的需求。
實現家族式同源模型的兩大核心策略分別是:
- 權重分解(Weight Decomposition):將模型中龐大的參數矩陣分解為多個更小的矩陣,從而在不破壞結構的情況下,精細地調整模型大小。在這方面,TeleAI 新提出了一種名為分層主成分分解(HPCD)的技術,可通過對 Transformer 模塊內的線性層進行自適應權重分解,實現對總參數數量進行細粒度調整。
- 早退出(Early Exit):允許模型在計算過程中,根據任務的難易程度,從中間的某一層「提前」產生結果,而不必「跑完全程」。在這方面,TeleAI 新提出的了一種名為使用可擴展分支的早退出(EESB)的技術,可通過仔細調整已分解的層之間隱藏特征的維度,家族式同源模型可以實現幾乎任意數量的參數,從而適應異構設備的硬件能力。
TeleAI 新提出的 EESB 早退出方法的示意圖
這種設計的最大優勢在于計算的復用與接力。由于小尺寸模型本質上是家族式同源模型的一個「子集」,當終端設備用 3B 大小的分支完成初步計算后,如果需要更強的智能,它可以將計算的中間結果無縫傳遞給邊緣服務器上的 7B 分支。服務器接收后,無需從頭開始,可以直接在 3B 的計算基礎上繼續向后推理。這種「計算接力」可避免重復勞動,從而極大提升分布式協作的整體效率。
為了讓業界能親身體驗,TeleAI 已經開源了一個 7B 參數規模的家族式同源模型,展示了其在技術落地上的決心。
有趣的是,TeleAI 給這個模型命名為「Ruyi」,沒錯,就是「如意金箍棒」的「如意」。它最大 7B,但可以在 3B、4B、5B、6B 之間任意切換,根據實際需求提供智能能力。
開源地址:
- https://github.com/TeleAI-AI-Flow/AI-Flow-Ruyi
- https://huggingface.co/TeleAI-AI-Flow/AI-Flow-Ruyi-7B-Preview0704
- https://www.modelscope.cn/models/TeleAI-AI-Flow/AI-Flow-Ruyi-7B-Preview0704
基于連接與交互的智能涌現
如何實現 1+1>2?
當舞臺和演員都已就位,智傳網的最終目標是通過連接與交互,催生出超越任何單體能力的「智能涌現」,實現得到 1+1>2 的效果!
這個理念與諾貝爾物理學獎得主菲利普?安德森(Philip Anderson)在 1972 年提出的「More is Different」(多者異也)思想不謀而合。其背后是業界對于高質量訓練數據正快速枯竭的普遍擔憂。
TeleAI 認為,未來的 AI 發展,需要從單純依賴「數據驅動」轉向「連接與交互驅動」。
具體來說,通過實現模型(包括 LLM、VLM 和擴散模型等不同模型)之間的層級連接與交互,智傳網(AI Flow)可整合多種模態和特定領域的專業知識,生成上下文連貫且全局一致的輸出,實現超越單個貢獻總和的協同能力。
為此,TeleAI 針對不同類型的任務設計了多種協同模式。
比如 LLM/VLM 智能體的協同就像「圓桌會議」:想象一個場景,用戶提出一個復雜的跨領域問題。智傳網(AI Flow)可以同時向部署在不同設備上、分別擅長編碼、數學和創意寫作的多個 LLM/VLM 智能體發起請求。
這些智能體各自給出初步答案后,會進入一個「圓桌討論」環節,相互參考彼此的見解,并對自己的回答進行多輪修正,最終形成一個遠比任何單個智能體獨立思考更全面、更準確的答案。
傳統的僅服務器范式與設備-服務器協同范式的比較
TeleAI 也通過大量實驗驗證了智傳網(AI Flow)各組件的有效性,更多詳情請參閱技術報告。
這三大支柱共同發力,使得智傳網(AI Flow)不再是一個空想的理論,而是一套具備堅實技術內核、直指產業痛點且路徑清晰的系統性解決方案。它為我們揭示了 AI 發展的下一個方向:重要的不再僅僅是計算,更是連接。
AI 下半場,答案在「連接」里
從社交媒體的熱議,到行業分析報告的「Game Changer」評價,智傳網(AI Flow)無疑為我們描繪了一幅激動人心的未來圖景。它不僅是 TeleAI 在 AI 時代下出的一步戰略好棋,更代表了一種解決當前 AI 領域一大核心矛盾的全新思路。
回顧全文,智傳網(AI Flow)的破解之道是系統性的:它沒有執著于打造一個更強的模型或更快的芯片,而是著眼于連接與協同。通過搭建「端-邊-云」的層級化舞臺,引入能靈活伸縮、高效接力的「家族式同源模型」,并最終催生出「1+1>2」的智能涌現,它成功地在強大的 AI 能力與有限的終端算力之間,架起了一座堅實的橋梁。正如中國電信 CTO、首席科學家,TeleAI 院長李學龍教授說的那樣:「連接是人工智能發展的關鍵。」我們相信,這也是通往「AI 下半場」的關鍵。
人工智能的進一步發展離不開通信和網絡基礎設施,而這恰恰是運營商特有的優勢。實際上,也正是因為擁有龐大網絡基礎設施和深厚云網融合經驗,中國電信才能提出并實踐這一框架。當 AI 不再僅僅是運行在網絡之上的應用,而是與網絡本身深度融合、成為一種可被調度和編排的基礎資源時,一個全新的智能時代便開啟了。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.