云計算是大模型的最佳搭檔。目前，對千億級大模型的訓練過程和推理應用場景都在云端。但是，千行百業中，在端側、邊緣側場景下同樣存在對AI應用的海量需求。

如何將大模型的能力下沉到端側？在車載等頭部場景中，目前業界在端側模型應用方面已經有哪些探索？近日，智能操作系統產品和技術提供商中科創達向國內媒體分享了自身的探索與思考。

端側AI模型落地的挑戰

中科創達是一家2008年成立的操作系統公司，手機、汽車和物聯網領域的智能硬件是中科創達三大主要落地場景。2023年大模型浪潮的到來，也讓產業各界看到AI大模型未來在端側落地的巨大潛力。

“今年幾乎所有的車廠都把大模型當作了未來3到5年必須做的一件事，但是現在的階段都是屬于PoC驗證階段，大家都在看這件事情到底給企業帶來了哪些價值。”中科創達物聯網事業群副總裁楊新輝表示。

然而，大模型想要應用到端側，面臨的挑戰不少，比如：

第一， 時效性

以汽車場景為例，如果云端處理推理任務極大依賴案例環境和時延。比如，消費者對智能汽車說“打開車窗”，系統會先把云指令推送到云端，由云端分析推理完之后，再下放到車上，這在車端的各類智能服務場景中顯然不現實。

“我們認為未來在手機設備或者汽車設備上，應該是100%必須要跑本地模型。目前在車端芯片能支持在邊緣端部署的模型還很早期，真正應用估計至少還有一到兩年的時間。如何不需要聯網就可以實現本地最大算力的模型運行，這是我們思考要去解決的問題。”楊新輝表示。

第二， 推理成本

在云端使用大模型，會時刻產生大量的推理成本。當端側設備芯片具備本地化推理能力時，消費者就會像使用智能手機一樣，無需再單獨為推理付費。

“影響大語言模型落地的很大一個障礙點就是推理成本。參數越大的模型對于推理成本的要求就越高，所以越大的模型商業化落地的節奏就越慢，而在不同的垂直場景里面，并不一定需要那么大參數的模型。”楊新輝認為。

第三， 場景碎片化

萬物互聯時代，端側和邊緣側的AI需求和場景更加碎片化、長尾化。模型能力在面對這些碎片化場景時，面臨投入產出比的問題。中科創達的解法是通過提供標準的參考設計，具備了完整的系統性能、結構設計、功能設計，客戶在此基礎上可以定制化開發應用，大幅降低自研的成本并加速產品上市周期。

自研大模型，圍繞端側構建核心競爭力

在“百模大戰”格局下，中科創達也加入了自研大模型的行列。目前中科創達已推出7B、13B自研魔方大模型，預計明年年終會完成千億以上規模的模型訓練。

“我們過去的業務很多是圍繞著端側和邊緣側進行的。端側和邊緣側上面上千億參數的模型運行不起來。我們和其他做模型的廠商的差異化在于，我們還是希望未來在端側和邊緣側形成自己核心的能力和競爭力。”楊新輝表示。

其實，中科創達在AI領域的投入由來已久，2017年就成為首批在亞馬遜云科技中國區域使用機器學習服務 Amazon SageMaker 的合作伙伴。通過將Amazon SageMaker集成到中科創達智慧工業ADC (Automatic Defect Classification) 系統中，中科創達與亞馬遜云科技合作，幫助施耐德電氣中國工廠落地AI質檢能力。

2023年5月，中科創達與亞馬遜云科技成立了人工智能聯合創新實驗室，旨在基于亞馬遜云科技的Amazon SageMaker等技術與服務，加速云和大語言模型行業解決方案的落地。

目前，中科創達在智能汽車等領域的AI解決方案正在加速落地中。“魔方畫布”產品可以提供生動的3D人機交互，其豐富的功能正在讓車載智能助手體驗再升級。比如，通過將車輛說明書融入智能助手的知識庫，車主不需要再閱讀幾百頁的汽車說明書，只需要和智能助手通過簡單的問答，就能迅速解鎖不了解的汽車功能。

OS+AI雙輪驅動，做產業生態連接者

AI大模型在端側的應用還處在非常早期，未來還有巨大的商業想象空間。在這一產業進程中，中科創達具有怎樣差異化的優勢呢？楊新輝認為，可以概括為三點：

第一， 在操作系統和AI大模型領域領先的工程化能力。

“選擇這兩個方向是因為我們堅持做高門檻的事。也就是把一件事情做完可能需要數十個領域知識的覆蓋，需要很多不同領域的專家共同完成。我們有點像產業中臺的形態，有各方面的、全球化的人才。”

第二， 中立的定位和廣泛的生態連接能力。

中科創達作為一家中立地位的B2B解決方案提供商，與亞馬遜云科技、高通、英特爾、Nvidia、Arm等產業上下游頭部企業保持了非常緊密的合作，并采用融入大型企業生態為客戶提供服務的模式。憑借領先的自研技術，中科創達已經成為產業生態中非常有黏性的一環，持續保持技術的創新與進步。

第三， 全球化業務布局和人才團隊。

中科創達自創立之初就是一家全球化的企業。目前公司的研發中心遍布全球 15 個國家和地區，業務營收的30%以上來自于海外，積累了大量全球化的企業客戶。在全球化布局方面，中科創達與亞馬遜云科技的合作更為緊密。“亞馬遜云科技在云計算方面的方法論和基礎能力全球領先，同時對行業的切分和洞察也是很清晰的，他們是知道整個行業的‘鑰匙’在哪里。”

“我們認為在未來的15年乃至30年，用大語言模型驅動通用人工智能的發展將成為最大的需求之一，所有的產品都可以用一個通用AI再做一遍，所有的流程都可以重新再定義。中科創達致力于將‘OS+AI’的雙輪驅動作為新的增長引擎，在這個過程中，我們有幸與像亞馬遜云科技這樣的合作伙伴一起做這件事情。”楊新輝表示。