來(lái)源：電子工程世界

近日，意法半導(dǎo)體（ST）收購(gòu)加拿大AI初創(chuàng)公司Deeplite的消息引發(fā)行業(yè)關(guān)注。Deeplite號(hào)稱邊緣AI的DeepSeek，該公司在模型優(yōu)化、量化和壓縮方面有獨(dú)特技術(shù)，可使AI大模型在邊緣設(shè)備上運(yùn)行得更快、更小、更節(jié)能。

自從DeepSeek帶火了蒸餾模型以后，更多人開始關(guān)注AI大模型在邊緣端的部署。而在過(guò)去，TinyML一直也在MCU領(lǐng)域很火熱。現(xiàn)在，邊緣AI走得更快了，市場(chǎng)也正在走向爆發(fā)。

01#ST的期盼：打造先進(jìn)的邊緣AI系統(tǒng)

ST之所以在最近收購(gòu)DeepLite是因?yàn)閮杉夜緭碛泻芎玫膮f(xié)同效應(yīng)：該公司的優(yōu)化、量化和壓縮深度學(xué)習(xí)模型技術(shù)，無(wú)疑能夠加速ST的首款高性能STM32N6的采用。

在商業(yè)上部署深度學(xué)習(xí)模型時(shí)，面臨的重大挑戰(zhàn)是它們的運(yùn)行規(guī)模、處理器量和功耗密集型程度。Deeplite 通過(guò)提供自動(dòng)化軟件引擎來(lái)優(yōu)化 DNN（深度神經(jīng)網(wǎng)絡(luò)）模型，并在任何設(shè)備上啟用 AI 進(jìn)行邊緣計(jì)算，從而解決了這個(gè)問(wèn)題。

說(shuō)起來(lái)，DeepLite這家公司的產(chǎn)品很有意思，簡(jiǎn)單來(lái)說(shuō)就是AI套娃，使用 AI 自動(dòng)使其他 AI 模型更快、更小、更節(jié)能，從而創(chuàng)建高度緊湊、高性能的深度神經(jīng)網(wǎng)絡(luò)，以部署在安全攝像頭、傳感器、無(wú)人機(jī)、手機(jī)和車輛等邊緣設(shè)備上。

這家公司在早期很受關(guān)注，曾經(jīng)被Gartner、Forbes、Inside AI 和 ARM AI 評(píng)為首屈一指的邊緣 AI 創(chuàng)新者。

Deeplite項(xiàng)目于2017年從TandemLaunch孵化器啟動(dòng)。2019年該項(xiàng)目從TandemLaunch分拆為一家獨(dú)立的科技公司。當(dāng)時(shí)聯(lián)合創(chuàng)始人 Ehsan Saboori 博士、Davis Sawyer 和 Nick Romano 聯(lián)手將 AI 帶入日常生活。自 2020 年年中首次發(fā)布 Deeplite 的 Neutrino? 軟件以來(lái)，主要 OEM 品牌、半導(dǎo)體和應(yīng)用公司對(duì) Neutrino 的自動(dòng)優(yōu)化引擎產(chǎn)生了巨大的需求。AI 工程師可以在 PyTorch、ONNX 或 TensorFlow 等現(xiàn)有 MLOps 框架中使用該軟件來(lái)創(chuàng)建高度緊湊、節(jié)能的 AI 模型，從而節(jié)省云成本，并允許新應(yīng)用程序在電池供電的小型邊緣設(shè)備上運(yùn)行。根據(jù)PitchBook的數(shù)據(jù)，Deeplite此前已融資647萬(wàn)美元，其加拿大投資者包括BDC Capital、Desjardins Capital和Somel Ventures。

總之，現(xiàn)在ST的整體生態(tài)有了很大的補(bǔ)全。從官網(wǎng)來(lái)看，其不僅擁有很強(qiáng)大硬件MCU、MPU，還擁有很強(qiáng)大的軟件生態(tài)。

02#高通拿下明星公司：邁出重要一步

今年3月，高通（Qualcomm）宣布將收購(gòu)邊緣 AI 開發(fā)平臺(tái) Edge Impulse，希望此舉能擴(kuò)展其對(duì)支持 IoT 的產(chǎn)品的 AI 能力。據(jù)報(bào)道，該收購(gòu)預(yù)計(jì)將在幾周內(nèi)完成交易，并且將保留 Edge Impulse 品牌。

與高通聯(lián)手將加速對(duì)高通 Dragonwing 處理器的支持，但 Edge Impulse 的平臺(tái)將繼續(xù)向來(lái)自公司硬件合作伙伴的 MCU、CPU、GPU 和 NPU 用戶開放。Edge Impulse 將維護(hù)其當(dāng)前網(wǎng)站（品牌為“Edge Impulse，一家高通公司”）。

Qualcomm Dragonwing 處理器具有設(shè)備上的 AI 推理、計(jì)算機(jī)視覺(jué)、圖形和處理功能。Edge Impulse 目前支持 Dragonwing QCS6490 和 QCS5430 處理器，并計(jì)劃為工業(yè)和嵌入式物聯(lián)網(wǎng)應(yīng)用增加對(duì)其他 Dragonwing 處理器的支持。

Edge Impulse在嵌入界的地位不可小覷。Edge Impulse 的開發(fā)平臺(tái)包括用于數(shù)據(jù)收集和準(zhǔn)備、模型訓(xùn)練、部署和監(jiān)控的工具，具有少量代碼或無(wú)代碼界面。開發(fā)人員使用 Edge Impulse 的平臺(tái)將計(jì)算機(jī)視覺(jué)、時(shí)間序列數(shù)據(jù)、音頻事件和語(yǔ)音識(shí)別等 AI 功能添加到資產(chǎn)跟蹤和監(jiān)控、制造、異常檢測(cè)和預(yù)測(cè)性維護(hù)系統(tǒng)中的嵌入式系統(tǒng)中。

Edge Impluse這家公司的名號(hào)很多人都聽說(shuō)過(guò)，但可能很少深入了解過(guò)。這家公司以TinyML（Tiny Machine Learning）為服務(wù)，于2019年成立，創(chuàng)始人Zach Shelby和Jan Jongboom都來(lái)自Arm，致力于提供最新的機(jī)器學(xué)習(xí)工具，使所有企業(yè)都能打造更智能的邊緣產(chǎn)品。根據(jù)財(cái)務(wù)數(shù)據(jù)庫(kù)，目前該公司已經(jīng)籌集了超過(guò) 5000 萬(wàn)美元。在 2021 年 3400 萬(wàn)美元的 B 輪融資中，其估值為 2.34 億美元。

Edge Impulse解決方案被廣泛應(yīng)用于健康穿戴設(shè)備制造商如Oura、Know Labs和NOWATCH，工業(yè)組織如NASA，以及頂尖的芯片供應(yīng)商，受到超過(guò)80000名開發(fā)人員的采用，并已成為企業(yè)和開發(fā)人員信賴的平臺(tái)。

雖然它并非唯一的TinyML軟件方案商，但相比來(lái)說(shuō)，它擁有比較直觀易用的Web界面，說(shuō)白了，就是開個(gè)網(wǎng)頁(yè)就能用，最重要的是，它對(duì)開發(fā)人員免費(fèi)。

值得一提的是，Edge Impulse的特點(diǎn)是具有邊緣優(yōu)化神經(jīng)（EdgeOptimised Neural, EON）編譯程序。根據(jù)其官方網(wǎng)站介紹，以該編譯程序編譯出來(lái)的神經(jīng)網(wǎng)絡(luò)推論模型，與TFLite Micro相比，可以少使用25～55%的RAM內(nèi)存與少使用35%的儲(chǔ)存空間。

另外Edge Impulse也在其官方Blog上發(fā)表技術(shù)實(shí)證專文，運(yùn)用他們的數(shù)字信號(hào)處理區(qū)塊（DSP Block）來(lái)對(duì)聲音進(jìn)行推論前的前置處理，可以更快完成推論、更精準(zhǔn)推論，以鳥叫聲辨識(shí)為例，速度快48%，精準(zhǔn)度增7%。

03#NXP收購(gòu)NPU公司：重新定于智能邊緣

今年2月，NXP的一則收購(gòu)也引發(fā)了行業(yè)震動(dòng)。彼時(shí)NXP宣布已達(dá)成最終協(xié)議，將收購(gòu)高性能、高能效和可編程離散神經(jīng)處理單元 （NPU） 的行業(yè)領(lǐng)導(dǎo)者 Kinara。

這些設(shè)備支持廣泛的邊緣 AI 應(yīng)用，包括多模態(tài)生成式 AI 模型。此次收購(gòu)將是一項(xiàng)價(jià)值 3.07 億美元的全現(xiàn)金交易，預(yù)計(jì)將于 2025 年上半年完成，但須滿足慣例成交條件，包括監(jiān)管部門的批準(zhǔn)。

Kinara是一家美國(guó)半導(dǎo)體公司，2013 年由 Rehan Hameed、Wajahat Qadeer 和 Jason Copeland 創(chuàng)立，最初名為 Core Viz ，創(chuàng)立后公司更名為 Deep Vision，2022 年再次更名為 Kinara。

Kinara 的分立式 NPU（包括 Ara-1 和 Ara-2）在性能和能效方面處于行業(yè)領(lǐng)先地位。這使它們成為視覺(jué)、語(yǔ)音、手勢(shì)和各種其他生成式 AI 驅(qū)動(dòng)的多模式實(shí)現(xiàn)等新興 AI 應(yīng)用的首選解決方案。這兩款設(shè)備均采用創(chuàng)新架構(gòu)，支持映射推理圖，以便在 Kinara 的可編程專有神經(jīng)處理單元上高效執(zhí)行，從而最大限度地提高邊緣 AI 性能。這種可編程性確保了 AI 算法在未來(lái)不斷從 CNN 發(fā)展到生成式 AI 和代理 AI 等新方法時(shí)的適應(yīng)性。

Ara-1 是第一代分立式 NPU，性能方面Resnet50-v1: 100 inferences/sec.、MobileNet-v1: 554 inferences/sec，延遲方面Resnet50-v1: 10 msec. 、MobileNet-v1: 1.8 msec，功耗方面1.7W @ 600MHz，封裝方面為15 mm x 15mm EHS-FCBGA。

Ara-2 是第二代 NPU，能夠?qū)崿F(xiàn)高達(dá) 40 TOPS的性能，專為實(shí)現(xiàn)生成式 AI 的系統(tǒng)級(jí)高性能而優(yōu)化。具體性能方面Stable Diffusion 1.4:7 secs/image、LLaMA-7B: 12 output tokens/sec、MobileNetVl SSD: 974 1PS (1.03 ms latency)，功耗小于2 Watts，存儲(chǔ)升級(jí)為16 GB LPDDR4（X），封裝尺寸為17 mmx17 mm FCBGA。

軟件方面，Kinara Al軟件開發(fā)工具包（SDK）將訓(xùn)練好的A!模型優(yōu)化地應(yīng)用于Ara-1和Ara-2硅和模塊。Kinara的全可編程計(jì)算引擎允許我們的模型編譯器快速適應(yīng)幾乎無(wú)限的神經(jīng)網(wǎng)絡(luò)架構(gòu)范圍。

04#邊緣AI的野望

在AI圈里一直有種“越大越強(qiáng)”的迷思。但大模型雖好，卻也不“接地氣”。

所以，專家曾經(jīng)多次預(yù)測(cè)，世界上不需要太多大模型，因?yàn)榇竽Ｐ吞M(fèi)電，真正讓AI落地的地方則是邊緣和端側(cè)。

有預(yù)測(cè)顯示，到 2025 年，75%的數(shù)據(jù)將在邊緣處理，邊緣側(cè)AI MCU的市場(chǎng)潛力巨大。

這三筆交易凸顯了兩個(gè)重要趨勢(shì)：首先，AI/ML技術(shù)現(xiàn)在是嵌入式系統(tǒng)設(shè)計(jì)中硬件和軟件堆棧的重要組成部分；其次，作為芯片制造商AI戰(zhàn)略的一部分，這些廠商將越來(lái)越多地為其半導(dǎo)體器件提供補(bǔ)充性工具，以滿足嵌入式AI/ML學(xué)習(xí)的全方位需求。因此，預(yù)計(jì)未來(lái)還會(huì)有更多此類交易。

其他主要的 MCU 制造商也在不斷收購(gòu)該領(lǐng)域的初創(chuàng)公司，并積極為競(jìng)爭(zhēng)做準(zhǔn)備。例如，瑞薩電子收購(gòu)了 Reality AI，英飛凌收購(gòu)了瑞典的 Imagimob，恩智浦推出了機(jī)器學(xué)習(xí)軟件 eIQ 和 AI 工具鏈 NANO。人工智能。這表明對(duì)邊緣 AI 計(jì)算的需求正在迅速增長(zhǎng)，而 MCU 作為邊緣設(shè)備的核心組件，將在這一趨勢(shì)中發(fā)揮重要作用。

可以看出，邊緣AI將會(huì)是接下來(lái)幾年MCU的必爭(zhēng)之地。隨著MCU廠商接連迎接自己的新CEO，這些廠商的戰(zhàn)爭(zhēng)或許會(huì)繼續(xù)增加。

（閱讀相關(guān)文章請(qǐng)點(diǎn)擊上方鏈接）