在兩個(gè)月前的2024「絕影實(shí)力AI DAY」上，商湯絕影首發(fā)了AI汽車創(chuàng)新產(chǎn)品「A New Member For U」（你的家庭新成員），它能夠察言觀色，無(wú)時(shí)不在，心有靈犀，將會(huì)讓智能汽車擁有「有趣的靈魂」。

如今，這一產(chǎn)品已經(jīng)實(shí)現(xiàn)量產(chǎn)——商湯絕影與國(guó)內(nèi)知名車企合作伙伴聯(lián)手打造的行業(yè)首個(gè)「原生流式多模態(tài)座艙產(chǎn)品」已經(jīng)上車，并向用戶進(jìn)行OTA推送。

原生流式多模態(tài)大模型是打造「家庭新成員」的關(guān)鍵之一，也是它能察言觀色的核心所在。

如今，隨著商湯絕影的多模態(tài)艙外識(shí)別功能量產(chǎn)上車，它已經(jīng)開(kāi)始認(rèn)識(shí)并且理解世界，能夠?qū)崿F(xiàn)「前車識(shí)別」、「交通標(biāo)志識(shí)別」和「沿途風(fēng)光識(shí)別」等功能，識(shí)別準(zhǔn)確率、識(shí)別范圍等性能全面領(lǐng)先行業(yè)，還能和車內(nèi)駕乘人員進(jìn)行深入交流與互動(dòng)，這位未來(lái)的「家庭新成員」邁出了成長(zhǎng)的第一步。

懂車博士+隨車教練+地陪達(dá)人？

隨著小米、小鵬、比亞迪等企業(yè)紛紛上車多模態(tài)識(shí)別功能，多模態(tài)大模型上車已成為行業(yè)趨勢(shì)。近日，商湯絕影的行業(yè)首個(gè)原生流式多模態(tài)座艙產(chǎn)品已經(jīng)量產(chǎn)上車，艙外識(shí)別功能已向用戶進(jìn)行OTA推送。

商湯絕影量產(chǎn)上車的多模態(tài)艙外識(shí)別功能包括三大能力，即前車識(shí)別、交通標(biāo)志識(shí)別、沿途風(fēng)光識(shí)別。

• “懂車博士”——前車識(shí)別功能

相當(dāng)于把馬路變成了流動(dòng)4S店，也是大型的車型展覽場(chǎng)，路上看到了喜歡的車型，或者不認(rèn)識(shí)但又想了解的車型，隨時(shí)隨地就可以讓車機(jī)這個(gè)“懂車博士”為你答疑解惑，從車型、價(jià)格、上市日期，到背后的發(fā)展歷史，幾乎無(wú)所不知。

相較于已量產(chǎn)的同類功能，商湯絕影的前車識(shí)別功能認(rèn)得更準(zhǔn)、更多、更深、更新。

認(rèn)得更準(zhǔn)，就是商湯絕影前車識(shí)別準(zhǔn)確率超過(guò)90%，領(lǐng)跑行業(yè)；在極端環(huán)境下，如晚上環(huán)境光線弱的時(shí)候，識(shí)別率依然很高。

同時(shí)，原生流式多模態(tài)大模型的強(qiáng)大指代能力，前面如果有三輛車，左中右分別為紅黃藍(lán)，如果問(wèn)“藍(lán)色車輛是什么車”，傳統(tǒng)模型可能依舊會(huì)識(shí)別中間黃車，商湯絕影的原生流式大模型能精準(zhǔn)識(shí)別右前方的藍(lán)色車輛。

認(rèn)得更多，是絕影的多模態(tài)能夠識(shí)別的種類和范圍非常廣，尤其是豪車和小眾品牌。甚至是偽裝車、無(wú)車標(biāo)等特殊外觀，通過(guò)尾燈、外形、構(gòu)造等品牌特點(diǎn)也可以識(shí)別。

認(rèn)得更深，舉例來(lái)看，現(xiàn)在很多車型已經(jīng)不再生產(chǎn)，一部分經(jīng)典車型仍然在道路上奔馳，它們背后有值得挖掘的歷史，通過(guò)對(duì)話、圖文等形式，絕影的前車識(shí)別功能可以把豐富且完整的信息展示給艙內(nèi)用戶，幫助他們?nèi)轿簧钊肓私飧信d趣的車型產(chǎn)品。

認(rèn)得更新，是因?yàn)榻^影的原生流式多模態(tài)大模型一直在持續(xù)訓(xùn)練和迭代，即使是上市不久的新車也能夠快速識(shí)別。

• “隨車教練”——交通標(biāo)志識(shí)別

商湯絕影的艙外識(shí)別功能不僅能識(shí)別前車，還能夠識(shí)別交通標(biāo)志，這也是行業(yè)首發(fā)的產(chǎn)品能力，其他上車的多模態(tài)大模型都沒(méi)有做到交通標(biāo)志的準(zhǔn)確識(shí)別。

面對(duì)路面上越來(lái)越多的交通標(biāo)志，即使是老司機(jī)有時(shí)候也會(huì)不知所措，反應(yīng)不及。有了商湯絕影的「交通標(biāo)志識(shí)別」功能，就相當(dāng)于有了靠譜的駕校教練坐鎮(zhèn)車內(nèi)，交通標(biāo)志的識(shí)別和解讀信息不僅準(zhǔn)確完善，車機(jī)系統(tǒng)還可以根據(jù)用戶詢問(wèn)，給出駕駛建議，讓司機(jī)駕駛起來(lái)更加安穩(wěn)放心。

準(zhǔn)確識(shí)別“車道數(shù)即將減少”的交通標(biāo)志

• “地陪達(dá)人”——沿途風(fēng)光識(shí)別

商湯絕影的原生流式多模態(tài)座艙產(chǎn)品還能夠?qū)ρ赝撅L(fēng)光進(jìn)行識(shí)別，成為最強(qiáng)的地陪達(dá)人。大家免不了要接待來(lái)游玩的親朋好友，也不一定能夠?qū)Ξ?dāng)?shù)鼐包c(diǎn)進(jìn)行充分的介紹，「沿途風(fēng)光識(shí)別」能夠進(jìn)行車輛行駛途中的建筑物和景點(diǎn)的識(shí)別，準(zhǔn)確率高，達(dá)90%以上。在此基礎(chǔ)上，它還可以提供圖文介紹，詳細(xì)講解景點(diǎn)和建筑，相關(guān)的歷史典故、趣聞?shì)W事等都能信手拈來(lái)，娓娓道出。

如果對(duì)這個(gè)沿途風(fēng)光感興趣，用戶可以詢問(wèn)車機(jī)，進(jìn)一步了解信息，比如，朋友問(wèn)你某個(gè)路過(guò)小區(qū)的房?jī)r(jià)，它也能輕松準(zhǔn)確應(yīng)對(duì)。

不止如此，商湯絕影的沿途風(fēng)光功能還能結(jié)合不同用戶的需求，制定特色旅游路線并推薦給用戶，如網(wǎng)紅打卡路線、親子歡樂(lè)之旅、高校游覽路線、美食路線等，帶來(lái)全新的智慧出行體驗(yàn)。

原生流式多模態(tài)，智能汽車通往AGI時(shí)代的鑰匙

商湯絕影全面行業(yè)領(lǐng)先的艙外識(shí)別功能離不開(kāi)原生流式多模態(tài)大模型能力。

大模型的發(fā)展從單一模態(tài)到多模態(tài)已經(jīng)是不可阻擋的趨勢(shì)，人工智能（AI）想要提升全面理解世界和理解「人」的能力，向通用人工智能（AGI）演進(jìn)，從而真正在工作和生活中幫助人類，AI就必須能夠支持并實(shí)現(xiàn)多種模態(tài)的感知、理解和交互，多模態(tài)能力是AI向AGI進(jìn)化的核心推動(dòng)力。

商湯絕影CEO、商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家王曉剛就表示，基于商湯「日日新5o」打造的原生流式多模態(tài)大模型讓世間萬(wàn)物都可被感知、被理解、被交互。原生流式多模態(tài)大模型是讓文字、語(yǔ)音、視頻等模態(tài)一同輸入，模型統(tǒng)一處理后輸出相應(yīng)模態(tài)的信息。

原生流式多模態(tài)是一種非常自然且新穎的交互方式，將會(huì)成為一個(gè)全新的直接接觸用戶的超級(jí)入口，而智能汽車是這個(gè)超級(jí)入口的最佳落地場(chǎng)景。依靠智能汽車內(nèi)外各種常開(kāi)的攝像頭，用戶可以實(shí)時(shí)跟汽車通過(guò)多模態(tài)的方式進(jìn)行交互。同時(shí)，智能汽車的保有量不斷增加，能夠產(chǎn)生豐富的終端用戶反饋和數(shù)據(jù)信息，讓模型不斷迭代成長(zhǎng)。

通過(guò)應(yīng)用場(chǎng)景和用戶需求驅(qū)動(dòng)，以原生流式多模態(tài)大模型為基礎(chǔ)的座艙產(chǎn)品將能夠讓智能汽車高效準(zhǔn)確地全景感知和深度理解用戶需求和周圍環(huán)境，并以此為核心打通不同應(yīng)用，全局調(diào)用車上開(kāi)放的軟硬件服務(wù)，將離散的單點(diǎn)功能聚合在一起，從而為用戶提供更多深度個(gè)性化的主動(dòng)關(guān)懷和服務(wù)，讓智能汽車成為你的新助手、新伙伴乃至新的家庭成員。

現(xiàn)在，商湯絕影原生流式多模態(tài)大模型量產(chǎn)上車，大模型加速深度融入智能汽車，絕影正在用原生流式多模態(tài)這把鑰匙，打開(kāi)智慧出行的AGI新時(shí)代。

商湯絕影的「家庭新成員」，邁出了成長(zhǎng)第一步

智能座艙目前陷入了「冰箱彩電大沙發(fā)」的內(nèi)卷當(dāng)中，原生流式多模態(tài)帶來(lái)的自然、舒心的交互體驗(yàn)或許能夠?yàn)檐嚻笸粐@一輪內(nèi)卷開(kāi)辟出一條全新的路徑。

在去年11月的2024「絕影實(shí)力AI DAY」上，商湯絕影首發(fā)了AI汽車創(chuàng)新產(chǎn)品「A New Member For U」（你的家庭新成員），將會(huì)讓智能汽車擁有「有趣的靈魂」。

依托原生流式多模態(tài)大模型、車載類人記憶框架和持續(xù)運(yùn)行框架等前沿AI汽車創(chuàng)新技術(shù)，商湯絕影打造的「家庭新成員」能夠察言觀色，無(wú)時(shí)不在，并且做到與你心有靈犀。

智能汽車從冰冷的工具和機(jī)械式的助手，進(jìn)化為「你的家庭新成員」，是一個(gè)逐步轉(zhuǎn)型與成長(zhǎng)過(guò)程。商湯絕影的原生流式多模態(tài)座艙產(chǎn)品量產(chǎn)上車，艙外識(shí)別能力覆蓋了座艙、汽車周邊的環(huán)境，這意味著「家庭新成員」開(kāi)始逐步認(rèn)識(shí)世界、理解世界，邁出了成長(zhǎng)的第一步。

這第一步邁得很踏實(shí)，首先，離不開(kāi)商湯絕影強(qiáng)大的原生流式多模態(tài)大模型。在OpenCompass多模態(tài)評(píng)測(cè)榜單中，絕影多模態(tài)大模型的理解和推理能力排名第一，以此為基礎(chǔ)，「家庭新成員」能全面感知用戶的語(yǔ)音、表情、手勢(shì)、以及環(huán)境數(shù)據(jù)，并進(jìn)行深度理解和推理思考。

同時(shí)，車端模型部署能力是智能汽車交互革新不可或缺的技術(shù)保障。商湯絕影在行業(yè)率先實(shí)現(xiàn)原生多模態(tài)大模型的車端部署，如今可實(shí)現(xiàn)首包延遲低至60毫秒以內(nèi)，推理速度40 Tokens/秒。以云側(cè)、端云結(jié)合、端側(cè)等全棧方式靈活部署多模態(tài)大模型，商湯絕影能快速、準(zhǔn)確響應(yīng)用戶的識(shí)別需求，并充分保護(hù)個(gè)人隱私和數(shù)據(jù)安全。

作為最專注于汽車行業(yè)的AI公司，商湯絕影在智能座艙領(lǐng)域具備豐富的量產(chǎn)經(jīng)驗(yàn)。第三方調(diào)研數(shù)據(jù)顯示，商湯絕影在座艙視覺(jué)AI軟件市場(chǎng)的份額連續(xù)五年蟬聯(lián)第一，座艙AI大模型產(chǎn)品已上車智己全系車型、LEVC L380等車型。截至2024年底，商湯絕影已與超30家國(guó)內(nèi)外車企達(dá)成合作，覆蓋100余款車型，量產(chǎn)交付累計(jì)突破350萬(wàn)輛。

隨著艙外識(shí)別功能的量產(chǎn)交付，商湯絕影的各項(xiàng)領(lǐng)先AI技術(shù)都將逐步上車，「家庭新成員」也將持續(xù)學(xué)習(xí)與成長(zhǎng)，加速智能汽車駛?cè)階GI時(shí)代。