《科創(chuàng)板日?qǐng)?bào)》5月28日訊(編輯 宋子喬) AI應(yīng)用側(cè)又跑出一匹黑馬。硅谷初創(chuàng)公司Akool正式發(fā)布了全球首款實(shí)時(shí)攝像頭——Akool Live Camera,核心功能包括:實(shí)時(shí)翻譯多語(yǔ)言、虛擬數(shù)字人、實(shí)時(shí)換臉、動(dòng)態(tài)生成影視級(jí)畫質(zhì)的視頻畫面。
AI視頻翻譯功能打破語(yǔ)言壁壘:Akool Live Camera已經(jīng)能夠?qū)崟r(shí)翻譯150+種語(yǔ)言,并保持說(shuō)話者的聲音特色和同步口型動(dòng)作。
虛擬數(shù)字人功能可以打造出數(shù)字分身:通過(guò)4D面部映射技術(shù)與傳感器融合方案,實(shí)時(shí)攝像頭可精準(zhǔn)捕捉人類微表情、手勢(shì)軌跡及語(yǔ)音語(yǔ)調(diào)變化,驅(qū)動(dòng)虛擬數(shù)字人實(shí)現(xiàn)自然語(yǔ)言處理+非語(yǔ)言信號(hào)同步輸出。虛擬形象還可根據(jù)觀眾所在國(guó)家的語(yǔ)言、文化習(xí)慣實(shí)時(shí)切換語(yǔ)言和手勢(shì)。
實(shí)時(shí)換臉功能可以實(shí)現(xiàn)人臉的精準(zhǔn)替換,并且還原人物的情緒和微表情特征。在面對(duì)全球不同地區(qū)的用戶時(shí),還可以將主播切換成本地人。
實(shí)時(shí)AI視頻生成功能:無(wú)需預(yù)先錄制、編寫腳本和復(fù)雜的后期制作,Akool實(shí)時(shí)攝像頭就能根據(jù)用戶的實(shí)際需求,理解對(duì)話上下文,即時(shí)生成超逼真的視頻內(nèi)容。
與其他AI視頻生成類產(chǎn)品相比,Akool Live Camera最顯著的特點(diǎn)在于實(shí)時(shí)性、超低延遲,以及環(huán)境感知+情感響應(yīng)的智能交互能力。
生成的虛擬形象最低延遲只有500毫秒,在盲測(cè)中94%的人無(wú)法區(qū)分真假;
區(qū)別于Sora的靜態(tài)邏輯,只能基于固定文本指令生成內(nèi)容,無(wú)法感知環(huán)境變化或用戶實(shí)時(shí)反饋。Akool Live Camera具備環(huán)境感知能力,例如在會(huì)議室強(qiáng)光下自動(dòng)調(diào)整面部光影,在嘈雜環(huán)境中增強(qiáng)語(yǔ)音清晰度;能實(shí)時(shí)解析用戶情緒,比如觀眾皺眉時(shí),虛擬形象會(huì)放慢語(yǔ)速、重復(fù)重點(diǎn);學(xué)生走神時(shí),虛擬教師會(huì)切換教學(xué)案例,真正實(shí)現(xiàn)互動(dòng)式溝通。
廣告營(yíng)銷、直播、跨國(guó)會(huì)議、影視作品創(chuàng)作是該產(chǎn)品的主要應(yīng)用場(chǎng)景。Akool創(chuàng)始人兼CEO呂家俊表示:“Akool Live Camera不僅在改進(jìn)視頻創(chuàng)作技術(shù),更在改變視頻制作方式。從全球產(chǎn)品發(fā)布會(huì)到企業(yè)會(huì)議,甚至醫(yī)療保健,我們正在為實(shí)時(shí)視頻開(kāi)辟新的可能。”
起底Akool和它的90后創(chuàng)始人
Akool成立于2022年,總部位于美國(guó)硅谷。其創(chuàng)始人呂家俊是中國(guó)人、90后(1990年出生)。
他從2009年開(kāi)始在浙江大學(xué)CAD&CG實(shí)驗(yàn)室攻讀計(jì)算機(jī)圖形學(xué),研究3D建模及用AI輔助3D建模,接觸AIGC領(lǐng)域;后師從人工智能領(lǐng)域泰斗大衛(wèi)?福塞斯(David Forsyth,一位在計(jì)算機(jī)視覺(jué)非常有影響力的教授),在伊利諾伊大學(xué)香檳分校(UIUC)深造,獲得計(jì)算機(jī)科學(xué)博士學(xué)位。
翻閱他的履歷,呂家俊曾供職于蘋果、谷歌等科技巨頭公司,在視覺(jué)影像部門擔(dān)任核心成員。2018年畢業(yè)后加入蘋果,參與Face ID項(xiàng)目開(kāi)發(fā),實(shí)現(xiàn)戴口罩情況下的人臉識(shí)別;2020年前往Google Cloud,專注視頻處理和人體動(dòng)作識(shí)別;還兼職做了一年Xreal的Adviser,搭建AI/ML團(tuán)隊(duì)并推進(jìn)AI/ML應(yīng)用開(kāi)發(fā),核心方向?yàn)槭謩?shì)識(shí)別用于AR眼鏡的手勢(shì)控制。
成立兩年(2022年-2024年)至今,Akool已有500萬(wàn)用戶,年度經(jīng)常性收入(ARR)達(dá)4000萬(wàn)美元,其合作企業(yè)包括蘋果、可口可樂(lè)、麥當(dāng)勞等。
Akool在中國(guó)也成立了代理機(jī)構(gòu)——位于上海的艾庫(kù)爾科技。資料顯示,該公司提供AI視頻解決方案,包括視頻虛擬人、實(shí)時(shí)交互虛擬人、視頻翻譯和視頻換臉等服務(wù),其法定代表人為呂家俊,注冊(cè)資本為100萬(wàn)元人民幣,擁有3個(gè)注冊(cè)商標(biāo)和1項(xiàng)軟件著作權(quán)。招聘軟件顯示,艾庫(kù)爾科技已經(jīng)完成A輪融資,目前有20-99名員工,正在招聘語(yǔ)音算法工程師等職位。
在2024年底的一次專訪中,呂家俊曾向媒體透露,其差異化優(yōu)勢(shì)在于對(duì)B端企業(yè)市場(chǎng)的深度聚焦,“與專注于消費(fèi)者市場(chǎng)的競(jìng)爭(zhēng)對(duì)手不同,我們認(rèn)為,企業(yè)市場(chǎng)的天花板更高、壁壘更深,客戶的黏性也較強(qiáng)。”
“長(zhǎng)期來(lái)看,我們還是想做類似Adobe的公司。所以我們接下來(lái)幾年的目標(biāo)就是成為最好的商業(yè)視頻生產(chǎn)平臺(tái),去賦能各種商業(yè)應(yīng)用場(chǎng)景,包括廣告營(yíng)銷、電影制作等。”呂家俊說(shuō)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.