近日,豆包APP上線實時視頻通話功能,用戶在電話界面開啟視頻畫面后,豆包能基于真實場景與用戶進(jìn)行實時問答互動。
(豆包打電話界面點擊視頻按鈕,即可實時視頻通話)
旅行過程中,用戶可打開視頻通話,詢問所處景點的歷史背景、特色內(nèi)容或路線規(guī)劃等。例如,用戶在故宮參觀時,可以通過視頻向“豆包”展示景點畫面,了解特定宮殿的歷史故事、建筑特色,實現(xiàn)“邊走邊聊”。在博物館、美術(shù)館等場景,也可以打開視頻通話功能,隨時問豆包展品的背景信息。
該功能基于最新的豆包視覺理解模型。模型擁有較好的內(nèi)容識別、理解推理和內(nèi)容描述能力,能夠融合視覺與語言輸入,進(jìn)行綜合的深度思考和創(chuàng)作。根據(jù)圖像信息,豆包視覺理解模型還能完成諸多復(fù)雜的邏輯計算任務(wù),包括解微積分題、分析論文圖表、診斷真實代碼問題等挑戰(zhàn)性任務(wù)。
此外,為進(jìn)一步提升對話的準(zhǔn)確性與時效性,豆包視頻通話功能還接入了聯(lián)網(wǎng)搜索能力,實時獲取互聯(lián)網(wǎng)最新信息。
去年底,豆包上線圖片理解功能,支持上傳圖片后識別內(nèi)容,包括理解梗圖等。如今,豆包進(jìn)一步升級,將視覺理解能力延伸到視頻場景,讓用戶在生活場景中直接互動,大幅降低用戶的交互門檻,打造邊看邊聊的智能化體驗。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.