阿里國際團隊最近發(fā)布的 多模態(tài)大模型 Ovis引起了科技圈的廣泛關(guān)注。

說得簡單點，Ovis不只是 懂得文字，它還能看圖、理解圖片、做數(shù)學推理，甚至處理手寫公式。這種“多才多藝”讓它不僅在學術(shù)領(lǐng)域風頭正勁，還在實際應用場景中迅速嶄露頭角。

Ovis已經(jīng)在多模態(tài)技術(shù)評測平臺 OpenCompass上拿到了 綜合排名第一的成績。這個評測平臺堪稱多模態(tài)模型界的“奧斯卡”，Ovis能夠拔得頭籌，意味著它在圖像理解、文本生成、數(shù)學推理等多項任務中都達到了頂尖水平，甩開了其他同類模型好幾條街。

什么是 Ovis？

Ovis 是一種 多模態(tài)大模型，這意味著它可以 同時理解和處理來自多種不同形式的數(shù)據(jù)輸入，比如圖片、文字、數(shù)學公式等。

而市面上比較常見的 大語言模型（LLM），像ChatGPT、GPT-4，擅長的是處理和生成文本數(shù)據(jù)，特別是文字生成，但在處理圖片和非文本信息上并沒有太大優(yōu)勢。

Ovis則不同，它不僅能處理文字，還可以解析圖像、識別手寫體、理解復雜的數(shù)學公式，甚至能自動生成菜譜或分析財務報告。簡單來說，Ovis就像一個能 同時處理視覺、語言和復雜任務的全能AI，不再局限于某一領(lǐng)域，而是真正能做到跨模態(tài)的理解和應用。

阿里這款 Ovis 多模態(tài)大模型的發(fā)布帶來了多項技術(shù)突破，特別是在視覺和文本的結(jié)合上。

舉個例子，Ovis 能識別手寫文案并進行精準的翻譯，無論字體如何復雜。

它還能處理復雜的數(shù)學公式，展現(xiàn)出強大的數(shù)學運算能力。

通過識別食物圖片，它能生成詳細的菜譜建議。

Ovis的技術(shù)亮點

0 1

可學習的視覺嵌入詞表

這是阿里首次在模型中引入的創(chuàng)新，通過將視覺特征轉(zhuǎn)化為視覺 token，能更好地在圖像和語言之間建立橋梁，解決了大部分多模態(tài)模型無法處理高精度圖像的問題。

0 2

動態(tài)子圖處理方案

支持極端長寬比和高分辨率圖像處理，在自動駕駛、醫(yī)療影像等領(lǐng)域尤其有用。比如在自動駕駛中，攝像頭采集的圖像不規(guī)則，Ovis 可以應對這種復雜場景。

0 3

全面數(shù)據(jù)優(yōu)化

從 Caption 到 VQA（視覺問答），再到 OCR（光學字符識別）、表格和圖表分析，Ovis 的能力覆蓋了各種復雜的數(shù)據(jù)處理方向。在識別手寫公式時，Ovis 能快速精確地提取內(nèi)容并進行運算或解釋。

這對我們意味著什么？

對于普通人來說，Ovis可能聽起來有些“技術(shù)腔”，但別著急，這種技術(shù)背后有著非常實際的應用。比如：

自動駕駛

它能夠結(jié)合攝像頭、雷達等多模態(tài)數(shù)據(jù)，實現(xiàn)更精確的環(huán)境感知和決策，提升自動駕駛的安全性。

醫(yī)療診斷

Ovis 能通過醫(yī)學影像與文本報告的結(jié)合，幫助醫(yī)生做出更精準的診斷建議。

視頻內(nèi)容理解

Ovis 還可以為短視頻、電影等內(nèi)容生成自動字幕、情景分析等功能，讓內(nèi)容創(chuàng)作和分析更加高效。

智能家居

設(shè)想一下，你的智能家電看到冰箱里的食材，就能自動生成一份健康菜譜，這背后就是Ovis在發(fā)揮作用。

開源：阿里給開發(fā)者的福音

Ovis 不僅性能出眾，最重要的是 開源！這意味著全球的開發(fā)者和研究人員可以 自由使用和改進 Ovis 的代碼、模型和訓練數(shù)據(jù)，從而推動 AI 技術(shù)的普及和進步。

阿里在 Ovis 發(fā)布時，甚至強調(diào)了這一點：

Ovis 不僅僅是阿里巴巴的創(chuàng)新成果，它更是為全球開發(fā)者社區(qū)貢獻的公共資源。

未來，Ovis不僅會在更多行業(yè)里大展拳腳，還可能成為個人生活中的助手。想象一下，你家里的AI助手不僅能跟你聊天，還能分析你一天的狀態(tài)，提出鍛煉和飲食建議?；蛘?，你只需要告訴它幾句提示語，它就能為你生成一段有趣的視頻。這種技術(shù)正在迅速從概念變?yōu)楝F(xiàn)實，而Ovis正是其中的領(lǐng)跑者之一。