99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

多模態和Agent成為大廠AI的新賽點|窄播Weekly

0
分享至



未來入口的兩個支柱。

作者 | 李威(北京)

這是《窄播Weekly》的第52期,本期我們關注的商業動態是:當大廠的AI競爭策略開始傾斜向應用場景,多模態能力和代理執行成為兩個焦點。

大模型落地C端場景的核心,就是讓大模型的能力越來越接近人。沿著這個主旋律,可以劃分出兩個進化方向:一個是持續降低用戶與大模型進行有效溝通的難度;另一個則是讓大模型具備執行更復雜任務的能力。前者的實現,需要給到大模型多模態能力;后者則需要依托于Agent產品生態的不斷成熟。

多模態方面,字節、百度、谷歌、OpenAI都在近期推出了多模態能力更強的基礎大模型產品,為相應的應用創新帶來了可能。阿里旗下的AI to C產品夸克,就在本周上線了基于「通義推理及多模態大模型+后訓練」實現的「拍照問夸克」功能。

代理執行層面,在Manus指出方向之后,類似的通用Agent產品也在近期紛紛上線。其中就包括了字節旗下的扣子空間、百度的心響App、360的納米AI、前百度高管的Genspark等。這些產品都主打一站式完成用戶通過自然語言布置的復雜任務,并且都具有編寫代碼和連接第三方數據、工具的能力。

相比國內,海外巨頭會更傾向于打造服務于單一場景的Agent。Notion推出了AI驅動的電子郵件服務Notion Mail,幫助用戶組織電子郵件、起草回復、搜索消息等。OpenAI此前推出的Operator和Deep Research也分別聚焦在操作瀏覽器和研究領域。X AI則增加了Grok Studio,用來協助用戶生成文檔、代碼、報告和小游戲。

從目前能夠體驗到的產品來看,多模態能力和代理執行能力的提升,確實為用戶帶來了更低門檻、更高效率的AI使用體驗。套用微軟CEO納德拉夸贊自家Copilot體驗的話,具備執行能力的通用Agent就是在為用戶搭建一個腳手架,并在上面放好趁手的工具,助力用戶完成日常工作、學習、生活相關的任務。

當這個產品成熟時,人們會發覺自己的工作、學習、生活的體驗可能已經被其改變。但改變不是一個短期過程。這些還處于早期探索階段的產品,在細節上差強人意,需要一段時間去打磨,從用戶意圖理解、第三方工具調用和相應內容的生成等方面,全方位提升產品體驗。

從現階段看,模型能力的強弱依然非常重要。大模型能力的提升和成本的降低,確實刺激了AI應用的爆發,也再次讓人們看到了百度創始人李彥宏口中「應用統治未來世界」的可能。

但是,大模型技術還在持續突破,目前我們看到的Agent的不足之處,很多需要依靠模型能力的提升來完善。甚至未來有可能會實現「模型即應用」,畫圖有畫圖的模型,分析圖表有分析圖表的模型。現在看,OpenAI有向這個方向前進的傾向。

Agent的終局到底是什么,現在看來尚無定論。

多模態正在滲透進現實場景

從近期的大模型發布來看,多模態是重要的能力培養方向。字節旗下火山引擎發布的豆包1.5深度思考模型,能夠結合視覺理解能力完成看圖分析地貌、生成項目流程圖等工作。李彥宏在介紹文心4.5 Turbo時,通過識別馬拉多納「上帝之手」的照片和水槽實驗視頻中的不同顏色物體,展示了圖像和視頻的理解能力。

此外,OpenAI最新發布的o3和o4-mini也都具備看圖表和自己畫圖的多模態理解能力。OpenAI稱其首次實現了「用圖像思考」。谷歌發布的首個混合推理模型Gemini 2.5 Flash能夠比較精準地分析股票走勢圖,并能根據給到的素材圖生成游戲場景設計圖。

不斷提升多模態推理能力的同時,各個廠商都在為這種能力尋找第一塊試驗田。夸克在推出AI超級框概念之后,最新上線了拍照問夸克功能,就是在將大模型的多模態能力注入到AI超級框中,讓用戶不但能夠通過文字完成與AI超級框的交互,還能實現圖文并茂的溝通。

在實際的使用過程中,我們發現拍照問夸克功能基本可以滿足「拍照搜索」的體驗,比如拍攝一個梅瓶的陳列,夸克可以回答出梅瓶的由來,以及它在宋朝會被用來盛酒。用戶還可以拍攝照片,讓夸克根據照片生成文案,或者識別食物的卡路里、辨別景點并給到游玩攻略。

通過加入圖像,夸克可以讓用戶給AI下達更加精準的任務,然后調用夸克積累的Agent和原子功能,更好地完成任務。



這其實是在讓攝像頭成為用戶賦予AI的眼睛,未來可能不止依靠拍照,還會有直接通過攝像頭進行的實時交互。這也是谷歌試圖實現的多模態交互體驗。

在谷歌多模態搜索產品負責人Rajan Patel的暢想中,多模態能力的融入,會讓搜索變得毫不費力。用戶在谷歌可以打字、可以說話、可以拍照,可以對著攝像頭說自己需要什么,而谷歌將利用大模型、產品能力,幫助用戶快速連接到相關且正確的信息。

也因此,多模態能力的提升,會影響到AI眼鏡的進展。一位AI硬件創業者告訴《窄播》,現在之所以沒有選擇AI眼鏡的方向,是因為多模態大模型還不成熟,他無法根據使用場景去進行產品定義。但是面向未來,類似用戶與拍照問夸克的交互可能會從手機遷移到眼鏡。

代理執行需要三個能力

多模態提升的是交流效率,Agent的重心則在于執行。

在2024年下半年,具備任務執行能力和系統操控能力的Agent就已經成為一門顯學。但當時有兩個問題尚待解決:一個是Agent產品的形態應該是什么樣?另一個則是Agent與第三方數據、工具之間應該如何實現連接?

Manus的出現為大家指出了前進方向——通過對話框+工作區的方式,呈現Agent的工作場景,然后基于大模型能力理解、拆分用戶任務意圖,調用不同工具模塊,協同完成任務。雖然會被人稱作「縫合怪」,但是Manus確實讓面向C端用戶的通用Agent產品的雛形顯現出來了。

近期發布的扣子空間、心響App、納米AI的Agent能力以及Genspark基本都遵循了這個雛形模版。扣子空間分為三個部分,左邊部分是任務目錄,中間部分是任務交互區,右邊可以展開一個Agent的工作空間。同時,扣子空間還會支持添加擴展,以及選擇探索和規劃兩種思考深度不同的模式。



從使用上看,扣子空間更擅長完成文字梳理工作。但在將梳理出的文字轉化為網頁時,扣子空間的效果會打折扣。我們嘗試讓扣子空間生成了一份騰沖旅游攻略、一個展示秦滅六國過程的網頁和一次AI新聞匯總。文字版的騰沖旅游攻略要更詳細,轉化為網頁后,信息量會被稀釋,美食的配圖也會出現問題。后兩個任務也不太令人滿意。

百度的心響App的特殊之處是選擇了在移動端上線,相對可以完成的任務就會更輕量化和生活化,其推薦任務中不僅有旅游攻略、數據分析等通用Agent產品常見的任務,還會有數學解題、AI相親、例行任務等類似聊天機器人的功能。整體感覺,心響App是文小言的Agent進化版。

我們認為,目前想要優化具體的任務體驗,通用Agent們需要持續培養三個關鍵能力。

第一個是,能否連接足夠數量的第三方數據和工具。MCP(Model Context Protocol,支持大模型與外部數據、工具集成的開源協議)和A2A(Agent2Agent,智能體協作協議)的推出,不但讓第三方數據、工具有了順暢接入通用Agent的統一接口,還賦予了Agent與Agent之間的交互、協作能力。

目前,國內廠商基本都接受了這種連接解決方案,接下來需要解決的是,如何擴充有效的工具箱。

納米AI主打的賣點是「MCP萬能工具箱」,號稱接入了近百個優質第三方工具。扣子空間的擴展相對要少很多,而且有些只具備簡單功能。以騰沖攻略為例,我可以用扣子空間里的墨跡天氣擴展將天氣預報添加進攻略中,但沒有成功利用高德地圖擴展生成每天的景點路線圖,大部分嘗試中,都只顯示了騰沖在地圖上的位置。



編碼則是通用Agent需要培養的第二項能力。AI編程為Agent解決復雜任務提供了一個通用的有效工具,無論是ppt、網頁、圖表的生成,還是小游戲的創作,都需要依賴編碼能力來執行。有消息顯示,OpenAI正在討論用30億美元收購AI編程初創公司Windsurf,借此來提升AI的編碼能力。

第三個也是最底層的,是大模型的任務理解能力。只有具備更強的任務理解能力,通用Agent才能讓更多人依賴其去完成任務,并保證任務的完成水準。這也是大廠在多模態能力之外,著力在提升的另外一項大模型能力。OpenAI在推出o3和o4-mini時,就強調這是一個知道去上網查資料、執行Python代碼的「大腦」。

從目前的布局來看,OpenAI期待這個「大腦」在未來能夠精準調度Operator和Deep Research等職業身份不同的Agent,前者是操控瀏覽器的司機,后者則是負責做研究的學者。未來可能還會有擅長編程的程序員,擅長講故事的作家等Agent。

字節的扣子空間、百度的邏輯是像開發API一樣開發Agent,需要有扣子、秒搭等Agent或工作流的搭建平臺提供支持。而OpenAI的路徑是按照職業去培養Agent。這是API邏輯之外的另一種更加擬人化的Agent生態培養模式。兩個模式都是為了調用Agent生態,去完成不同的任務。

在OpenAI給到投資者的預期中,AI Agent及其他新產品合計銷售額將在2025年末超越ChatGPT,達到30億美元,到2029年Agent業務將為其貢獻290億美元的收入。這是一個非常樂觀的預期。國內的通用Agent們也有可能從Agent體驗升級中,奠定面向C端用戶的收費模式。

實現這一預期的前提是,通用Agent們能夠將多模態能力與Agent的執行能力結合起來,成為未來的底層入口。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
載3000輛汽車的輪船在太平洋起火,含800輛電動汽車 船員已棄船大火還未滅

載3000輛汽車的輪船在太平洋起火,含800輛電動汽車 船員已棄船大火還未滅

紅星新聞
2025-06-05 00:46:25
沒教養?全紅嬋父親曬視頻,全媽又遭網暴,網友質疑,評論一邊倒

沒教養?全紅嬋父親曬視頻,全媽又遭網暴,網友質疑,評論一邊倒

趣文說娛
2025-06-05 15:27:49
移花接木:俄羅斯正竭力掩蓋被摧毀的圖-95MS和圖-22M3戰略轟炸機

移花接木:俄羅斯正竭力掩蓋被摧毀的圖-95MS和圖-22M3戰略轟炸機

零度Military
2025-06-04 21:06:55
太膈應!一業主稱對門鄰居搬進來,入住當天就在門口掛條大紅綢帶

太膈應!一業主稱對門鄰居搬進來,入住當天就在門口掛條大紅綢帶

火山詩話
2025-06-05 17:26:19
美國想用比特幣化解36萬億國債?萬斯瘋狂推銷,歐洲要被忽悠瘸了

美國想用比特幣化解36萬億國債?萬斯瘋狂推銷,歐洲要被忽悠瘸了

青青子衿
2025-06-05 11:29:24
經國務院批準,成立一家新央企

經國務院批準,成立一家新央企

政知新媒體
2025-06-05 12:33:56
國足被淘汰后伊萬發聲!甩鍋氣候艱苦,能看到年輕球員希望!

國足被淘汰后伊萬發聲!甩鍋氣候艱苦,能看到年輕球員希望!

籃球資訊達人
2025-06-06 00:51:48
“千萬不要改答案!”大學生分享高考實戰經驗,網友:這是真讀過書的

“千萬不要改答案!”大學生分享高考實戰經驗,網友:這是真讀過書的

新東方
2025-06-05 12:02:40
中國出手干預!烏克蘭無人機襲擊俄轟炸機,專家觀點得到驗證

中國出手干預!烏克蘭無人機襲擊俄轟炸機,專家觀點得到驗證

說歷史的老牢
2025-06-03 11:08:45
醫生研究發現:每天多吃一個水煮蛋,肝臟代謝異常風險或會升高?

醫生研究發現:每天多吃一個水煮蛋,肝臟代謝異常風險或會升高?

星光看娛樂
2025-06-03 09:57:59
烏將遭到每天500次襲擊?俄損失接近100萬?普京將發動核武報復?

烏將遭到每天500次襲擊?俄損失接近100萬?普京將發動核武報復?

三分亮劍
2025-06-06 00:04:29
突發!美國限制乙烷對華出口,生產商必須申請許可證

突發!美國限制乙烷對華出口,生產商必須申請許可證

北美商業電訊
2025-06-05 17:04:32
楊絳說:記住,和周圍人搞好關系的秘訣就是,不要和他們分享任何成功的喜悅,和任何開心的事兒!

楊絳說:記住,和周圍人搞好關系的秘訣就是,不要和他們分享任何成功的喜悅,和任何開心的事兒!

LULU生活家
2025-03-11 18:21:18
衛生間的這種“蟲子”,千萬不要用手拍!有人因此被迫摘除眼球……

衛生間的這種“蟲子”,千萬不要用手拍!有人因此被迫摘除眼球……

魯中晨報
2025-06-04 11:50:19
誰懂啊?!這部韓劇居然能過審?!

誰懂啊?!這部韓劇居然能過審?!

大眼妹妹
2025-06-05 09:55:47
國足出局后孫繼海質疑伊萬!王大雷低頭表情凝重,詹俊:沒有脾氣

國足出局后孫繼海質疑伊萬!王大雷低頭表情凝重,詹俊:沒有脾氣

體壇紀錄片
2025-06-06 00:13:00
氣溫29℃&濕度80%!開場僅1分鐘,印尼主帥克魯伊維特已汗流浹背

氣溫29℃&濕度80%!開場僅1分鐘,印尼主帥克魯伊維特已汗流浹背

直播吧
2025-06-05 22:09:49
618 手機銷量 TOP10 排名

618 手機銷量 TOP10 排名

劉奔跑
2025-06-05 23:49:06
國足0-1印尼,球員評分出爐:不是王大雷獲最低,而是中國隊17號

國足0-1印尼,球員評分出爐:不是王大雷獲最低,而是中國隊17號

侃球熊弟
2025-06-05 23:49:28
A股:證監會最新發聲,券商尾盤突襲,明天主力資金要行動了?

A股:證監會最新發聲,券商尾盤突襲,明天主力資金要行動了?

虎哥閑聊
2025-06-05 15:32:37
2025-06-06 01:47:00
窄播 incentive-icons
窄播
專注商業趨勢研究
286文章數 4關注度
往期回顧 全部

科技要聞

對話盛景網聯彭志強:跳出SaaS虧損黑洞!從“賣工具”到“賣結果”的AI RaaS轉型法則

頭條要聞

27歲女子被咬傷身亡 三亞衛健委再通報搶救全過程

頭條要聞

27歲女子被咬傷身亡 三亞衛健委再通報搶救全過程

體育要聞

提前無緣美加墨世界杯 國足眾將賽后落淚

娛樂要聞

陳赫宴請好友,李乃文攜妻子罕見亮相

財經要聞

習近平同美國總統特朗普通電話

汽車要聞

旗艦+大六座+百萬級 阿維塔全新SUV預計明年量產

態度原創

教育
本地
房產
時尚
手機

教育要聞

通知!高考期間部分學校周邊部分路段采取交通管控

本地新聞

非遺里的河南 | 黃河泥變身千年墨寶,寫字都帶仙氣兒~

房產要聞

再奪荔灣銷冠!誰是主城改善標準制定者,終于有了答案!

泰權威!復刻三分已成濃顏貴女

手機要聞

印度區域iPhone維修業務從緯創轉移 蘋果加大對塔塔的依賴

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 习水县| 乐安县| 沙湾县| 延长县| 和田市| 北碚区| 鹿泉市| 繁昌县| 安顺市| 湄潭县| 定日县| 娱乐| 舞钢市| 黔南| 宣化县| 遂昌县| 伊金霍洛旗| 亚东县| 长阳| 务川| 仲巴县| 沐川县| 金川县| 镇远县| 弥渡县| 喜德县| 资源县| 浦县| 普陀区| 当涂县| 育儿| 壤塘县| 宁波市| 汾阳市| 龙胜| 乐业县| 黄梅县| 庆阳市| 富宁县| 遵义县| 炎陵县|