Deep Research 產品可被理解為一個以大模型能力為基礎、集合了檢索與報告生成的端到端系統，對信息進行迭代搜索和分析，并生成詳細報告作為輸出。

參考 Han Lee 的 2x2 分析框架，目前 Deep Research 類產品在輸出深度、訓練程度兩大維度呈現分異。輸出深度即產品在先前研究成果的基礎上進行了多少次迭代循環以收集更多信息，可進一步被理解為 Agentic 能力的必要基礎。低訓練程度指代經過人工干預和調整的系統，比如使用人工調整的 prompt，高訓練程度則是指利用機器學習對系統進行訓練。

和傳統 LLM Search 產品相比，Deep Research 是邁向 Agent 產品雛形的一次躍遷，可能也將成為具有階段代表性的經典產品形態。

Deep Research 產品通過系列推理模型嵌入，已生長出了 Agent 產品必要的推理能力。

更為關鍵的是，是 Deep Research 采用多次搜索和異步返回模式，在持續搜索過程中迭代和優化回復，從而輸出更符合用戶需求的內容，信息推理深度顯著提升。這一自主計劃、反思、行動的落地，是 Agent 路線圖中必須邁過的一級階梯。

Founder Park 正在搭建開發者社群，邀請積極嘗試、測試新模型、新技術的開發者、創業者們加入，請掃碼詳細填寫你的產品/項目信息，通過審核后工作人員會拉你入群～

進群之后，你有機會得到：

• 高濃度的主流模型（如 DeepSeek 等）開發交流；

• 資源對接，與 API、云廠商、模型廠商直接交流反饋的機會；

• 好用、有趣的產品/案例，Founder Park 會主動做宣傳。

01

測評對象

為描畫當前 Deep Research 產品版圖，厘清主要產品的能力層次，本文選取 Google Deep Research （下稱 Google）、OpenAI Deep Research （下稱 OpenAI）、Perplexity （下稱 PPLX）、xAI Deep Search （下稱 xAI）、Manus 五個產品進行測評，主要維度比較如表 1 所示。

表 1 測評產品比較（信息截至 2025 年 4 月）

從這一比較不難發現，除 Google、xAI 以外，迄今其他三家產品均支持圖片等多模態輸出。

考慮到目前公開性能表現有限，包括 Hugging Face、JINA 等團隊自行的開源復現項目，并不在此次測評對象之中。

02

測評任務

本文錨定“Agent 能力+產品核心能力”任務框架設計，聚焦 Tool Use、Instruction Following、Memory 三大維度的 Agent 能力，以及報告輸出能力這一 Deep Research 的核心性能，對五大 Deep Research 產品進行評估。

需要指出的是，Memory 沒有進入到最終的任務域。主要原因在于，經多任務測試，Deep Research 的自動聯網檢索構建了一個“后門機制”，即使向其投喂長文，它也可以通過聯網檢索獲得精煉信息，從而繞過用戶給定的長文 context。因此，目前難以通過長文 prompt 有效評估其 memory 空間。

本文最終的“2+1”任務設計選取遵循“代表性案例”思路，完成各任務的主要能力可被視為 Tool Use、Instruction Following 等“代理變量”，二者并非嚴格對應關系。在不同能力維度統攝下，分別設計了任務場景如下。

Tool Use

在線檢索能力：小眾內容定位

小眾內容檢索反映出模型處理在線信息“長尾效應”的綜合能力，亦是 ODR 團隊訪談中提到的優勢任務，如 Josh Tobin 所言：“當你有一個需要詳細描述的問題，而且獲得最佳答案需要大量閱讀互聯網內容時，Deep Research 真的特別擅長。如果你提出一個比較寬泛的問題，它會幫你理清楚具體想要什么。但它最出色的表現是在查找特定信息時?！?/p>

Task 1 冷門電影檢索

本文參考 IMDb 觀影全球評論數，選取了一部冷門電影（N<500），截取了電影中非關鍵幀場景，對其進行簡要描述，逆向檢索電影名稱，從而評估 Deep Research 產品是否能依據有限信息，通過外部網頁檢索，準確定位到長尾內容。

Task 2 最新書籍檢索

考慮到測試內容可能在模型訓練集中出現，為提升測評信度，本文設計了最新出版書籍的檢索任務，選取了于 2025 年 4 月剛出版的經濟學書籍《Startup Capitalism New Approaches to Innovation Strategies in East Asia》，并使用書中使用的理論框架和案例提供線索，再次檢測產品的檢索能力。

數據分析能力：基于財報的因子計算

數據分析能力體現了產品對數據進行基礎處理以及復雜分析的性能，評估其數值分析的準確性、推理邏輯可靠性的綜合表現。

本任務關注 Tesla 財報信息的因子計算，選取基于財報以及 Earnings call 的結構化數值數據分析，提供 EPS 增速跳躍因子這一指標的計算公式，評估產品調用代碼進行數值計算的自主性和有效性。

編程能力：智慧城市設計

產品設計規劃需要進行目標分析、流程分解、方案比較，并通過 coding 加以實現，貼合效率、美觀等現實目標進行創新，能夠評估模型在給定目標下進行自主探索的潛力。

本任務圍繞智慧城市大腦的前端產品場景，要求模型通過數據計算、指標構建、模塊設計，最終形成一個能夠展示的網頁解決方案，從而評估模型貫穿美觀設計、指標運算、代碼落地的全流程能力。

Instruction Following

文獻分析能力：多話題科研綜述

科研文獻綜述需要模型圍繞特定科學問題進行文獻整合與現狀梳理，難點一在于專業領域文獻的檢索源可得性確認，難點二在于分析特定領域研究的縱深性，完成對已有文獻的整合分析。

本文基于文獻綜述這一任務場景，進行分段任務設計，其中每段的綜述主題、數據信源、分析邏輯、字數要求、引用格式均有所不同，通過不同維度的差異化要求，考察產品對于“碎片化”需求的 instruction following 程度。

路線設計能力：旅游方案規劃

消費方案推薦要求模型對消費屬性以及用戶評論進行全方面檢索與梳理，并在個體偏好、預算等多重約束條件下，生成最優規劃，主要體現在旅行規劃和購物推薦兩大任務，ODR 團隊 Isa Fulford 在訪談中推薦：“我認為購物和旅行推薦是最主要的應用場景。我個人已經使用這個模型好幾個月了。”

本文設計了一個上海-韓國旅游規劃的場景，考察產品兼顧時間要求、消費預算限制、目的地偏好，最終提供具有一個用戶需求貼合性、可行性方案的 instruction following 能力。

報告輸出能力：研報分析

市場研報分析考察模型自主確定關鍵分析維度、確認數據來源，結合宏觀趨勢、中觀行業、微觀企業與用戶的多角度整合分析表現，并在報告輸出環節保證數據與圖表的結構化輸出。

本文圍繞關注的 AI 招聘初創公司 Mercor，要求產品從市場格局、產品技術、商業模式、競品公司、團隊特征進行調研分析，并強調可通過圖表形式可視化。

03

測評結果

Tool use 能力

在線檢索：OpenAI“一騎絕塵”

Task 1

根據一幕線索順藤摸瓜出一部冷門電影，這一任務只有 OpenAI 成功檢索出電影名《布宜諾斯艾利斯 100 公里 （Buenos Aires 100 km）》，其他產品均在“狐疑”中給出了錯誤答案。

需要指出的是，五家產品均收到了兩次機會——在收到第一輪 prompt 時，均未給出正確回復，而在提示“這部電影好像是在阿根廷拍攝”后，OpenAI 結合這一線索成功定位到電影的主要信息。

本文選取測評鏡頭并非電影關鍵情節，并且描述極盡簡單，OpenAI 能夠在極其有限信息的情況下，展開多源網頁搜索，驗證了其主打的“小眾內容檢索能力”確實一騎絕塵。

圖 OpenAI 的正確電影輸出

Manus、Google、xAI 三家產品則在回復語氣中透露出一絲遲疑和不確定性，在表示需要更多信息繼續推理的同時，給出了 3-5 個錯誤回復。

圖 Manus 的電影猜測結果

圖 Google 的電影猜測結果

圖 xAI 的電影猜測結果

而 PPLX 則在輸出中坦誠表示，基于給定線索，無法給出任何潛在答案，未生成其他冗余信息。

圖 PPLX 的無結論輸出

Task 2

與 Task 1 結果無異，OpenAI 在給出三本潛在書籍結果的同時，仍是唯一成功檢索到正確書籍的產品，Google 和 xAI 則提供了一些更為古早、延伸性的書籍和論文，Manus 則未輸出實質性書籍檢索結果。

圖 OpenAI 的正確書籍輸出

圖 Google 的書籍猜測結果

圖 xAI 的電影猜測結果

圖 Manus 的書籍猜測結果

數據分析：“全軍覆沒”

在初始 prompt 中，產品被要求自行挖掘財報和 earings call 相關信息，并根據給定公式進行計算。然而，PPLX 并未正確爬取各季度的 EPS 數據、以及同比每股收益增長率 （%），可能存在信源偏差問題。

因此，在第二次 prompt 中直接給定了 Tesla 在 2023 年 Q1 到 2024 年 Q4 的 EPS growth 的數據，要求產品進行計算。

這一計算過程并不算復雜，用普通最小二乘法（OLS）即可完成擬合，然而，五家產品均敗下陣來，無一成功計算出正確數值，且“各有各有的問題”。

“中道崩殂”：xAI、Google 未完成計算任務

?xAI 大篇幅展示了對于計算公式的理解，長篇大論看似嚴謹，然而【預測 2024 Q1（基于 2023 Q2-Q4 和 2024 Q1）】的表述，實則未能正確理解公式。

圖 xAI 展示的計算過程

?xAI 在給出了計算樣例后，僅完成了 1/4 的計算量，輸出了第一個數據點 2024Q1 的計算值，其對于公式的錯誤理解導致基準有誤，作為唯一輸出的 -4.19 同樣與正確答案差之千里。

圖 xAI 未完成的因子計算

?Google 對計算口徑的理解具有明顯偏差，將所需數據點錯誤推至 2025 年 Q1，基于這一錯誤邏輯，其同樣未完成極端，甚至未輸出任何測算結果。

圖 Google 給出的計算示例

“南轅北轍”：PPLX 計算對象錯位

?PPLX 早在輸出中重復了 prompt 中提到的計算方式，在計算公式渲染效果上更勝一籌，但從結果來看，其同樣未能正確理解計算邏輯，混淆了 2024 年 Q1-Q4 的計算對象，反而輸出了 2023 年 Q3-2024 年 Q2 的計算值。

圖 PPLX 展示的計算過程

?相較于 LLM Search 計算的結果，PPLX 將計算數值結果與市場分析文本高度雜糅，使得其答案異常隱匿。其輸出的 4 個結果點中，2024 年 Q1、Q2 符合計算需求，但同樣并非正確答案。

圖 PPLX 的錯誤計算數據點

“失之毫厘”：OpenAI、Manus 計算結果略有偏差

從計算對象準確性、計算完備度而言，OpenAI 和 Manus 在這一數據分析任務中表現出最高的能力成熟度。二者均正確了定位了 2024 年 Q1-Q4 的分析目標，且在數值計算的大方向上把握正確，但在數值計算的微觀代碼實現層面有所偏差。

?OpenAI 基于表格直接給出了 2023 年 Q2-2024 年 Q4 的計算結果，盡管輸出并非完全準確，但其 2024 年 Q1-Q4 在數據整體分布趨勢上與正確數據相似。由于并未給出數值計算的完整運行代碼，難以排查其計算偏差發生點。

圖 OpenAI 的計算結果

?Manus 在明確給出了計算結果的基礎上，主動輸出折線圖、條形圖對結果進行可視化，相較于 OpenAI 的表格更具易讀性。

圖 Manus 輸出結果與可視化圖表

但 Manus 在回歸運算過程中未能正確處理數理邏輯，使用了帶有截距的 np.polyfit 進行計算，導致結果出現偏離。

圖 Manus 的代碼運算偏差

編程：Manus 領銜，三大梯隊分化明顯

針對這一結合設計 + coding 的任務，五家產品的輸出呈現出顯著分層。

第一梯隊：Manus“多快好省”

?Manus 是唯一提供了完整項目文件，順利運行網頁，且在功能和美觀性上均達到合格線的產品。值得注意的是，其不僅完全兌現了“環境潔凈指數”等指標可視化展示、輿情分析等各項要求，還增加了【最新城市動態】一欄動態板塊，產品意識超前。

圖 Manus 輸出的網頁設計結果

第二梯隊：OpenAI“可以 run”但“不美觀”

?OpenAI 給出了 HTML、CSS 和 JavaScript 三個文件，保存到本地后形成了一目了然的原始網頁，能夠發現環境潔凈指數等組件，儀表盤和折線圖并列一行，勉強實現了數據展示功能。

圖 OpenAI 輸出的網頁設計結果

第三梯隊：Google、xAI、PPLX“run 不了”

?Google 并未給出可執行的前端網頁完整方案，而是從“擬真”視角在每個部分象征性提供了一個代碼模板。

圖 Google 輸出的網頁設計代碼

?xAI 以簡潔形式分塊給出了示例，但內容極度簡潔，代碼塊無法構成可運行網頁。

圖 xAI 輸出的網頁設計代碼

?PPLX 給出了分區運行文件模版，但缺乏相應圖表和資源，本地保存后同樣無法正常運行網頁。

圖 PPLX 輸出的網頁設計代碼

Instruction Following 能力

文獻分析：“選擇性執行”居多

從三段任務輸出總結來看，五家產品均無法完全遵循指令進行文獻分析，按照所要求的內容邏輯、引用規范、組織結構、字數體例的執行力不一，在這一任務上體現的指令執行力均有瑕疵。

“選擇性執行”組：OpenAI、xAI、PPLX

? OpenAI 在末段中的現有文獻總結和表格輸出相較于其他四家產品，在結論梳理和字數上均更符合規范

圖 OpenAI 的末段文獻綜述輸出

?OpenAI 的首段即無視了字數和主題要求，花了近一半篇幅點出透明和信任的概念，但隨后偏移到了論述二者的關系，字數超過 500 字，未完全滿足要求。

圖 OpenAI 的首段輸出

?xAI 是五家產品中唯一嚴格執行字數要求的“字數警察”，主動在各部分標注了總字數。且首段內容嚴格圍繞概念論述，并無走題情況。

圖 xAI 的首段文獻綜述輸出

然而，可能正是受制于字數的嚴格執行，其按照要求進行內容分析的表現差強人意，在研究現狀總結和未來研判的表現明顯劣于前者。

圖 xAI 的末段文獻綜述輸出

?PPLX 是唯一完全遵循了第二段要求的產品，在第二段輸出中明確論述了各個研究的理論基礎、假設邏輯，并且在此部分內容“簡美”，未超過字數上限。

圖 PPLX 的第二段文獻綜述輸出

但 PPLX 的首段輸出同樣并未依照指令進行概念的論述，而是將重點偏離至二者的關系，在指令內容之外“夾帶題外話”似乎是貫穿五家產品的通病。

圖 PPLX 的首段文獻綜述輸出

“對牛彈琴”組：Google、Manus

Google 在指令遵循方面屬于內容邏輯與字數體例叛逆選手，在首段并未按照 prompt 要求在 500 字內論述透明、信任的概念，而是洋洋灑灑地從概念談到二者關系。

圖 Google 的首段文獻綜述輸出

在第二段內容中，Google 并未按照要求分析整理 2021 年以來的高被引文獻，并論述其各自理論基礎，而是采用一種繞口令地方式重復文章內容。

圖 Google 的第二段文獻綜述輸出

Manus 首段的內容邏輯并未嚴格圍繞透明、信任概念，而是天馬行空地談到二者關系的調節因素，實際輸出字數完全超過 500 字要求。

圖 Manus 的首段文獻綜述輸出

Manus 輸出的第二段內容與第三段指令有所混淆，本應出現在末段的未來方向研判和參考文獻同樣出現在了第二段。

圖 Manus 的第二段文獻綜述輸出

路線設計：xAI 掉隊明顯

由于旅游路線設計作為一個典型的多目標規劃問題，需要滿足時間、距離、預算等多重可行性，難以從主觀角度進行全面評估，故本文設計了一個六維評估體系，包括旅游目的地豐富度、目的地交通時間、交通方式合理度、預算利用率、購物體驗豐富度、咖啡館體驗豐富度六項指標，由 Deepseek R1 對五家產品給出的旅游方案分別進行打分（每項滿分為 5 分）。

瑕疵明顯：xAI 走馬觀花

xAI 提供的方案并未觀照 prompt 中的咖啡館體驗需求，未設計主題咖啡館路線，缺乏專業級咖啡體驗（烘焙工坊/杯測活動，同時建議前往南怡島游覽與咖啡和購物主題相關度較低，有走馬觀花之感。

針對此方案，R1 給出的各指標得分如下：

圖 xAI 的旅游方案策劃

美中不足：PPLX 目的地較同質化

該方案在購物/咖啡的核心需求上實現度超預期，但近覆蓋首爾核心區域（明洞、江南、弘大），并未涉及傳統市場等購物體驗。

針對此方案，R1 給出的各指標得分如下：

圖 PPLX 的旅游方案策劃

接近滿分：Google、Manus、OpenAI

?Google：交通可行性不足

Google 方案的 1 分同樣扣在前往釜山的交通時間，跨城交通成本吞噬 37%有效游覽時長。

第一天：抵達首爾 & 明洞美妝購物

第二天：景福宮與弘大

第三天：江南時尚與 K-Pop 體驗

第四天：釜山一日游

第五天：特色咖啡館與藝術街區

第六天：首爾全景

第七天：離境前的最后購物

針對此方案，R1 給出的各指標得分如下：

圖 Google 輸出的旅游方案

?Manus：交通可行性不足

唯一用 html 手冊格式輸出旅游方案的產品，整體來講，首爾動線完成“美妝-輕奢-潮牌”的完備消費策劃，但在交通動線設計上仍有資源錯配不足。

針對此方案，R1 給出的各指標得分如下：

圖 Manus 輸出的旅游規劃手冊

?OpenAI

OpenAI 相較于其他產品方案，真正考慮到了購物需求，但仍在釜山跨城交通上略有損耗。

針對此方案，R1 給出的各指標得分如下：

第 1 天：上海 ? 首爾 – 抵達首爾 & 明洞購物美食

第 2 天：首爾 – 古都文化探索 & 韓屋咖啡體驗

第 3 天：首爾 – 潮流時尚購物 & 年輕活力夜生活

第 4 天：首爾 釜山 – 高鐵前往釜山 & 甘川文化村、南浦洞市場游

第 5 天：釜山 – 海濱風光 & 咖啡休閑體驗

第 6 天：釜山 – 休閑自由行（可選行程：溫泉放松或購物掃貨）

第 7 天：釜山 ? 上海 – 返回溫馨之家

圖 Google 輸出的旅游方案

報告輸出能力

基于商業研報場景，從信息準確性、分析完整性、觀點創新性、媒介多元性、論證充分性五個維度對五家產品的報告輸出能力評估，基于報告整體的可用性，各產品能力排序為：

OpenAI > Manus > PPLX = xAI >> Google

?OpenAI：90 分，兼顧深度與廣度

OpenAI 的分析視角和行文風格是五家產品中最具有專業性、擬真性，也是唯一精確錨定三大競品公司并展開比較分析的產品。

從可用性而言，在 OpenAI 輸出報告基礎上稍加語言修繕、添加圖表后即可作為一份咨詢建議閱讀。

圖 OpenAI 對 Mercor 的競品分析

?Manus：85 分，全視角、強圖表意識的實習分析師

Manus 的優勢在于分析維度的高效全面分解，能夠在市場趨勢、外部競爭的信息中提煉出明確觀點；并且相較于其他產品，在對應章節自主繪圖意識極強（盡管渲染不完全穩定）。

圖 Manus 對 Mercor 的競品分析與矩陣圖

在五家產品中，僅有 Manus 明確提到 Mercor 存在估值泡沫風險，但在信息準確性、論證充分性方面存在不足。

圖 Manus 對 Mercor 的潛在風險分析

? PPLX、xAI：70 分，基本達標

PPLX 與 xAI 輸出報告的尷尬之處在于，整體質量都在及格線以上，但作為投資簡報 bullet point 觀點清晰度不足，而作為 ground truth 進一步拓展分析，創新性又有所欠缺。

圖 xAI 對 Mercor 的競品分析

圖 PPLX 對 Mercor 的競品分析

二者在分析上專業性上“平分秋色”。xAI 受限于輸出媒介，無法像 PPLX 一般輸出分析圖表。在競品公司鎖定上，xAI 相較于 PPLX 更為精準，而對于潛在風險分析，PPLX 的輸出則有“套公式”之嫌。

圖 PPLX 對 Mercor 的潛在風險分析

?Google：60 分，以總篇幅“見長”

Google 輸出的報告停留于整合基本事實信息，分析觀點并不明確，且在商業分析方法論上存在偏差。對于 Mercor 的競品公司，其僅僅與傳統招聘平臺進行比對，在識別同賽道產品公司有明顯缺失。

圖 Google 對 Mercor 的競品分析

同時，與其前序任務表現一致，Google 在商業命題報告的論證深度有限，而是在模型幻覺之下輸出一部“加長版”的擴寫作文，信息密度極為有限。

圖 Google 對 Mercor 的潛在風險分析

04

總結：走向下一級Agent 階梯

回到本文開始的問題，相較于前代 LLM Search，陸續問世的 Deep Research 產品正在打破外部工具調度、需求執行的平均線。

Gemini 不拘于任務場景，以報告篇幅取勝，換言之，其模型幻覺仍有待干預。

OpenAI 在報告輸出、分析、設計任務中綜合表現最強，長尾內容檢索能力確如其官方所稱“行業標桿”，但在數據分析、編程維度的 tool use 潛力仍未完全實現。

PPLX 在各任務中將將達到合格線，但在具體產品能力上“難有姓名”。

xAI 的相對優勢在于保留了短平快的檢索底色，堅持“不說廢話”，尤其在涉及字數要求的任務中表現出穩定的 instruction following 能力，但多目標規劃設計能力較為薄弱。

Manus 作為銜接了 Deep research 和其他 Agent 功能的產品形態，其 tool use 能力有顯著優勢，但 instruction following 仍有行動空白。

但從測評結果來看，Deep Research 作為 Agent 產品的初代形態，無論是 Agent 的內生能力、亦或是長文本報告輸出能力，消除可見的短板障礙，觸達天花板仍需要市場的耐心。

在這一浪潮褪去后，Agent 產品的下一級階梯，或許將更快降臨。

轉載原創文章請添加微信：founderparker