始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。，A800/H20等算力6.25元/卡時，支持在線微調訓練，及線部署和。

隨著多模態大模型的發展，端到端GUI智能體在手機、電腦等設備上的自動化任務中展示出巨大潛力。它們能夠看懂設備屏幕，模擬人類去點擊按鈕、輸入文本，從而完成復雜的任務。

然而，當前端到端GUI多智能體的訓練范式仍存在明顯的瓶頸：當前模型往往使用幾乎完美的離線演示軌跡進行訓練，使得模型缺乏反思和改正自身錯誤的能力，并進一步限制了通過在線強化學習激發和提升能力的可能。

MMLab@南洋理工大學提出了一種全新的訓練框架GUI-Reflection。它最核心創新是在智能體的各訓練階段引入 “反思與糾錯”機制，這一機制貫穿預訓練、監督微調和在線訓練全過程，模擬了人類“犯錯→反思→重試”的認知過程：

• 在GUI預訓練階段，提出GUI-Reflection Task Suite任務套件, 將反思糾錯能力進一步分解，讓模型在預訓練階段框架讓模型初步接觸反思類任務，為后續打下基礎。

• 在離線監督微調階段，構建自動化數據管道，從已有離線無錯軌跡中構建帶有反思和糾錯的行為數據，讓模型成功習得反思糾錯行為。

• 在線訓練階段，搭建分布式移動端GUI學習環境，并設計迭代式反思反饋調優算法，讓模型在與真實環境交互中進一步提升相關能力。

GUI-Reflection訓練框架已上線始智AI-wisemodel開源社區，歡迎大家前去體驗。

模型地址

https://www.wisemodel.cn/models/penghaowu/GUI_Reflection_8b_SFT

01.

全流程反思訓練體系

GUI-Reflection 是一個貫穿訓練全過程的框架，旨在系統性地賦予多模態GUI智能體以“自我反思與糾錯”的能力。該框架由三大關鍵階段組成，分別對應模型能力的認知啟發、行為習得與交互強化：

1.GUI預訓練階段：啟發反思相關能力

現有GUI預訓練多聚焦于界面理解和操作感知，而忽視了反思相關的原生能力構建。GUI-Reflection 首次提出專為反思設計的GUI-Reflection Task Suite，包含三類關鍵任務：

• Action Verification（動作驗證）：判斷某一步操作是否達成了預期目標，訓練模型識別執行偏差。

• Action Reversal（動作回滾）：學習如何撤銷錯誤操作，回退到正確的任務路徑。

• Mistake-Informed Reattempt（基于錯誤的再嘗試）：在明確過去錯誤的前提下，生成新的、改進的操作策略。

這些任務將復雜的反思行為分解為更細粒度的認知能力，使模型在預訓練階段即具備初步的“反思意識”。

2.離線監督微調階段：自動化構建糾錯軌跡

針對當前GUI數據集缺少犯錯和糾錯數據的問題，GUI-Reflection設計了一個自動化反思糾錯數據生成管道。該方法從已有成功軌跡中自動構造出“帶錯軌跡”與“糾錯行為”，實現數據維度上的“反思注入”。具體包括：

• 目標擾動生成錯誤行為：通過修改原始任務目標，使模型原本的動作在新目標下變成“錯誤”動作，并構建對應的反思錯誤行為數據。

• 行為插入模擬失誤：向成功軌跡中插入無效操作，讓模型對無效錯誤操作做出反思并嘗試新的正確操作。

整個數據增強過程無需人工標注，使得GUI模型在離線微調階段習得了有效的反思行為。

3.在線訓練階段：搭建反饋式反思回路

為了進一步提升模型在真實環境中的適應能力，GUI-Reflection構建了一個分布式安卓模擬環境，涵蓋11個app和 215 個任務模板，支持高并發交互。基于此環境，GUI-Reflection設計了一種自動化迭代式在線反思調優算法：

• 成功軌跡將被細粒度驗證，僅保留每一步的有效執行；

• 失敗軌跡則被自動定位錯誤步驟，并為該步驟自動生成前向修正（Pre-Error Correction）與后向反思（Post-Error Reflection）操作。

通過多輪訓練迭代與動態采樣策略，模型逐步優化其容錯率、恢復能力與復雜規劃水平。

02.

多維度實驗成效顯著

GUI-Reflection Task Suite測評結果

通過在構建的 GUI-Reflection Task Suite 上進行評測，我們發現：

• 通用大模型（如 GPT-4o、Gemini）在GUI任務中具備不錯的原生反思能力，能夠初步識別錯誤并進行合理推理；

• 而小規模開源模型在這方面能力明顯不足，尤其在面對失敗操作時難以自我修復；

• 更關鍵的是，現有的標準GUI預訓練流程，反而會削弱模型原本具備的反思能力。

當我們在預訓練階段引入反思導向任務數據，即使是較小規模的模型，也能顯著提升其在反思相關任務中的表現，甚至達到接近閉源大模型的水平。

反思行為的有效性

在我們搭建的評測環境中進行實驗后，我們觀察到：

• 在離線監督微調階段引入反思類數據，可以顯著提升模型的任務完成表現；

• 進一步結合在線反思調優算法進行訓練，模型的成功率持續提升，表現出更強的泛化能力與穩定性。

我們的模型在AndroidWorld 基準中也實現了 34.5% 的成功率，證明了GUI-Reflection框架的有效性。

這一系列結果充分表明：在多個訓練階段顯式引入反思機制，是提升GUI智能體能力的關鍵路徑，而不僅僅依賴大規模演示數據或強模型本身。

反思行為樣例

模型能夠成功認識到之前操作的錯誤并采取對應操作進行回退。

對于不熟悉或不確定的操作，模型可以根據之前的錯誤做出新的嘗試。

GUI-Reflection 的提出，為端到端多模態 GUI 智能體注入了全新的“自我反思”能力。從預訓練、離線微調到在線交互，它系統性地打通了“犯錯—反思—修正”的認知閉環，使模型在面對真實環境中的不確定性時，能夠更加高效、靈活地應對各種突發狀況。

編輯：成蘊年

----- END -----

wisemodel相關：

系統升級：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看