GUI-Reflection 團(tuán)隊 投稿
量子位 | 公眾號 QbitAI

端到端多模態(tài)GUI智能體有了“自我反思”能力！南洋理工大學(xué)MMLab團(tuán)隊提出框架GUI-Reflection。

隨著多模態(tài)大模型的發(fā)展，端到端GUI智能體在手機(jī)、電腦等設(shè)備上的自動化任務(wù)中展示出巨大潛力。它們能夠看懂設(shè)備屏幕，模擬人類去點(diǎn)擊按鈕、輸入文本，從而完成復(fù)雜的任務(wù)。

然而，當(dāng)前端到端GUI多智能體的訓(xùn)練范式仍存在明顯的瓶頸：當(dāng)前模型往往使用幾乎完美的離線演示軌跡進(jìn)行訓(xùn)練，使得模型缺乏反思和改正自身錯誤的能力，并進(jìn)一步限制了通過在線強(qiáng)化學(xué)習(xí)激發(fā)和提升能力的可能。

GUI-Reflection的核心思想是在智能體的各個訓(xùn)練階段引入“反思與糾錯”機(jī)制，這一機(jī)制貫穿預(yù)訓(xùn)練、監(jiān)督微調(diào)和在線訓(xùn)練全過程，模擬了人類“犯錯→反思→重試”的認(rèn)知過程。

1. GUI預(yù)訓(xùn)練階段：
2. 提出GUI-Reflection Task Suite任務(wù)套件, 將反思糾錯能力進(jìn)一步分解，讓模型在預(yù)訓(xùn)練階段框架讓模型初步接觸反思類任務(wù)，為后續(xù)打下基礎(chǔ)。
3. 離線監(jiān)督微調(diào)階段：
4. 構(gòu)建自動化數(shù)據(jù)管道，從已有離線無錯軌跡中構(gòu)建帶有反思和糾錯的行為數(shù)據(jù)，讓模型成功習(xí)得反思糾錯行為。
5. 在線訓(xùn)練階段：
6. 搭建分布式移動端GUI學(xué)習(xí)環(huán)境，并設(shè)計迭代式反思反饋調(diào)優(yōu)算法，讓模型在與真實環(huán)境交互中進(jìn)一步提升相關(guān)能力。

GUI-Reflection框架簡介

GUI-Reflection 是一個貫穿訓(xùn)練全過程的框架，旨在系統(tǒng)性地賦予多模態(tài)GUI智能體以“自我反思與糾錯”的能力。該框架由三大關(guān)鍵階段組成，分別對應(yīng)模型能力的認(rèn)知啟發(fā)、行為習(xí)得與交互強(qiáng)化：

1 GUI預(yù)訓(xùn)練階段：啟發(fā)反思相關(guān)能力

現(xiàn)有GUI預(yù)訓(xùn)練多聚焦于界面理解和操作感知，而忽視了反思相關(guān)的原生能力構(gòu)建。GUI-Reflection 首次提出專為反思設(shè)計的GUI-Reflection Task Suite，包含三類關(guān)鍵任務(wù)：

• Action Verification（動作驗證）
• ：判斷某一步操作是否達(dá)成了預(yù)期目標(biāo)，訓(xùn)練模型識別執(zhí)行偏差。
• Action Reversal（動作回滾）
• ：學(xué)習(xí)如何撤銷錯誤操作，回退到正確的任務(wù)路徑。
• Mistake-Informed Reattempt（基于錯誤的再嘗試）
• ：在明確過去錯誤的前提下，生成新的、改進(jìn)的操作策略。

這些任務(wù)將復(fù)雜的反思行為分解為更細(xì)粒度的認(rèn)知能力，使模型在預(yù)訓(xùn)練階段即具備初步的“反思意識”。

2 離線監(jiān)督微調(diào)階段：自動化構(gòu)建糾錯軌跡

針對當(dāng)前GUI數(shù)據(jù)集缺少犯錯和糾錯數(shù)據(jù)的問題，GUI-Reflection設(shè)計了一個自動化反思糾錯數(shù)據(jù)生成管道。該方法從已有成功軌跡中自動構(gòu)造出“帶錯軌跡”與“糾錯行為”，實現(xiàn)數(shù)據(jù)維度上的“反思注入”。具體包括：

• 目標(biāo)擾動生成錯誤行為：
• 通過修改原始任務(wù)目標(biāo)，使模型原本的動作在新目標(biāo)下變成“錯誤”動作，并構(gòu)建對應(yīng)的反思錯誤行為數(shù)據(jù)。
• 行為插入模擬失誤：
• 向成功軌跡中插入無效操作，讓模型對無效錯誤操作做出反思并嘗試新的正確操作。

整個數(shù)據(jù)增強(qiáng)過程無需人工標(biāo)注，使得GUI模型在離線微調(diào)階段習(xí)得了有效的反思行為。

3. 在線訓(xùn)練階段：搭建反饋式反思回路

為了進(jìn)一步提升模型在真實環(huán)境中的適應(yīng)能力，GUI-Reflection構(gòu)建了一個分布式安卓模擬環(huán)境，涵蓋11個app和 215 個任務(wù)模板，支持高并發(fā)交互。基于此環(huán)境，GUI-Reflection設(shè)計了一種自動化迭代式在線反思調(diào)優(yōu)算法：

• 成功軌跡將被細(xì)粒度驗證，僅保留每一步的有效執(zhí)行；
• 失敗軌跡則被自動定位錯誤步驟，并為該步驟自動生成前向修正（Pre-Error Correction）與后向反思（Post-Error Reflection）操作。

通過多輪訓(xùn)練迭代與動態(tài)采樣策略，模型逐步優(yōu)化其容錯率、恢復(fù)能力與復(fù)雜規(guī)劃水平。

實驗結(jié)果

GUI-Reflection Task Suite測評結(jié)果

通過在構(gòu)建的GUI-Reflection Task Suite上進(jìn)行評測發(fā)現(xiàn)：

• 通用大模型（如 GPT-4o、Gemini）在GUI任務(wù)中具備不錯的原生反思能力
• ，能夠初步識別錯誤并進(jìn)行合理推理；
• 小規(guī)模開源模型在這方面能力明顯不足，尤其在面對失敗操作時難以自我修復(fù)；
• 更關(guān)鍵的是，現(xiàn)有的標(biāo)準(zhǔn)GUI預(yù)訓(xùn)練流程，反而會削弱模型原本具備的反思能力

當(dāng)在預(yù)訓(xùn)練階段引入反思導(dǎo)向任務(wù)數(shù)據(jù)，即使是較小規(guī)模的模型，也能顯著提升其在反思相關(guān)任務(wù)中的表現(xiàn)，甚至達(dá)到接近閉源大模型的水平。

反思行為的有效性

在評測環(huán)境中進(jìn)行實驗后觀察到：

• 在離線監(jiān)督微調(diào)階段引入反思類數(shù)據(jù)，
• 可以顯著提升模型的任務(wù)完成表現(xiàn)；
• 進(jìn)一步結(jié)合在線反思調(diào)優(yōu)算法進(jìn)行訓(xùn)練，
• 模型的成功率持續(xù)提升，表現(xiàn)出更強(qiáng)的泛化能力與穩(wěn)定性。

GUI-Relection-8B模型在AndroidWorld基準(zhǔn)中也實現(xiàn)了 34.5% 的成功率，證明了GUI-Reflection框架的有效性。
這一系列結(jié)果充分表明：在多個訓(xùn)練階段顯式引入反思機(jī)制，是提升GUI智能體能力的關(guān)鍵路徑，而不僅僅依賴大規(guī)模演示數(shù)據(jù)或強(qiáng)模型本身。

反思行為樣例

模型能夠成功認(rèn)識到之前操作的錯誤并采取對應(yīng)操作進(jìn)行回退。

對于不熟悉或不確定的操作，模型可以根據(jù)之前的錯誤做出新的嘗試。

結(jié)語

GUI-Reflection為端到端多模態(tài) GUI 智能體注入了全新的“自我反思”能力。從預(yù)訓(xùn)練、離線微調(diào)到在線交互，它系統(tǒng)性地打通了“犯錯—反思—修正”的認(rèn)知閉環(huán)，使模型在面對真實環(huán)境中的不確定性時，能夠更加魯棒、靈活地應(yīng)對各種突發(fā)狀況。

論文鏈接：https://arxiv.org/abs/2506.08012
項目主頁：https://penghao-wu.github.io/GUI_Reflection
數(shù)據(jù)和模型HF鏈接：https://huggingface.co/collections/craigwu/gui-reflection-683c7fb964b44c0cca842290

代碼倉庫鏈接：https://github.com/penghao-wu/GUI_Reflection