近年來，隨著圖神經網絡（Graph Neural Networks, GNN）在推薦系統、生物信息、社交網絡等領域的廣泛應用，“圖提示”（Graph Prompting）作為一種輕量級遷移學習方法逐漸受到關注。

該方法通過對輸入圖結構進行微調（如添加提示向量或子圖），在不修改模型參數的前提下適配新的任務場景，顯著簡化了模型部署流程。過去三年內已經有幾十篇相關研究出現，在推薦系統、藥物發現、社交網絡等多個領域頻頻出圈，成為圖神經網絡的新寵。

盡管已有多項實證研究表明圖提示具有良好性能，但該機制的理論基礎尚不明晰。理論性的缺乏使得過去基于經驗的圖提示研究工作頻頻遭受質疑，成為圖提示研究的一朵令人不安的“烏云”。

為回應這一研究空白，香港中文大學王群中（大二本科生）、孫相國博士（共同一作、通訊作者）、以及程鴻教授，近期在 ICML 2025 的論文 “Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis”，系統提出從“數據操作”視角理解圖提示的理論框架，從數學上系統解釋了圖提示的工作機制，并給出了形式化定義、誤差上界分析及分布刻畫，為圖提示的有效性提供了明確的理論支撐。

論文名稱： Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis 論文鏈接： https://arxiv.org/abs/2410.01635 代碼鏈接： https://github.com/sheldonresearch/ProG

傳統做法是：先預訓練一個模型，再針對新任務微調模型參數。這過程復雜又耗時，像是在反復“拆機換件”。圖提示則完全不同——它保留原模型不動，只在輸入的圖數據上“加點料”，例如加上幾個特殊節點或特征向量，讓原模型自己“看懂”新任務。

已有研究指出，這種機制在實際中可能等價于某種圖數據操作（如添加節點、修改特征、刪除子圖等）。但這些結論大多基于實驗觀察，缺乏系統化的理論分析。這篇論文試圖以形式化的方式回答兩個核心問題：

• 圖提示是否具備模擬圖數據操作的能力？

• 這種能力是否能夠穩定地轉化為下游任務性能提升？

該論文最重要的理論貢獻是提出了一個關鍵概念：“橋接圖”（Bridge Graph）。

簡單說，就是對于每一個原始圖數據，都可以通過某種“數據操作”變成一個新的圖，這個新圖經過原來的預訓練模型處理后，結果就能“神奇地”符合下游任務要求。而圖提示，就是學會如何找到這個數據操作，并在理論上證明了：

• 這樣的“橋接圖”確實存在；

• 誤差是可控的，而且通常很小；

• 不管是處理一個圖，還是一批圖，都能有效運作；

• 即便模型結構很復雜（比如用了注意力機制），理論也依然成立。

這等于從根上說明：圖提示不是“偶然有效”，而是“必然有效”！

三、研究貢獻一：提出“橋接圖”理論，刻畫圖提示的本質能力

作者引入“橋接圖”（Bridge Graph）和 “ε - 擴展橋接集”等概念，形式化描述圖提示如何在理論上將原始圖轉換為可被預訓練模型正確解析的圖嵌入。這一轉化等價于找到某種圖操作函數，使得模型輸出近似等同于下游任務的最優結果。

論文證明了如下結論：對任意下游任務和輸入圖，始終存在一組提示結構，可以使得圖提示生成的圖嵌入接近目標嵌入函數輸出，且該誤差具備上界。

四、研究貢獻二：推導誤差上界，并刻畫誤差來源與可控性

論文進一步從模型結構角度推導了圖提示誤差的理論上界，并分析了誤差的來源及可控因素。主要結論包括：

• 在 GNN 的權重矩陣為行滿秩時，可以在理論上實現無誤差匹配；

• 在非滿秩情況下，誤差的上界可由模型秩缺失度（如矩陣秩損失）與數據復雜度共同決定；

• 對于多個圖組成的數據集，誤差的均方根值仍可被一個全局上界控制，該上界與下游嵌入矩陣的主成分譜有關；

• 提示結構的復雜度（如提示向量個數）與誤差控制能力成正相關，但其增長速度可遠低于樣本數量的增長，提示學習具備良好的可擴展性。

這些推導結果為后續設計提示結構提供了理論指導，支持當前實證中“中等規模提示即可取得良好效果”的經驗觀察。

五、研究貢獻三：誤差的統計分布建模及對非線性模型的擴展

除了分析誤差上界，作者還嘗試刻畫誤差的數值分布形態。通過理論分析與模擬實驗，發現當提示參數被合理優化后，殘差誤差在一定假設下近似服從卡方分布（Chi distribution），其自由度與模型秩損失相關。

此外，論文還將理論框架擴展至包含非線性結構的 GNN 模型（如 GAT），證明在具有足夠表示能力（如權重矩陣滿秩）的條件下，上述圖提示能力仍然成立，增強了該理論的適用范圍。

六、實驗驗證：理論與實踐相符

為驗證理論結果，作者在合成圖數據和真實圖數據上開展了廣泛實驗，包括不同模型結構（GCN/GAT）、不同提示策略（GPF/All-in-One）和不同數據規模等設置。主要實驗觀察包括：

• 在滿秩條件下提示學習可達到接近零誤差；

• 在非滿秩情況下，誤差表現與模型表示能力和提示規模一致；

• 隨著提示復雜度適度提升，誤差迅速下降并趨于收斂；

• 多圖任務中，提示規模的需求隨樣本增長速度顯著低于線性趨勢。

七、總結

研究首次從理論角度系統剖析圖提示機制的本質，并對其有效性給出嚴謹的數學證明。通過引入橋接圖、誤差上界分析、分布建模等理論分析，論文為圖提示從工程技巧走向可解釋建模提供了堅實基礎。

未來，該理論框架可為圖提示方法的結構設計、復雜度控制與泛化分析提供參考，也有望推動圖神經網絡在跨任務、跨域、低資源等復雜場景下的進一步發展。關于圖提示的更多參考資料：

https://github.com/sheldonresearch/ProG?tab=readme-ov-file#our-work

作者：王群中 來源： 公眾號【PaperWeekly】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術流”原創投稿計劃

TechBeat是由將門創投建立的AI學習社區（www.techbeat.net）。社區上線600+期talk視頻，3000+篇技術干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質量、知識型交流平臺，希望為AI人才打造更專業的服務和體驗，加速并陪伴其成長。

投稿內容

// 最新技術解讀/系統性知識分享 //

// 前沿資訊解說/心得經歷講述 //

投稿須知

稿件需要為原創文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發更大的文章，做原創性內容獎勵

投稿方式

發送郵件到

melodybai@thejiangmen.com

或添加工作人員微信（yellowsubbj）投稿，溝通投稿詳情；還可以關注“將門創投”公眾號，后臺回復“投稿”二字，獲得投稿說明。

關于我“門”

將門是一家以專注于數智核心科技領域的新型創投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業，發掘和培育具有全球影響力的科技創新企業，推動企業創新發展與產業升級。

將門成立于2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。

如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投后服務，歡迎發送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈