當(dāng)你試圖交流或理解某些想法時，語言往往力有不逮。有時更高效的方式是繪制簡單的概念草圖——比如用電路圖來解析系統(tǒng)運作原理。

但若人工智能能協(xié)助我們探索這種可視化表達呢？

當(dāng)前，多數(shù) AI 系統(tǒng)雖擅長創(chuàng)作寫實油畫或卡通插畫，卻難以把握素描的精髓：那種逐筆勾勒、反復(fù)迭代的過程，正是人類借以頭腦風(fēng)暴并修正創(chuàng)意表達的關(guān)鍵。

近日，麻省理工學(xué)院計算機科學(xué)與人工智能實驗室（CSAIL）與斯坦福大學(xué)聯(lián)合開發(fā)的新型繪圖系統(tǒng)“SketchAgent”改變了這一現(xiàn)狀。該系統(tǒng)采用多模態(tài)語言模型，可在數(shù)秒內(nèi)將自然語言指令轉(zhuǎn)化為草圖。無論是獨立創(chuàng)作還是人機協(xié)作，它都能完成繪制，既可以配合人類共同作畫，也能根據(jù)分段文字描述逐步構(gòu)建草圖

該論文第一作者、CSAIL 博士后研究員 Yael Vinker 指出，這一系統(tǒng)開創(chuàng)了人機交互的更自然方式。“人們往往沒有意識到自己日常繪制了多少草圖。人類會用速寫來梳理思路或研討創(chuàng)意，我們的工具旨在模擬這一過程，讓多模態(tài)語言模型能更有效地輔助人類實現(xiàn)視覺化表達?！?/p>

雖然像 DALL-E 3 這樣的文本轉(zhuǎn)圖像模型可以創(chuàng)作出引人入勝的繪畫，但它們?nèi)鄙偎孛璧囊粋€關(guān)鍵要素：自發(fā)的、富有創(chuàng)意的過程，在這個過程中，每一筆都可能影響整體設(shè)計。SketchAgent 的繪畫則被建模為一系列筆觸，看起來更自然流暢，就像人類的素描一樣。

先前的研究依賴人類繪制數(shù)據(jù)集進行模型訓(xùn)練，其規(guī)模與多樣性往往受限。SketchAgent 則另辟蹊徑，直接調(diào)用預(yù)訓(xùn)練語言模型——這些模型雖掌握海量概念，卻不懂如何素描。當(dāng)研究者教會語言模型這種筆觸序列創(chuàng)作法后，SketchAgent 開始繪制它從未明確訓(xùn)練過的各種概念。

SketchAgent 通過獨創(chuàng)的“素描語言”教會 AI 模型逐筆作畫——無需依賴訓(xùn)練數(shù)據(jù)，而是將草圖轉(zhuǎn)化為網(wǎng)格上帶編號的筆觸序列。研究人員以房屋為例演示繪制過程：每道筆觸都標(biāo)注對應(yīng)元素，使模型能夠舉一反三理解新概念。

作為一種凍結(jié)參數(shù)的多模態(tài)大語言模型，SketchAgent 接收三類輸入：包含素描語言規(guī)范的系統(tǒng)提示；帶有具體任務(wù)指令的用戶提示（如“畫一條鯊魚”）；空白繪圖畫布。根據(jù)任務(wù)要求，該系統(tǒng)會生成代表筆觸序列的文本響應(yīng)。這些筆觸數(shù)據(jù)經(jīng)處理轉(zhuǎn)化為矢量圖形后呈現(xiàn)在畫布上。畫布可被循環(huán)利用于兩種場景：配合更新后的提示重新輸入模型，用于執(zhí)行新增任務(wù)或修改草圖；供人類用戶調(diào)取以實現(xiàn)協(xié)作繪圖。

Vinker 團隊也驗證了 SketchAgent 究竟是與人類協(xié)同創(chuàng)作，還是在獨立創(chuàng)作。他們在協(xié)作模式下測試了該系統(tǒng)：人類與 AI 需合力完成特定概念的繪制。移除 AI 貢獻的筆觸后，團隊發(fā)現(xiàn)這些筆觸對最終成圖至關(guān)重要。例如刪除代表桅桿的人工筆觸后，整幅帆船草圖便難以辨認。

也就是說，通過研究人員設(shè)計的基于 Web 的協(xié)作式草圖繪制環(huán)境，用戶可以和 SketchAgent 輪流在共享畫布上繪制，根據(jù)給定的文本概念創(chuàng)作出可識別的草圖。參與者以兩種模式繪制概念：單人模式（各自獨立繪制）和協(xié)作模式（用戶和 SketchAgent 協(xié)作繪制，每次添加一筆，直到雙方都對最終效果滿意為止）。綠色表示用戶繪制的筆觸，粉色表示 SketchAgent 繪制的筆觸 。

用戶還可以通過聊天對話反復(fù)編輯他們的草圖。研究團隊演示了該系統(tǒng)創(chuàng)作的各種概念草圖：機器人、蝴蝶、DNA雙螺旋、流程圖，甚至悉尼歌劇院等抽象圖案。未來，該工具或可發(fā)展為互動藝術(shù)游戲，既能輔助教師和研究者圖解復(fù)雜概念，也能為用戶提供快速繪畫教學(xué)。

此外，用戶還可以使用 SketchAgent 將草圖變?yōu)閯訄D。

在另一個實驗中，研究者為 SketchAgent 接入不同多模態(tài)語言模型進行測評。結(jié)果發(fā)現(xiàn)，Claude 3.5 Sonnet 生成的矢量圖形（可轉(zhuǎn)換為高清圖像的文本文件）最具人類特質(zhì)，表現(xiàn)優(yōu)于 GPT-4o 和 Claude 3 Opus 等模型。“這一結(jié)果暗示該模型處理視覺信息的方式與眾不同?！焙现?Tamar Rott Shaham 指出。

她補充道，SketchAgent 可能成為超越文本交互的新型人機協(xié)作界面：“隨著模型理解草圖等多元模態(tài)的能力提升，用戶將獲得更直覺化、類人的表達方式，這能顯著豐富交互體驗，提升 AI 的易用性與適應(yīng)性?！?/p>

盡管 SketchAgent 展現(xiàn)出巨大的潛力，目前仍無法完成專業(yè)素描。它能用簡筆畫呈現(xiàn)基礎(chǔ)概念，但對徽標(biāo)、句子、獨角獸等復(fù)雜生物及特定人物形象的繪制仍力不從心。協(xié)作過程中，模型偶現(xiàn)理解偏差——例如畫出雙頭兔。Vinker 解釋，這可能源于其“思維鏈”推理機制：當(dāng)模型將繪圖任務(wù)分解為多個步驟時，可能誤解人類對哪部分草圖做出貢獻。研究者考慮通過擴散模型合成數(shù)據(jù)來優(yōu)化這些繪圖技能。

此外，該系統(tǒng)常需多輪提示才能生成擬人涂鴉。未來團隊計劃優(yōu)化交互界面，簡化與多模態(tài)語言模型的協(xié)作繪圖流程。但該工具已證明：通過人機逐步協(xié)作，AI 有望以人類思維方式繪制多元概念，最終實現(xiàn)更契合設(shè)計意圖的成果。

1.https://yael-vinker.github.io/sketch-agent/

2.https://news.mit.edu/2025/teaching-ai-models-to-sketch-more-like-humans-0602