始智AI wisemodel.cn開源社區

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel社區上線，價格實惠，靈活方便，支持在線微調訓練模型，及和，并。

近年來，擴散模型在圖像生成領域掀起了技術革新浪潮，其優異的生成質量和可控性推動了圖像編輯、風格遷移、圖像修復等眾多視覺任務的快速發展。

然而，盡管生成模型能力不斷增強，當前主流圖像生成方法仍普遍采用“一個任務對應一個模型”的設計范式。隨著任務需求的增加，該范式在實際應用中具有明顯的局限性。

這種任務特定模型的設計，意味著每新增一種任務需求都可能需要重新構建訓練數據、設計架構、訓練模型，成本高昂，維護復雜，擴展性差。其次，當前部分模型嘗試通過語言指令定義任務目標，但由于視覺任務的復雜性以及模態間的語義鴻溝，語言指導往往存在理解歧義，難以精準傳達任務目標，從而影響生成效果與模型的泛化能力。

并且由于視覺任務天然具有高度異質性，各任務之間數據分布割裂、關聯較弱，使得現有模型在訓練過程中難以有效學習通用知識，進一步限制了其泛化能力。

為應對上述挑戰，研究團隊提出全新一代圖像生成框架-VisualCloze。它通過視覺上下文學習（Visual In-Context Learning）使模型理解任務意圖，并完成精準生成。VisualCloze具有高度擴展性和強泛化性，支持多種視覺生成任務，甚至可以泛化到許多訓練時完全沒有見過的任務。現已上線始智AI-wisemodel開源社區，歡迎大家前去體驗。

模型地址

https://wisemodel.cn/organization/VisualCloze

01.

核心亮點：解鎖視覺生成新范式

得益于視覺上下文學習（Visual In-Context Learning）機制，VisualCloze 展現出強大的多任務學習能力與泛化能力，在統一模型框架下實現多任務處理與推理。

廣泛的任務支持

無需切換模型，VisualCloze 即可靈活支持圖像修復、編輯、風格遷移、條件生成等多種主流視覺任務，覆蓋日常應用的主要場景。

新任務泛化能力

通過少量示例圖的視覺示范，VisuaCloze能夠理解任務意圖，快速適配訓練中未見過的新任務，顯著提升適應性與靈活性。

任務統一處理

除了獨立支持特定單一任務外，VisualCloze 還能通過視覺上下文學習將多個任務融合為一步完成，實現任務鏈的統一推理，提升多任務組合鏈路的處理效率。

反向生成能力

在無需額外訓練的前提下，模型還可執行逆向任務，即從目標圖像中反推出條件輸入，如恢復其風格、布局、語義信息。

02.

核心技術點：統一模型，靈活泛化

VisualCloze實現了一模型通多任務，其核心技術點如下：

視覺上下文學習：擺脫語言束縛

不同于以往依賴文字描述的任務提示方式，VisualCloze 使用視覺上下文學習的方式理解任務需求。僅需提供若干輸入輸出圖像對作為任務示例，模型即可理解用戶意圖并生成目標圖像。這種方式天然適合視覺任務，極大減少了任務歧義。

統一生成范式：兼容現有強基座模型

為了讓模型通過視覺上下文學習看圖識意，我們將包括上下文任務示例圖像在內的全部圖像以及條件圖像全部以網格布局拼接為一張圖像。作為輸入，讓模型從這張拼接圖像中觀察示例示例，從而填充出缺失的目標區域。

同時，這一設計讓VisualCloze的目標與圖像補全任務高度一致，因此我們可以直接在SOTA圖像補全模型如FLUX.1-Fill-dev的基礎上構建VisualCloze，而無需對模型結構做任何修改，充分繼承基礎模型的強大生成能力。

此外，不同圖像常常具有不一致的尺寸或寬高比，這給拼接帶來了極大挑戰。直接裁剪或拉伸不僅影響圖像質量，還可能破壞圖像的空間語義，進而影響任務理解。

為解決這一問題，VisualCloze借助了FLUX.1-Fill-dev中引入的三維旋轉位置編碼（3D-RoPE）機制，通過在時序維度拼接任務示例和條件圖像，而非強行拼成整齊的網格圖像，從而自然地對不同尺寸的圖像進行對齊與融合。

Graph200k圖結構數據集：密集任務關聯

在自然語言處理領域，眾多任務之間存在大量交集，例如翻譯、問答和文本摘要等往往可以共享語義表示，從而實現有效的跨任務遷移學習。然而，在視覺生成領域，不同任務之間差異巨大，天然呈現出高度異質性與任務割裂，這不利于模型學習可遷移的通用知識。

為此，我們提出了全新的圖結構多任務數據集 Graph200K。該數據集構建于 Subjects200K 基礎之上，為每張圖像提供了五大元任務的多重標注，包括：條件生成，圖像修復，圖像編輯，IP保留，以及風格遷移。

這些元任務之間可靈活組合，支持構建出多種具有復雜條件依賴的復合任務，極大提升了任務分布的緊密度與語義可轉移性。

例如，如下圖所示，我們可以將主體提取 + 布局控制 + 風格遷移組合為一個復合任務，生成同時保留目標主體、遵循特定布局、并呈現指定風格的個性化藝術圖像。這種設計使得模型在訓練過程中能夠感知并學習任務之間的內在關聯，有效提升泛化能力與多任務協同能力。

03.

wisemodel在線體驗

W isemodel社區支持 用戶通過鏡像體驗模型在線服務 ，進入社區應用模塊，點擊 VisualCloze—部署在線體驗即可。

編輯：成蘊年

----- END -----

wisemodel相關：

系統升級：

大賽報名：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高?？蒲性核⒋笮突ヂ摼W公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看更多