AI 賦能的圖像生成技術突飛猛進，從早期模型會生成手指過多的人類圖像，到現在能創造出令人驚嘆的逼真視覺效果。即使取得了如此飛躍，仍然存在一個挑戰：實現創意掌控。

使用文本創建場景變得更容易，不再需要復雜的描述，模型也改進了針對提示詞的一致性。但僅通過文字描述構圖、拍攝角度、物體擺放這些精細細節已經很不容易了，要修改調整更是難上加難。雖然使用 ControlNet（通過更好地控制輸出來增強圖像生成的工具）的高級工作流提供了解決方案，但其設置復雜，限制了更廣泛的使用。

為幫助克服這些挑戰并快速獲取先進的 AI 功能，NVIDIA 在年初的 CES 展會上發布了面向 RTX PC 的 NVIDIA 3D 引導生成式 AI Blueprint。這個示例工作流包含了全套工具，讓你能從頭開始生成完全控制構圖的圖像。用戶現在就可以體驗這個全新的 Blueprint。

利用 3D 控制 AI 生成的圖像

NVIDIA 的 3D 引導生成式 AI Blueprint 可控制圖像生成，它使用 Blender 中的 3D 場景草稿向圖像生成器（Black Forest Labs 的 FLUX.1-dev）提供深度圖，與用戶的提示詞一起生成所需的圖像。

深度圖幫助圖像模型理解物體應該如何放置。這項技術的優勢在于，它不需要高度細節化的物體或高質量紋理，因為它們將被轉換為灰度。此外，由于場景是 3D 的，用戶可以輕松移動物體并更改相機角度。

視頻：

https://images.nvidia.cn/cn/youtube-replicates/ITlTTG9qyY8.mp4

Blueprint 的底層是 ComfyUI，這是一個功能強大的工具，允許創作者以有趣的方式鏈接生成式 AI 模型。例如，用戶可以通過 ComfyUI Node Editor Blender 插件將 Blender 連接到 ComfyUI。此外，用戶可以使用 NVIDIA NIM 微服務在 GeForce RTX GPU 上部署 FLUX.1-dev 模型并以最佳性能運行，充分利用 NVIDIA TensorRT 軟件開發套件以及 FP4 和 FP8 等優化的精度格式。3D 引導的生成式 AI Blueprint 需要 NVIDIA GeForce RTX 4080 及以上 GPU。

生成式 AI 工作流的預構建基礎

3D 引導的生成式 AI Blueprint 包括開始使用高級圖像生成工作流所需的一切：Blender、ComfyUI、連接兩者的 Blender 插件、FLUX.1-dev NIM 微服務以及運行該微服務所需的 ComfyUI 節點。對于 AI 藝術家，還附帶了安裝程序和詳細的部署說明。

視頻：

https://images.nvidia.cn/cn/youtube-replicates/K_MnB6rrlhA.mp4

RTX AI 提供支持的實時生成

AI Blueprint 在 NVIDIA RTX AI PC 和工作站上運行，充分利用了 NVIDIA Blackwell 架構的最新性能突破。

3D 引導的生成式 AI Blueprint 中包含的 FLUX.1-dev NIM 微服務經過 TensorRT 優化，并量化為 FP4 精度以適用于 Blackwell GPU，推理速度比原生 PyTorch FP16 提升了一倍以上。

對于使用 NVIDIA Ada Lovelace 架構 GPU 的用戶，FLUX.1-dev NIM 微服務附帶 FP8 精度，同樣由 TensorRT 加速。這些改進使高性能工作流更容易實現，從而能夠進行快速迭代和實驗。量化還有助于減少模型運行所需的顯存。使用 FP4 量化時，模型體積直接比 FP16 小了一半還多。

使用 RTX AI 進行定制和創建

目前有 10 個 NIM 微服務可用于 RTX，支持從圖像和文本生成到語音 AI 和計算機視覺的用例，更多 Blueprint 和服務即將推出。

AI Blueprint 和 NIM 微服務現已推出，為準備在 RTX PC 和工作站上創建、定制和突破生成式 AI 界限的用戶提供了強大的基礎。