夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

李飛飛空間智能創業公司World Labs，開源一項核心技術！

Forge渲染器，可在桌面端、低功耗移動設備、XR等所有設備上實時、流暢地渲染AI生成的3D世界。

具體來說，Forge是一款Web端3D高斯潑濺渲染器，無縫集成three.js，實現完全動態和可編程的高斯潑濺。

Forge底層為GPU優化設計，其地位相當于傳統3D圖形領域的基礎組件“著色器”。

Forge只需極少的代碼即可啟動和運行。它支持多個splat對象、多個攝像頭以及實時動畫/編輯。

World Labs聯創、NeRF作者Ben Mildenhall稱這項技術“讓開發者像處理三角形網格一樣輕松處理AI生成的3D世界。”

李飛飛表示，“它能做到的事情簡直令人難以置信”。

在所有設備上渲染3D AI世界

3D高斯濺射 (3D Gaussian Splatting) 已成為生成式人工智能和3D重建領域的主流方案。

這項技術通過將3D場景和對象表示為微小的高斯形狀斑點（又稱Spat）的集合，機器學習技術可用于創建可實時渲染的細致逼真的3D內容。

然而，3D高斯濺射（3DGS）是一項相對較新的技術，許多傳統的基于三角形的3D網格渲染引擎尚無法使用，而網絡上最流行的3D圖形庫three.js無法直接渲染3DGS。

雖然有一些庫可以在網絡上渲染3DGS，但它們各自都存在不同的限制，如此只能渲染一個 3DGS 對象、3DGS對象之間的遮擋不正確、無法動態修改對象、需要 WebGPU 或渲染速度慢/卡頓。

Forge被設計為一款可編程的3DGS引擎，能夠以前所未有的方式控制3DGS的生成、動畫以及在場景中的渲染。

與現代3D圖形引擎中的著色器圖形系統類似，Forge允許將函數塊（稱為Dyno）組合成計算圖形，可以程序化地生成、任意修改Spalt，或執行能想到的任何其他計算，并轉換為GLSL語言在GPU上運行。

官網用一個菜單場景，很好地展示了Forge渲染器的實時交互能力。

實時高斯潑濺渲染的最大挑戰之一是對每個splat進行排序，這被稱為畫家算法（Painter’s algorithm），也是Forge系統設計的核心。

管理此過程的關鍵組件是ForgeRenderer，它遍歷并編譯Three.js場景中所有 splat 的完整列表。

每個ForgeRenderer都有一個默認的ForgeViewpoint ，它會從GPU讀取所有splat視角列表，然后使用高效的bucket sort算法確定繪制順序，并通過SplatWorker在后臺工作線程中運行。

通過生成額外的ForgeViewpoint對象，支持創建多視角同時渲染。

Forge還利用這個機會在GPU上的每個splat上運行用戶可編程的數據流水線。標準流水線提供高級功能，例如應用剛體變換、調整 RGB/不透明度和球諧函數，以及顏色編輯和擾動以及雙四元數骨骼動畫系統。

標準流水線還允許通過dyno著色器圖形系統注入任意代碼來修改每個splat。

Forge支持完全控制編寫任何以編程方式計算splat屬性（中心、比例、四元數、RGBA）的函數。這些屬性可以是無狀態的，也可以依賴于splat文件、紋理和其他全局參數的復雜組合進行實時程序生成，并且可以隨時間變化以生成實時動畫。

World Labs成立以來完成超過2.3億美元融資，投資方包括a16z、英特爾、AMD等。

他們的目標是將多模態AI從二維像素平面提升到完整的三維世界，稱將于2025年推出首款產品。

另外，World Labs曾透露還計劃打造一些對藝術家、設計師、開發者、電影制作人和工程師等專業人士有用的工具，目標客戶涵蓋從視頻游戲開發商到電影工作室等各個領域。

從這一點看來，Forge渲染器更像是開發者工具中的一部分，真正的產品還在后面。

Forge主頁
https://forge.dev

參考鏈接：
[1]https://x.com/BenMildenhall/status/1929618052813054294