新智元報道

編輯：LRST

【新智元導讀】MICAS是一種專為3D點云上下文學習設計的多粒度采樣方法，通過任務自適應點采樣和查詢特定提示采樣，提升模型在點云重建、去噪、配準和分割等任務中的穩健性和適應性，顯著優于現有技術。

3D點云處理（PCP）涉及多種任務，如分割、去噪、配準、重建等，傳統方法通常是為每個任務設計專用模型，導致過程繁雜、成本高昂。

雖然多任務學習（MTL）能緩解模型數量問題，但在任務沖突、參數調優方面仍存在挑戰。

近年來興起的In-Context Learning（ICL，上下文學習）技術，是指大型語言模型在不進行顯式參數更新的情況下，僅通過輸入中的示例（即上下文信息）來完成新的任務。

在3D點云領域，由于點云數據本身具有非結構化和無序性，因此點云的采樣策略成為實現有效上下文學習的關鍵因素，不可忽視。

浙江大學、內華達大學里諾分校的研究人員提出首個專為點云上下文學習設計的多粒度自適應采樣機制MICAS，包含兩個關鍵模塊：任務自適應點采樣（Task-adaptive Point Sampling）與查詢特定提示采樣（Query-specific Prompt Sampling），分別從點級（point-level）和提示級（prompt-level）兩個維度出發，有效提升ICL在3D點云任務中的穩健性與適應性。

論文鏈接：https://arxiv.org/abs/2411.16773

MICAS實現

任務自適應點采樣

利用任務相關的信息，優化每個點的采樣過程，以提高不同任務間（例如去噪 、分割、配準、 重建）對點的選擇精度。

1. 提示理解（Prompt Understanding）：使用PointNet作為編碼器，從輸入prompt中提取出任務特征，再將輸入點云和目標點云的特征進行拼接，生成任務特征。

2. Gumbel采樣（Gumbel Sampling）：使用Gumbel-softmax實現可微分的采樣，將任務特征和當前點云的特征結合，通過正態化的sampling weights生成最終的采樣結果，讓模型在訓練期間得到更高的效能。

查詢特定提示采樣

在同一個任務下，對不同的查詢提高提示的相關性，來解決任務內部的敏感性。

1. 偽標簽生成：利用ICL模型來生成預測結果，評估其與真實值之間的差異，將模型性能作為偽標簽；

2. 采樣分值計算：根據不同候選提示對每個查詢點云計算采樣分值，選擇分值最高的提示作為最終輸入。

3. 損失函數：用List-wise ranking loss優化提示的選擇順序，提高模型的整體性能。

實驗分析

評估數據集：使用ShapeNet In-Context Dataset，該數據集包含了多種「輸入-目標」點云的對，以便進行全面的任務評估。

評估指標：使用Chamfer Distance（CD）和Mean Intersection over Union（mIOU）來衡量不同任務的性能。例如，CD用于重建、去噪和配準任務，mIOU用于分割任務。

研究人員驗證了文中所提出的任務自適應點采樣（Task-adaptive Point Sampling）與查詢特定提示采樣（Query-specific Prompt Sampling）兩個模塊的有效性，設計并開展了多組消融實驗。

同時，為進一步驗證所提方法 MICAS 的魯棒性與通用性，在多種點云深度學習模型上進行了測試。

實驗結果表明：任務自適應點采樣模塊在點云去噪（Denoising）與部件分割（Part Segmentation）任務中帶來顯著性能提升，而查詢特定提示采樣模塊則在點云重建（Reconstruction）與配準（Registration）任務中表現更加優越。

綜合結果進一步印證了兩種采樣策略在不同任務中各具優勢，分別從點級（point-level）與提示級（prompt-level）兩個粒度對上下文構建形成互補效應，共同推動模型性能的全面提升。

模型訓練和推理可視化

實驗結果對比可視化

研究人員從中心點采樣質量與模型預測性能兩個維度對比了所提MICAS方法與Baseline方法。

實驗結果表明，MICAS所采用的自適應采樣策略在中心點選擇上優于Baseline中常用的最遠點采樣（Farthest Point Sampling, FPS），從而進一步帶來了更優的下游任務預測效果。

重建任務的采樣結果對比

去噪任務的采樣結果對比

配準任務的采樣結果對比

分割任務的采樣結果對比

參考資料：

https://arxiv.org/abs/2411.16773