摘要：在機器人視觸覺傳感領域，如何兼顧成本與性能始終是一大挑戰。耶魯大學在《Science Robotics》上發表最新研究，提出了一種“Forces for Free”（F3）新范式。該研究通過觀測一個經過特殊優化的開源柔性手（F3 Gripper）的形變，僅利用標準RGB攝像頭，便能精準估算接觸力，為機器人賦予了幾乎零額外硬件成本的力感知能力。借助這樣的感知能力，能完成小孔插銷、擦拭曲面，甚至寫書法這樣需要精細力控的任務。

> 圖：使用該3F柔性手進行寫書法實驗及其力反饋各項指標圖

在機器人與物理世界進行交互時，力的感知至關重要。它不僅是完成插拔、打磨等接觸式任務（contact-rich tasks）的基礎，也是高級人機交互與物理推理的關鍵。然而，傳統的高精度力/扭矩（F/T）傳感器價格昂貴、笨重且易因撞擊損壞，而集成式的指尖觸覺傳感器則面臨著布線復雜、易磨損和僅能提供局部信息等問題。

近年來，視觸覺傳感技術為解決這一難題提供了新思路，即利用視覺信號來推斷觸覺信息。但許多方案依賴于在傳感器內部嵌入標記點（如GelSight），或需要定制化的傳感皮膚。有沒有一種更簡潔、更低成本的實現路徑？

耶魯大學的研究團隊給出了一個極具吸引力的答案：Forces for Free。其核心思想是，對于一個已經配備了柔性手爪和腕部攝像頭的機器人系統，對于外界力的感知能力可以通過軟件算法“免費”獲得，無需增加任何額外傳感硬件。

> 圖：該系統的核心在于利用已有的攝像頭和柔性手爪，通過算法解鎖力感知能力，無需額外添置昂貴的F/T傳感器（如圖中箭頭所示，F/T傳感器僅用于訓練和驗證）。這也是“3F”中“Free”的核心。

——物理媒介：為“被看見”而優化的F3柔性手——

實現視覺力感知的先決條件，是擁有一個在受力時能產生穩定、可觀測形變的物理媒介。為此，研究團隊并沒有隨意選擇一款柔性手，而是在耶魯大學經典的開源T42手爪基礎上，進行了深度優化，設計出F3 (Forces-for-Free) Gripper。優化目標也非常明確：提升基于視覺的力估算信噪比，可以從兩個角度來實現：

1.最大化運動學可操縱性 (Kinematic Manipulability)：傳統柔性手在某些姿態下可能接近“奇異構型”（singular configuration），此時即便利度發生很大變化，其外觀形態也幾乎不變，導致力無法被識別。研究團隊通過優化手指的連桿長度比和靜止角度，使其在工作區間內遠離奇異點，確保任何方向的力都能引起足夠大的視覺形變。這項優化基于對運動學矩陣的分析，旨在最大化這一可操縱性度量。

2.最小化摩擦與遲滯 (Friction and Hysteresis)：纜繩驅動的柔性手普遍存在摩擦和遲滯效應，這是導致“部分可觀察性”（partial observability，即相同的手指形態可能對應不同力值）的根本原因。F3手爪將所有纜繩路徑上的金屬銷釘替換為微型滾珠軸承，并優化布線以減少接觸角，從而顯著降低了內部摩擦力（從約4.0N降至0.6N），為更精確的力估算奠定了物理基礎。

> 圖：F3手爪的設計優化。(左)相較于T42原型，F3采用了等長連桿和滾珠軸承以提升可操縱性并降低摩擦。 (右)運動學可操縱性分析表明，連桿等長且關節角為90°時（黑色連桿所示位置），形變響應最佳。

——計算核心：具備時序記憶與視覺焦點的估算器——

有了高質量的物理媒介，接下來的挑戰便是如何從圖像序列中解碼出精確的力信息。耶魯大學的研究團隊為此構建了一個精巧的深度學習估算器。

為了應對“部分可觀察性”，該團隊的解決方案是：引入時間記憶。為了解決由殘余摩擦和遲滯效應帶來的模糊性，該模型不處理單幀圖像，而是輸入一段包含近期運動歷史的圖像序列（如20幀，采樣頻率1Hz）。模型采用CNN-Transformer架構，其中CNN負責提取每幀圖像的空間特征，而Transformer則捕捉這些特征在時間維度上的內在關聯。

這種對時空信息的綜合處理，讓模型能夠根據歷史運動趨勢來推斷當前最可能的力狀態，有效緩解了“同形不同力”的問題。消融實驗證明，20幀的記憶長度能達到最佳性能。

為了應對視覺干擾，該團隊采用視覺基礎模型加持的方案：真實場景下的背景和被抓物會嚴重干擾識別。研究團隊利用了視覺基礎模型SAM (Segment Anything Model)，僅通過少量標注數據進行微調，便能穩健地將手爪從復雜的視覺環境中分割出來。這相當于為估算器戴上了一副“濾鏡”，使其能完全專注于手爪本身的形變，實現了對背景和物體變化的魯棒性。此外，通過在訓練中引入隨機遮擋的數據增強，模型還能抵抗真實世界中常見的部分遮擋情況。

> 圖：估算器神經網絡架構概覽。圖像序列首先由SAM進行分割以消除視覺干擾，隨后由共享的CNN提取特征，最后通過Transformer網絡處理時序信息，輸出最終的力預測值。

——實驗驗證：從0.2N的精度到閉環動態控制——

該系統的有效性在一系列嚴苛的實驗中得到了驗證：在對新物體的靜態力預測任務中，估算誤差在0.2N至0.4N之間。這一預測精度遠高于先前相關工作報告的約1.6N的誤差，展示了其卓越的性能。

對于動態閉環控制的實驗設計，該估算器被成功置于控制環路中，完成了三項復雜的動態任務：

1.孔中插銷：通過感知接觸力，引導機器人完成探測、對準和插入的系列動作。

2.曲面擦拭：維持恒定的法向力（1N），在不平整的表面上進行擦拭。

3.書法寫作：通過實時調整下壓力，控制毛筆筆畫的粗細，完成漢字書寫。

> 圖：估算器在閉環動態任務中的出色表現。無論是精密的裝配（上）、力控的表面操作（中），還是需要細膩力度變化的書法（下），系統均能提供準確的力反饋。

在這些任務中，系統均表現出高精度和魯棒性，平均力誤差甚至低至0.15N左右。這是一個非常驚人的數字，這表明該系統在沒有額外傳感器的輔助下，已經能幾乎實現完成這些需要精細力控的任務。

耶魯大學的這項研究，為低成本機器人力感知提供了一個優雅且實用的解決方案。它不僅是一個巧妙的工程實現，更提出了一種富有潛力的“Forces for Free”新范式，證明了在不增加額外硬件的前提下，僅通過算法和對現有組件（柔性手）的優化，即可解鎖高質量的力感知能力，重新定義了視觸覺傳感的成本效益邊界。這也是“Free”的核心所在；此外在系統完整性方面，提供了從硬件優化（F3手爪）到算法設計（時序模型與SAM）再到實驗驗證的一整套完整、開源的解決方案，極大地降低了其他研究者的使用門檻。

盡管目前該系統主要處理二維力，且響應速度（10Hz）尚不及商業F/T傳感器，不適用于碰撞檢測等高速場景，但它為大量接觸式操作任務提供了足夠精確、魯棒且幾乎“免費”的力反饋。

未來，該范式有望擴展至三維力/力矩估算、多指靈巧手，并通過多視角相機來解決更復雜的遮擋問題。這項工作無疑將推動先進力控技術在更廣泛的機器人平臺（尤其是低成本平臺）上的普及與應用。

資料鏈

論文原文:`https://www.science.org/doi/10.1126/scirobotics.adq5046`

開源硬件、代碼與數據: 詳見論文末尾“Data and materials availability”部分

本文由CAAI 認知系統與信息處理專委會供稿