近年來，隨著機器智能和具身人工智能的快速發展，現實場景中的精確感知與運動控制已成為該領域的核心科學問題。其中，靈巧機械手的高精度控制因其復雜性和應用價值，被視為這一領域的標志性挑戰。

觸覺感知作為人類與環境交互的關鍵傳感模態，在機器人實現精準抓取與靈巧操作中扮演著不可替代的角色。盡管當前靈巧機械手在運動學建模和控制算法方面已取得長足進步，能夠較好地復現人手的運動功能，但由于多模態觸覺反饋系統的缺失，其在動態交互環境中的實時適應能力仍存在本質性局限，與人類手部的卓越操作性能存在顯著差距。

這種感官能力的不足直接導致現有靈巧手系統在面對非結構化環境時表現欠佳，特別是在處理意外接觸和微尺度物理交互變化時往往力不從心。這一瓶頸問題嚴重制約了機器人在真實場景中的操作能力，使得開發具有人類水平自適應能力的智能靈巧手系統，成為當前機器人學和具身智能研究中最具挑戰性的前沿課題之一。

▍開發F-TAC Hand，開辟觸覺具身智能研究新路徑

為應對上述技術挑戰，北京通用人工智能研究院與北京大學聯合組成研究團隊，進行了深入系統研究，并成功研制出一款具有突破性意義的仿生視觸覺靈巧手F-TAC Hand。

研究團隊通過仿生學原理對手部結構進行優化設計，在硬件架構和控制算法兩個維度實現重大突破：

1）硬件創新：研究團隊創新性地將17個空間分辨率高達0.1毫米的高分辨率觸覺傳感器集成于F-TAC Hand手部70%的表面區域，在保持人類手部自然運動特性的同時，實現了接近生物觸覺的感知能力。

2）算法突破：研究人員在控制算法方面開創性開發了能夠高效處理高維觸覺數據的類人手型生成算法，并構建了完整的閉環觸覺控制系統，解決了多模態感知-運動協同的關鍵技術難題。

圖1：F-TAC仿生靈巧機器手

這種"感知-決策-執行"三位一體的仿生設計，使F-TAC Hand在動態的現實世界條件下展現出強大的適應性抓取能力。通過在現實世界進行的600次多物體抓取實驗，研究團隊驗證了F-TAC Hand在復雜抓取任務中的優越性。實驗結果表明，F-TAC Hand顯著優于傳統非觸覺方案（p<0.0001），特別是在存在環境噪聲和動態干擾的真實場景中。

F-TAC Hand的研制成功為觸覺具身智能研究開辟了新途徑，不僅為感官反饋在智能行為中的關鍵作用提供了實證依據，更為開發超越純計算范式的具身人工智能系統指明了方向。該項成果是機器人智能與其在動態真實環境中交互能力的一次質的飛躍，對推動具身智能領域的發展具有重要意義。

圖2：論文發表相關信息

目前，這項創新成果的相關論文已以"Embedding high-resolution touch across robotic hands enables adaptive human-like grasping"為題發表在國際頂級學術期刊《自然·機器智能》（Nature Machine Intelligence）上。論文第一作者北京大學人工智能研究院博士生趙秭杭、李宇飏，北京通用人工智能研究院研究員李皖林、劉騰宇。通訊作者為北京通用人工智能研究院研究員劉航欣、北京大學人工智能研究院助理教授朱毅鑫、英國倫敦大學瑪麗女王學院教授Kaspar Althoefer。合作作者包括北京通用人工智能研究院研究員李博韌、王濛，北京大學人工智能研究院副研究員杜凱，北京大學工學院教授王啟寧，北京通用人工智能研究院院長、北京大學人工智能研究院教授朱松純。

▍F-TAC Hand：仿生觸覺感知系統的硬件創新

人類手部作為自然界最精密的操作器官之一，其精細控制能力主要源于獨特的生物感知-控制機制。研究表明，人手皮膚中廣泛分布著高密度的觸覺感受器，能夠以極高的空間分辨率感知接觸部位的細微變化，如壓力、紋理信息等。這種高密度觸覺感知網絡與大腦體感皮層的協同處理，構成了閉環的感知-運動控制系統，使人類能夠在毫秒級別內對外部接觸變化做出即時反應。

然而，這種復雜、閉環的感知-運動控制體系在現有機器人系統中尚未被有效復制。現有機器人系統在復制這種生物機制時面臨巨大挑戰：傳統觸覺傳感器要么分辨率不足，要么難以實現全手覆蓋，導致機器手在真實環境中的操作能力與人類存在顯著差距。

研究團隊創新性開發的F-TAC Hand系統，是一種具備超高分辨率觸覺感知能力的高自由度靈巧仿生機器手。其比例近似人手，通過硬件設計與算法創新的協同，F-TAC靈巧手系統首次實現了全手高分辨率觸覺覆蓋與完整運動能力的共存。

表1：F-TAC Hand與其他機器手的比較

在觸覺感知方面，研究團隊依據手指指節與手掌的不同長度設計了六種尺寸（表2）共計17個模塊化傳感器（圖3），并將其以每平方厘米10,000像素的密度覆蓋手掌70%表面，實現了0.1毫米的亞毫米級空間分辨率。相比現有商業產品如Shadow Hand（僅覆蓋指尖和提供接觸力反饋），這一系統在感知精度和覆蓋范圍上都實現了質的飛躍。其創新的模塊化設計，則將傳感器本體與指骨結構完美集成，在確保超高感知精度的同時避免了機械冗余問題。

表2：模塊化觸覺傳感器尺寸

圖3：F-TAC靈巧手結構與性能介紹

其中，模塊化視觸覺傳感器主要由多色光源、柔性鍍膜硅膠體、剛性支撐件、微型攝像頭和傳感器板構成。其中最小傳感器尺寸僅為20mm*20mm。在日常抓取常見的50kPa范圍內，靈敏度可達到0.48 kPa?1。

為了讓全部傳感器同時工作，研究團隊設計了一套多相機圖像同步采集系統。該系統由一個主板和17個傳感器板組成，其中傳感器板與微型攝像頭通過DVP（數字視頻）接口連接，并為傳感器內部光源供電。不同傳感器板之間僅通過單根柔性扁平電纜串聯進行電源和數據傳輸，解決了傳統電子皮膚類觸覺傳感器大面積部署時的布線限制。F-TAC Hand系統使用SPI總線來協調多個相機的順序圖像采集，通過USB連接進行與PC的數據傳輸，以及通過U2D2協議進行手內電機的伺服控制（圖4）。

圖4：F-TAC Hand電路系統

在傳感器部署過程中，由于F-TAC Hand中視觸覺傳感器的緊湊體積導致接觸感應區域與相機之間的距離非常小，因此研究團隊基于光度立體學進行了仿真器搭建與傳感器標定（圖5）。

圖5：視觸覺傳感器標定及結果

對于彈性體表面材料的反射率特性，研究團隊采用了廣義朗伯反射模型。研究團隊因此建立了一個基于物理模型的觸覺仿真器（圖6），用于生成和檢驗視觸覺信號，以支持F-TAC Hand觸覺感知系統的標定與開發。

圖6：視觸覺仿真器與真實圖像比較

仿真器在均方誤差（L1）、結構相似性指數（SSIM）和峰值信噪比（PSNR）三個方面都表現出色，能夠準確地生成近似真實情況下的仿真觸覺圖像（表3）。

表3：仿真與真實圖像間性能比較

在運動控制方面，F-TAC Hand采用繩驅方式，通過五根精密排布的驅動腱繩模擬人類肌腱分布方式，實現了五指獨立控制與協調運動。該系統巧妙地將腱繩驅動與關節扭簧結構相結合，在保持194mm成人手部尺寸的同時，完美復現了人手特有的半獨立運動特性和被動回彈機制。這種仿生驅動架構賦予F-TAC靈巧手卓越的運動性能：15個自由度的高靈活度、單指10N的握力輸出，以及完整的拇指對掌功能。

圖7：F-TAC Hand的綜合觸覺感知能力

在觸覺數據處理方面，研究團隊創新地采用基于物理的圖像形成模型生成訓練數據，通過編碼器-解碼器神經網絡模型實現接觸幾何重建，最終由泊松求解器生成高保真法線貼圖（圖7）。這種處理架構使其能精確感知水晶球等復雜物體的接觸特征（圖7e-g），為實時物體姿態估計提供支持。

▍仿生抓握智能：F-TAC Hand類人化抓取能力的實現

F-TAC Hand的高自由度賦予其執行復雜抓取操作的能力，但也相應地增加了抓取規劃的復雜性。在本項目中，研究團隊提出了一種面向仿人多樣化抓取的算法。該算法將剛體抓取建模為從一個基于物體幾何形狀的吉布斯分布中采樣手部姿態。每個抓取策略都與一個能量值相關聯，該值基于力閉合準則來評估抓取機械手幫助物體抵抗外部擾動的能力。能量值越低，表示抓取質量越好。

圖8：仿人多樣化抓取算法

針對高自由度帶來的非凸優化難題，算法從隨機初始化出發，采用改進的Metropolis-Adjusted Langevin Algorithm (MALA)進行高效搜索，確保收斂到低能量的優質抓取解。在包含23個不同形狀和尺寸的對象的測試集上，研究團隊對算法進行了驗證（圖8）。

為定量評估抓取策略的類人特性，研究團隊引入了Attraction-Diffusion Energy Landscape Mapping (ADELM)算法來進行可視化。如圖8所示，低能量區域用圓圈表示，每個圓圈至少包含一個可行抓取。圓圈大小表示相似抓取的數量，顏色則根據抓取類型（精確型、中間型、強力型）編碼。連接圓圈的垂直條表示不同局部最小值之間的能量障礙，條越短表示抓取之間的轉換越容易。通過與人類演示的直接比較，驗證了算法生成的抓取與人類抓取的相似性。

圖9：根據Feix分類法的抓取類型分類結果

同時，研究團隊還根據Feix的分類法對1800個生成的抓取姿態進行了分析，將其歸類為19種常見的抓取類型（圖9）。此外，通過主成分分析（PCA）以及t-SNE可視化，研究團隊進一步證明了算法輸出與人類抓取分類的一致性（圖10）。最后，通過將多樣化抓取策略與觸覺感知在真實世界中相融合，研究團隊實現了F-TAC Hand的感知-運動閉環。

圖10：F-TAC Hand生成的抓取類型的t-SNE可視化結果

▍超越傳統：F-TAC Hand類人抓取能力實證

研究團隊通過系統性嚴格實驗驗證了F-TAC Hand的抓取操作能力。在多物體抓取這一最具挑戰性的任務中，F-TAC Hand展現出超越傳統機械手的性能優勢。

• F-TAC HandKapandji測試

F-TAC Hand具有出色的多樣化抓取能力。依托腱驅機制與視觸覺感知的有效結合，靈巧手不僅能夠成功完成Kapandji測試，實現拇指與其余手指間全部10個特定接觸點（圖11），還能夠精準執行全部33種典型的人類抓握類型（圖12），展現出高度的靈活性。

圖11：F-TAC Hand完成Kapandji測試

圖12：F-TAC Hand執行33種典型的人類抓握類型

• F-TAC Hand多物體抓取

F-TAC Hand具有多物體抓取以及應對部分手指受損的能力。其中F-TAC Hand通過上述提到的抓取策略生成算法以及手指運動控制與精準的接觸點定位相結合實現多物體抓取（圖13）。當部分手指受損時，通過重新生成健康手指的抓取策略，F-TAC Hand依然能夠實現對物體的穩定抓取（圖14）。

圖13：F-TAC靈巧手多物體抓取

圖14：F-TAC Hand在部分手指受損情況下實現物體穩定抓取

• F-TAC Hand多物體轉運任務

F-TAC Hand還具有適應性強的抓取能力。在多物體轉運任務中，機器手旨在單次抓取盡可能多的物體以最大化運輸效率。如圖15所示，在理想條件下存在最優策略（紅色路線），但現實中的不確定因素，例如機器人自身定位偏差和抓取過程中誤差，使得機器手抓取需具備動態適應能力。圖15中其他彩色路線展示了F-TAC手在遇到物體手內接觸點位置發生偏差時，通過利用其高分辨率觸覺感知能力評估抓取狀況，動態地切換至適應現有空間的替代策略（即使該策略在理論上并非最優）。

圖15：多物體轉運任務

▍結語與展望

F-TAC Hand的設計理念體現了可復制性與實用性的完美結合，其開創性的技術方案為基于觸覺的機械手抓取操作研究樹立了新范式。這一突破性成果在假肢研發、遙操作系統、協作機器人以及人機交互等領域展現出廣闊的應用前景。

F-TAC靈巧手成功融合了高運動自由度和高覆蓋率高分辨率觸覺感知，突破了傳統機器手在這三者之間難以兼顧的技術瓶頸。從硬件角度看，相較于采用電阻、電容、壓電或電磁材料的電子皮膚方案，F-TAC手具備更高的空間分辨率、同時有效降低了布線復雜性，具備更強的抗磁場干擾能力。針對視觸覺傳感器占用空間大、集成困難的問題，研究團隊將傳感器巧妙嵌入每根手指的指節部位，使其同時作為結構件和感知單元。同時采用簡潔緊湊的外側單根腱繩驅動方案，實現每根手指的高效屈伸運動。此外，為實現大規模視觸覺感知部署，團隊自主研發了一套多相機同步采集系統，并設計了模塊化、可拓展的視觸覺傳感器結構，大幅提升了系統的集成性與實用性（圖16）。

圖16：F-TAC Hand硬件設計

通過對F-TAC靈巧手的研究，研究團隊發現高覆蓋率高分辨率的觸覺感知能夠使機器手在真實環境抓取中準確的感知物體的接觸位置，從而有效的判斷和調整抓取策略。例如，當檢測到手內物體實際位置有偏差或存在與下一個待抓取物體存在潛在碰撞風險時，機器手能夠迅速切換到其他的替代抓取策略，以適應真實環境變化。在實際抓取中，F-TAC手能夠在大約100毫秒內快速反應和切換。在600次真實世界抓取任務中，借助高分辨率觸覺反饋的機器手顯著提升了第二次抓取的成功率，展現出高度的適應性與魯棒性（圖17）。

圖17：基于觸覺反饋的自適應策略可顯著提高二次抓取的成功率

總結來說，該研究通過兩項核心貢獻推動了該領域的發展：首先是實際驗證了全手高分辨率感知可在不影響手部運動功能的前提下實現，二是系統性證實了其實際應用的優勢。通過突破以往視觸覺傳感局限于雙指夾爪的技術難題，這項研究為探索復雜的觸覺具身智能開辟了新的研究道路。更廣泛的看，該研究成果為豐富感官反饋能力在機器智能行為中的關鍵作用提供了有力證據，并為超越大語言模型類純計算方法的具身智能系統發展提供了現實可行的研究藍圖。

參考文章：

https://www.nature.com/articles/s42256-025-01053-3