2024年1月，YouTube知名博主發布視頻，其中有關于Vision Pro Facetime 虛擬人物Persona的首次展示。

與其他XR領域的虛擬形象不同，它不是卡通，也不是半擬人，而是近乎于完全寫實的真實擬人形象，甚至包括了博主Brian Tong的劉海挑染細節。

當時最讓人印象深刻的點在于Persona幾乎可以還原所有的面部神態，甚至說話時的口型都非常精準，這讓當時許多網友也留下了“驚艷”的評論。

隨著近日蘋果一項國際專利的公開，Persona如何“僅靠Vision Pro一臺設備的就可以精準還原人類”的秘密也隨之被揭開。現在就讓我們一起來了解這項新技術：

EXPRESSION ESTIMATION FOR HEADSETS USING LOW-PROFILE ANTENNA AND IMPEDANCE CHARACTERISTIC SENSING（基于低剖面天線與阻抗特性傳感的頭戴式顯示器用戶表情估計）。

（注：本文對于一些學術語言會做類比和形容，并不代表技術就與類比百分百一模一樣，只是為了方便理解。）

來吧！難點解謎！

先了解前提，大多數表情捕捉、眼動追蹤都是通過頭顯向內（也就是向我們面部）或底部的各種傳感器，配合算法解析還原來完成的。這一方法有一個弊端，就是在半遮面、戴口罩，或者光線昏暗的情況下，可用率不高。

要做到Vision Pro Persona那樣對于微表情（抿嘴、微笑），甚至口型都能精準捕捉，現有的傳感器捕捉顯然能力不足。

所以蘋果想了這個辦法：EXPRESSION ESTIMATION FOR HEADSETS USING LOW-PROFILE ANTENNA AND IMPEDANCE CHARACTERISTIC SENSING（基于低剖面天線與阻抗特性傳感的頭戴式顯示器用戶表情估計）。

不管是中文還是英文，不做學術研究的我們讀起來都挺費勁。還是沿用87君“科技解謎”慣用的拆分法，一個詞一個詞的理解。

整句話我們可以理解為，利用技術A和技術B，實現在Vision Pro中對于用戶面部的追蹤。

那么其中的技術A也就是低剖面天線是什么？我們可以理解為，它是一種天線的新型設計。比較經典的天線“皮膚”是喇叭型，即便很微小，也喇叭。

低剖面天線在設計上進行了突破，它是一種物理高度極低、結構扁平化的天線設計，以緊湊的外形實現電磁波的高效輻射或接收，尤其適用于空間受限的電子設備（如可穿戴設備、無人機、移動終端等）。粗暴點來理解，就是它是一個更容易裝在VR頭顯里的片兒狀天線。

在頭顯中也不乏廣泛應用，比如無線串流、Inside-Out定位、全身動捕設備等等。Meta Quest（4組低剖面天線）、HTC VIVE Focus 3（FPC天線）也都用到了類似的設計。蘋果Vision Pro強調了無外置可見天線，之前的專利中也曝光了它擁有“超材料貼片天線”：Antenna structures may be formed from stacked dielectric layers and metamaterial elements... integrated into the curved housing of a head-mounted device.（天線結構可由堆疊介質層和超材料元件構成……集成于頭顯設備的曲面外殼中）。

技術B，阻抗特性傳感。指的是通過檢測物體（比如人的皮膚、肌肉等）對電磁信號的反應——尤其是通過檢測物體對信號的反射、吸收或改變，來感知這個物體狀態變化。

我們可以把它理解成“聽聲辨位”，比如小時候你在家偷偷看電視，聽見熟悉的腳步聲，就知道老爸老媽到幾樓了。或者在游戲里，聽見腳步聲，就知道敵人是從A小道上，還是走中門上B2。

阻抗特性傳感也是類似的原理——設備發出無線電信號，這些信號碰到你臉或手上的皮膚、肌肉時，會因為組織的形狀、密度、動作而“彈回來”的方式不同。設備就通過這些“回聲”來判斷你是在笑、說話、皺眉還是捂嘴。

所以，再回頭來看，Vision Pro就是用低剖面天線這個物理部件，配合阻抗特性傳感的技術，二者結合做了一個小發明，實現了對于Vision Pro用戶面部表情的追蹤。

防止你好奇，我們來看一段專利中的描述（可以不看！）：

[0044] Figure 4A illustrates an exemplary view 400 in which a user 401 is wearing a headset device 405 enabled to analyze user facial gestures and/or expressions, in accordance with some implementations. Headset device 405 may comprise a same or similar headset device with respect to headset device 300 of figure 3A or headset device 330 of figure 3B and therefore may include an antenna 402a and an antenna 402b mounted to a bottom portion 417 of headset device 405. Headset device 405 may additionally comprise a vector network analyzer (VNA) 404, a battery 406, a communications module 408, and an impedance matching network 410. VNA 404, battery 406, communications module 408, and impedance matching network 410 may comprise externally mounted components as illustrated in figure 3A. Alternatively, VNA 404, battery 406, communications module 408, and impedance matching network 410 may comprise internally mounted components as illustrated in figure 3B.

圖4A展示了一個示例視圖400，其中用戶401佩戴了一個能夠分析用戶面部手勢和/或表情的頭顯設備405，符合某些實施方案的要求。頭顯設備405可能與圖3A中的頭顯設備300或圖3B中的頭顯設備330相同或相似，因此可能包括安裝在頭顯設備405底部部分417上的天線402a和天線402b。頭顯設備405還可能包括向量網絡分析儀（VNA）404、電池406、通信模塊408和阻抗匹配網絡410。VNA 404、電池406、通信模塊408和阻抗匹配網絡410可能是如圖3A所示的外部組件，也可以像圖3B所示那樣是內部安裝的組件。

Any configuration of internally mounted and externally mounted components may be implemented. Exemplary view 400 illustrates mouth 401a (or facial expression) of user 401 dielectrically and contactlessly interacting with antenna 402 such that changes in a mouth configuration may manifest as changes within self-resonance frequency and performance of the antenna 402. The changes may be measured by headset device 405 and a machine-learning pipeline and/or module may be configured to predict 11 3D key points for cheeks, lips, and tongue of user 401 as illustrated by the phase and magnitude plots 407 for the SI 1 and S21 parameters. Phase and magnitude plots 407 may be utilized, for example, to configuration a more expressive persona for telepresence uses thereby reducing privacy issues inherent in camera-based systems, while simultaneously supporting (silent) facial expressions that audio-based systems are unable to detect.

可以實現任何配置的內部和外部組件組合。示例視圖400展示了用戶401的嘴部401a（或面部表情），其與天線402以介電方式和非接觸方式相互作用，從而嘴部配置的變化可能會表現為天線402自共振頻率和性能的變化。這些變化可以通過頭顯設備405進行測量，并且機器學習管道和/或模塊可以被配置為預測用戶401的11個3D關鍵點，分別為頰部、嘴唇和舌頭，如SI 1和S21參數的相位和幅度圖407所示。相位和幅度圖407可以用于例如配置一個更具表現力的虛擬形象（persona），以用于遠程呈現，從而減少攝像頭系統固有的隱私問題，同時支持音頻系統無法檢測到的（無聲）面部表情。

技術簡單，“精度”很難

不管是低剖面天線，還是阻抗特性傳感都不算非常新鮮的技術，二者的結合也不是驚天地泣鬼神的大發明。妙處在于蘋果對它的利用和掌控。

雖然大家都吐槽Vision Pro重，但相比于它的能力來說，并不算重。這種減重也得益于它對于內部空間的利用。

蘋果在專利中提到了各種天線設計，像槽型天線（Slot Antenna）、U形天線、折疊天線等等，這些都是用了低剖面天線這個“皮膚”系列的不同“英雄”。蘋果則是把這些天線能裝的裝，能塞的塞，不能塞的想辦法折起來塞進去，最大程度上利用為數不多的內部空間，以提供更好的體驗。

甚至利用“交叉極化”技術，放置多個方向不同的天線，從多個角度獲取信號，減少干擾。

更特別的是，這套系統并不盲目追求“高幀率”，不像攝像頭那樣一秒拍幾十張圖。在專利中提到，有些實現方式中，面部或手部的姿勢表情不一定需要高幀率（即每秒更新次數不需要非常高），但為了能夠更清晰地區分不同的面部或手部動作，可能需要更高的分辨率（即每次采樣時要有更多的細節信息），這樣才能從多樣的嘴部或手部動作中準確區分。

相反，當用戶講話時，嘴部的運動非常迅速，這些動作雖然快速，但為了捕捉嘴部整體的變化（例如嘴巴的輪廓或開合），不需要特別高的分辨率。

換句話來說，蘋果針對不同的情況，采用了“高分辨率、低幀率采樣”和“低分辨率、高幀率采樣”兩種模式，這樣不僅能更準確傳達情緒，還能節省運算資源。

最終，這些數據被交給AI模型進行重建，生成在Vision Pro中看到的那個表情豐富、動作自然、口型精準的Persona。

通過這個專利，我們也能看到現代科技多角度協同合作的魅力。蘋果通過簡單的發明，把兩個常見的技術組合，再結合時下流行的AI技術，像解數學題一樣給出了一個此前業界很難觸及的顯示效果，實在是非常有趣。

在此，我們也要特別寫出該專利的發明家們：

Istvan Szini：天線和無線系統工程師

Brian Tsang：可穿戴設備工程師

Daehwa Kim：ML研究