手部跟蹤功能作為Varjo Base 4.10軟件新發布的一個全新功能現在可支持Varjo XR-4系列全部頭顯。這一強大的新功能是免費提供的，可通過Varjo基本設置自動啟用。

請注意：手部跟蹤作為一種測試功能。雖然它已經實現了一些全新的可能性，但也有一些已知的限制，包括手勢可靠性和延遲。用戶的使用反饋將幫助Varjo在未來的更新中完善體驗。

與OpenXR應用程序無縫集成

集成的手部跟蹤功能適用于定焦和自動對焦的XR-4頭顯。用戶現在可以通過OpenXR APIs在任何支持手部跟蹤的應用中享受身臨其境的交互。具體來說，Varjo現在可實現包括對XR _ EXT _ hand _跟蹤和XR _ EXT _ hand _交互的OpenXR擴展。

1. XR _ EXT _ hand _跟蹤支持完全連接26個手形標志，提供詳細的骨骼跟蹤。

2. XR _ EXT _ hand _交互支持四種直觀的手勢：瞄準、捏、抓、戳。為了獲得最佳用戶體驗，建議使用利用此擴展的應用程序。

對于正在使用Ultraleap Leapotion Controller 2，或者更愿意繼續使用它的用戶來說，其仍然完全兼容。在自動的模式下，如果Ultraleap設備已連接，系統將優先考慮該設備。

基于攝像頭的跟蹤–不需要額外的硬件

這一新功能是通過利用XR-4的視頻透視(VST)攝像機流實現的。這意味著不需要額外的硬件—您的手直接在頭顯的可視區域內被跟蹤。

在90赫茲和75赫茲VST模式下都支持手部跟蹤，但跟蹤幀速率在最初的版本中略有降低。(對于使用XR-4 FE的用戶，請注意75 Hz模式提供了更大一點的垂直視野。)

針對真實環境進行了優化

該系統針對典型的辦公室照明條件(200-500勒克斯)進行了優化。為了實現最佳性能，請確保您的環境光線充足，讓VST相機捕捉高質量的幀。

無論是使用Varjo自帶的內向外跟蹤(IoT)或者Steam VR跟蹤，手部跟蹤都獨立于頭顯的位置跟蹤方法進行工作。

由機器學習驅動

該功能的核心是一個在Varjo內部訓練的機器學習模型。該系統使用以下組合來檢測和解釋3D中的真實人類手部：

1. 立體視覺通過頭顯的VST攝像頭捕獲

2. 深度數據通過內置飛行時間傳感器測量

通過對來自廣泛領域的個人數據進行模型訓練，確保了頭顯可穩定識別不同年齡、膚色、大小和性別的手部。

該推斷是在CPU上執行的，因此具有高性能處理器的計算機將提供更加穩定的手部跟蹤。GPU不用于手部跟蹤，使用時請區分用戶應用程序的優先級。