本文刊發于《現代電影技術》2025年第2期

專家點評

當前，虛擬攝制是影視制作領域的熱點研究方向之一，其后期前置化、所見即所得、虛實融合的制作模式顯著提升了影視制作的靈活性與效率。此外，虛擬攝制的應用亦展現出跨領域的拓展趨勢，在短視頻制作、網絡直播、游戲制作、廣告拍攝、動漫、沉浸式文旅體驗等領域也獲得了大量推廣應用，展現出巨大發展潛力。虛擬攝制的技術組成可大致分為虛擬場景渲染、攝影機定位追蹤、燈光控制、人機交互、LED顯示等，而攝影機定位追蹤技術一直是電影虛擬攝制的關鍵，其技術水平的高低，在很大程度上決定了虛擬攝制整體質量的優劣。從十余年前基于綠幕的虛擬攝影開始，到今天的基于LED背景墻的虛擬攝制，電影人不斷探索實踐新方法和新工藝，改進和優化這一技術，利用最新科技成果，實現更為精準和穩定的攝影機內外參數追蹤。《虛擬攝制中鏡頭和位姿元數據聚合技術應用研究》一文針對虛擬攝制中攝影機定位追蹤相關設備穩定性差、易被干擾等問題，提出了一項創新的聚合技術方案，為虛擬攝制現場創制的靈活性與穩定性提供了可靠保障。文章詳細論述了攝影機內外參聚合的實現流程，并進行了相關實驗與測試，實驗結果也直觀地展示了該方案在數據穩定性方面的顯著提升，展現了其未來的實用價值與創新性。

——陳軍

研究員

北京電影學院影視技術系主任工程師

作 者 簡 介

解 沛

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)工程師，主要研究方向：數字電影技術。

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)高級工程師，主要研究方向：數字電影技術。

周令非

王木旺

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)傳輸放映技術研究處副處長，主要研究方向：數字電影技術。

摘要

近年來，影視制作技術出現巨大的變革與更新，虛擬攝制技術被廣泛應用于電影制作。基于目前影視虛擬攝制中存在無法有效整合鏡頭與位姿元數據，相關設備穩定性差、易被干擾等問題，本文通過對現有攝影機追蹤與跟焦設備進行分析，針對不同場景，提出一種虛擬攝制中鏡頭和位姿元數據聚合技術方案，搭建相關系統并進行了實驗與測試。結果表明，本文提出的鏡頭和位姿元數據聚合技術能夠有效聚合輸出穩定且平滑的鏡頭和位姿元數據，為虛擬攝制現場創制的靈活性與穩定性提供可靠保障。

關鍵詞

虛擬攝制；鏡頭跟焦；攝影機追蹤；數據聚合；攝影機位姿元數據

1 引言

虛擬攝制技術是真實世界和數字世界的交融區域，是一種利用計算機圖形學（CG）和虛擬現實（VR）技術模擬電影場景的技術[1-3]。隨著影視工業和科技的進步，虛擬攝制技術也經歷了不同的發展階段。隨著電影《阿凡達》（Avatar，2009）和《獅子王》（The Lion King，2019）等作品對虛擬攝制技術的應用，虛擬攝制作為產業逐漸興起，基于藍幕/綠幕的合成方式作為傳統虛擬攝制技術的主要技術手段被廣泛應用于諸多電影的生產制作中[4,5]。然而，傳統虛擬攝制技術會帶來藍幕/綠幕溢色等問題[6]，為解決此類問題，基于LED背景墻的虛擬攝制技術應運而生，其將后期制作部分工作移至拍攝前，旨在將電影最終呈現效果交給現場導演和主要創作者把控[7]。

無論是藍幕/綠幕為代表的傳統虛擬攝制，還是基于LED背景墻的虛擬攝制，都需要記錄或實時接收攝影機鏡頭和位姿元數據。對于藍幕/綠幕而言，記錄鏡頭和位姿元數據，能夠保證后期制作人員準確地將數字虛擬場景與實際拍攝場景相結合。在LED背景墻虛擬攝制過程中，渲染引擎通過實時接收鏡頭和位姿元數據，在LED背景上實時渲染內視錐[8]，用于攝影機直接拍攝的背景畫面[9]。目前已有的虛擬攝制技術和相關設備存在諸多問題，例如攝影機追蹤設備的位姿元數據與跟焦設備的鏡頭元數據獨立傳輸進虛擬攝制系統中，無法有效整合至同一虛擬攝影機對象，導致內視錐無法正確渲染，無法滿足多變的拍攝需求。此外，在拍攝現場，單一追蹤設備無法完成不同場景下的追蹤任務，為提升精度并提高系統魯棒性，會利用多套追蹤設備追蹤同一攝影機，但需手動切換數據源，既影響了現場拍攝進度，也限制了導演與攝影指導的創作效率。本文將針對目前虛擬攝制現場鏡頭和位姿元數據無法有效聚合、數據獲取與傳輸穩定性差等現狀，提出能夠有效應用于拍攝現場的鏡頭和位姿元數據聚合技術，并進行了相關實驗與測試，為降低虛擬攝制設備成本、提升虛擬攝制效率、增大拍攝現場創作靈活性提供可靠保證。

2 相關研究背景及面臨的問題

2.1 鏡頭與位姿元數據

2.1.1 攝影機位姿元數據

虛擬攝制中攝影機位姿元數據是指在虛擬攝影棚中真實攝影機在空間中的位置與姿態信息[10]。具體而言，空間位置信息包括三個軸向的平移數據X、Y及Z，空間姿態信息包括圍繞三個軸向的旋轉數據：橫搖（Yaw）、俯仰（Pitch）及翻滾（Roll）。攝影機位姿元數據信息需通過攝影棚內攝影機追蹤設備[11]獲取，通常會將追蹤設備分為兩大類，即光學追蹤設備和非光學追蹤設備。

在目前虛擬攝制中，主創人員通常會選擇光學追蹤設備完成攝影機的追蹤。光學追蹤設備主要利用光線和圖像傳感器來實現對攝影機位姿的追蹤，通常由標記點、攝像頭、圖像處理單元以及位姿計算方法四部分組成。

非光學追蹤設備不依賴于光線和圖像傳感器，而是通過其他物理量的變化來實現對攝影機位姿的獲取。常見的非光學追蹤設備主要包括磁性追蹤設備[12]、慣性追蹤設備和無線電追蹤設備三種類型。

2.1.2 攝影機鏡頭元數據

虛擬攝制中攝影機鏡頭元數據是真實攝影機鏡頭的重要信息，主要包括攝影機的焦點（Focus）、焦距（Zoom）及光圈（Iris）。攝影機鏡頭元數據信息的獲取需通過攝影機跟焦設備。跟焦設備通常有兩種工作模式：一是鏡頭卡口的觸點與攝影機直接進行數據傳輸，二是通過跟焦齒輪數據進行反算獲得鏡頭元數據。

利用觸點進行數據傳輸是一種通過物理接觸來傳遞數據的方式，觸點通常位于鏡頭的卡口位置，通過與攝影機身上的對應觸點相接觸，實現數據的傳輸和交換。觸點傳輸的優點在于傳輸信息豐富、數據傳輸速度快、穩定性高，同時對環境適應性強。

利用跟焦齒輪數據反算是一種通過機械傳動來傳遞數據的方式，通過與攝影機或其他設備上的齒輪相嚙合，實現數據傳遞和交換。跟焦齒輪的優點在于可適用于多種環境；結構簡單，維護成本較低；對于特定類型的攝影機或鏡頭具有較好的兼容性。

2.2 攝影機鏡頭和位姿元數據傳輸協議

在傳統虛擬攝制中，鏡頭和位姿元數據通常只需如實記錄即可，但對于LED虛擬攝制，需在拍攝過程中將鏡頭與位姿元數據實時傳輸至渲染引擎中，從而在LED背景墻上正確渲染出內視錐畫面[13]。大部分攝影機追蹤設備和跟焦設備均會設置數據傳輸私有協議，同時也會支持1~2種公開數據協議，常見的公開協議有FreeD協議和VRPN協議。

FreeD協議最初由BBC R&D[14]開發，允許支持FreeD協議的攝影機和跟蹤設備與虛擬場景渲染系統無縫進行數據交換和通信。目前已廣泛應用于虛擬演播室系統、游戲開發、虛擬現實等領域。FreeD協議主要具備三個特點：（1）實時數據傳輸。FreeD協議支持實時數據傳輸，可實現攝影機鏡頭與位姿元數據實時傳輸至渲染引擎的需求。（2）高精度數據采集。FreeD協議支持傳輸高精度數據，可實現對攝影機的精確跟蹤和定位。（3）易于集成和擴展。FreeD協議設計靈活，易于與其他系統和設備進行集成和擴展。

VRPN[15]協議是專為虛擬現實應用設計的協議。其允許虛擬現實系統中的各種外圍設備（如跟蹤器、傳感器、顯示設備等）通過網絡實現相互通信與協作。VRPN協議的主要目的是解決虛擬現實系統中多臺設備間的同步問題，確保每個設備的動作和狀態能夠實時反映至整個系統。

2.3 面臨的問題

2.3.1 設備穩定性與傳輸協議一致性

在虛擬攝制現場，由于成本、影棚大小甚至是主創團隊的使用習慣不同，會使用不同的追蹤設備與跟焦設備。相比于跟焦設備，追蹤設備的穩定性較差，不同類型的跟焦設備在復雜多變的攝制現場均會出現無法準確追蹤攝影機的情況。

光學追蹤設備的優點在于能夠提供較高的精度和實時性，尤其適用于室內或受控環境中的追蹤應用。然而，這種方法對環境光照條件較為敏感。在虛擬攝制現場，無論是營造氛圍的煙霧，或是演員衣服上的反光材料，還是走位過程中造成的遮擋，都會造成光學追蹤設備的位姿元數據精確性降低、無法穩定傳輸甚至出現數據丟失的情況。

而非光學追蹤設備的優點在于對環境條件的依賴性較低，可在較惡劣的環境中工作。然而，受工作原理的限制，這類設備的精度和實時性通常不如光學追蹤設備，且可能存在一定局限性，如適用范圍、成本等。在攝制現場，劇組人員需根據具體的拍攝需求和資源條件選擇合適的方法和設備。

除了追蹤設備的穩定性易受影響外，不同設備所使用的數據傳輸協議也各有不同，相較于使用FreeD和VRPN等通用傳輸協議的設備，使用私有傳輸協議的設備在學習成本及技術人員熟練程度上具有更高要求。

2.3.2 多設備的使用

2.3.2.1 鏡頭與位姿元數據同時綁定

現有追蹤設備大都不具備跟焦功能，即使提供跟焦功能，也是通過跟焦齒輪數據反算的方式實現。為更好地渲染內視錐畫面，需同時提供鏡頭與位姿元數據。以常用的虛幻引擎（UE）和瀾景hecoos為例，如需綁定追蹤設備與跟焦設備，都存在問題。對于UE而言，可通過兩個Live Link控制器分別接收鏡頭和位姿元數據，并將兩個控制器的數據同時流送給同一虛擬攝影機對象[16]。但使用該種方式進行綁定時，設置流程繁瑣，還會因漏操作或誤操作導致無法正常綁定。此外，由于UE的不穩定性，該方式在實際虛擬攝制時，常會出現無響應的情況，極大拖慢了現場創作進度。對于hecoos而言，一臺虛擬攝影機只能接收一個設備的數據，也就無法支持同時綁定鏡頭和位姿元數據。

2.3.2.2 多個追蹤設備同時綁定

在虛擬攝制現場，為保證攝影機追蹤的實時性和穩定性，會使用兩臺及以上的不同追蹤設備進行追蹤。對于UE而言，可同時綁定多臺追蹤設備，但無法實時切換追蹤設備；而hecoos無法綁定多臺追蹤設備。此外，如果不同設備所使用的傳輸協議有所不同，在數據接收與解析上也需技術人員耗費更多時間與精力。

綜上所述，目前的技術無法有效解決虛擬攝制現場設備穩定性差的問題，也無法應對多設備同時使用后操作繁瑣的問題。針對這類情況，筆者提出虛擬攝制中鏡頭和位姿元數據聚合技術。

3 鏡頭和位姿元數據聚合技術方案

3.1 設計思路與整體流程

針對上述背景與存在的問題，本文提出一種鏡頭和位姿元數據聚合的技術方案（圖1）。相較于追蹤設備，跟焦設備穩定性較好，因此輸入采用多臺追蹤設備與一臺跟焦設備。整體流程簡述如下：首先需對支持不同數據傳輸協議的設備進行數據獲取與解析；之后根據穩定性篩選數據，根據耦合性選擇聚合策略與算法；聚合完成后會獲得一組完整的元數據，包括鏡頭與位姿元數據；最后利用傳輸協議進行編碼后傳輸至渲染引擎中，或記錄在本地供后期制作使用。

圖1　技術方案流程圖

3.2 具體技術方案

虛擬攝制中鏡頭和位姿元數據聚合算法具體操作方法如下。

步驟1：鏡頭和位姿元數據的獲取。對安裝在搭建好的虛擬攝影棚中或安裝在棚內實體攝影機上的追蹤設備與跟焦設備進行數據實時接收，獲取攝影機追蹤設備采集到的位姿元數據包和跟焦設備采集到的鏡頭元數據包。其中攝影機追蹤設備數量為兩套及以上。

步驟2：鏡頭和位姿元數據的解析。通過攝影機鏡頭和位姿元數據傳輸協議，根據步驟1中獲取的相應數據實時解算多路攝影機的幀率、設備ID號、位姿元數據及鏡頭元數據，位姿元數據包括三軸平移數據、三軸旋轉數據，鏡頭元數據包括焦點、焦距及光圈數據。

步驟3：位姿元數據的篩選。判斷多路位姿元數據的穩定性，剔除無法穩定傳輸的位姿元數據，保留穩定傳輸的追蹤設備提供的位姿元數據。在判斷多路位姿元數據的穩定性時，通過設置超時閾值σ，對每一路追蹤設備進行數據接收時間δ的統計，如果δ>σ，則判斷該路數據不穩定，進行剔除。δ采用式（1）進行計算：

式（1）中，?i2表示接收到第i路數據當前幀的時間，?i1表示接收到第i路數據前一幀的時間。

步驟4：選擇聚合策略。判斷篩選出的多路位姿元數據數量，如果篩選后剩余穩定傳輸的追蹤設備數量大于1路，則進行步驟5，如果篩選后剩余穩定傳輸的追蹤設備數量等于1路，則進行步驟8，如果篩選后剩余穩定傳輸的追蹤設備數量小于1路，則進行步驟9。

步驟5：計算耦合性。判斷篩選后剩余穩定傳輸的追蹤設備間的耦合性，提前設定閾值Δ（0 <δ<1），計算多路設備兩兩之間的耦合值 ξ i, j，并與閾值Δ進行比較，選取耦合值 ξi, j最小且小于閾值Δ的兩路設備數據（緊耦合）執行步驟6，如果所有耦合值均大于閾值Δ（松耦合），則執行步驟7， ξi, j采用式（2）—式（8）進行計算：

步驟6：對步驟5選取的耦合值ξi, j最小且小于閾值Δ的兩路設備所傳輸的位姿元數據中的三軸平移數據及三軸旋轉數據分別取平均值，并將六個平均值作為最終輸出的位姿元數據包數據，執行步驟10。

步驟8：將篩選后剩余穩定傳輸的追蹤設備提供的位姿元數據作為最終輸出的位姿元數據包數據，執行步驟10。

步驟9：將上一幀輸出的位姿元數據作為最終輸出的位姿元數據包數據，執行步驟10。

步驟10：整合鏡頭和位姿元數據。將前述步驟獲得的鏡頭元數據與獲得的位姿元數據包進行整合并編碼。

步驟11：傳輸或記錄數據。將實時元數據包以UDP通信協議發送給搭載有渲染引擎的終端，以控制渲染引擎中的虛擬攝影機，或記錄在本地以供后期進行視效制作。

以三臺追蹤設備與一臺跟焦設備為例，示例流程如圖 2所示。

圖2　示例流程圖

4 實驗與分析

在本文實驗中，選擇Ncam Camera Bar[17]和Mo?Sys StarTracker[18]兩套設備作為攝影機追蹤設備，上述兩個設備傳輸協議均采用FreeD協議。選擇Movcam MCS?2[19]和XRPort共同組成攝影機跟焦設備，搭配使用UE[20]。實驗測試場地選擇無錫5G智慧虛擬攝影棚[21]。

4.1 實驗方法與結果

4.1.1 位姿元數據穩定性

在攝影棚中同時將兩套攝影機追蹤設備掛載于一臺攝影機上，同時該攝影機裝有跟焦設備。之后通過移動攝影機模擬實際拍攝時攝影機的運動方式，并在攝影機運動過程中通過遮擋追蹤設備、斷開數據線纜等方式模擬拍攝時追蹤設備不穩定容易掉線等問題，在過程中記錄使用本文提出的聚合技術方案（以下簡稱“本方案”）后輸出的位姿元數據，同時記錄Mo?Sys和Ncam兩個設備的原始數據，作為與最終輸出數據對比的對照組。

實驗部分追蹤數據可視化結果如圖3所示，橫坐標表示位姿元數據的幀序號，縱坐標表示旋轉角度（單位為度）。其中紅色數據點為Mo?Sys位姿元數據，藍色數據點為Ncam位姿元數據，黃色數據點為使用本方案后最終輸出的位姿元數據。

在圖3所示的實驗過程中，模擬Mo?Sys設備被遮擋或數據源丟失的情況，并記錄輸出的位姿元數據。在Mo?Sys和Ncam兩臺設備均穩定提供位姿元數據時，經過本方案計算的數據同樣能夠保持穩定輸出。在2000~3000幀之間，通過遮擋模擬Mo?Sys數據源被影響的情況。這段時間內，Mo?Sys數據丟失，在圖中呈現平直的橫線，Ncam數據繼續保持正常輸出，經過本方案計算的數據同樣能夠保持穩定的輸出。

圖3　俯仰角度數據變化

4.1.2 鏡頭與位姿元數據聚合

在攝影棚中同時將兩套攝影機追蹤設備掛載于一臺攝影機上，同時該攝影機裝有跟焦設備。在移動攝影機的同時，使用跟焦設備對鏡頭的焦點和焦距進行變化調整，并記錄LED屏幕上內視錐的變化情況。

實驗部分結果如圖4所示。實驗結果表明，使用本方案可實現位姿與鏡頭元數據的同時傳輸，內視錐會隨著攝影機的移動而移動，也會隨著焦距的變化逐漸擴大，同時內視錐畫面會隨著焦點的變化逐漸模糊。

圖4　焦距、焦點變化對內視錐的影響

4.2 實驗結論

實驗表明，利用本方案在虛擬攝制現場使用多臺追蹤設備進行追蹤時，如果某一組數據出現不穩定或信號丟失的情況，本方案最終輸出的位姿元數據依然可保證穩定且平滑地輸出數據，同時還可聚合鏡頭元數據，最終為渲染引擎提供一組穩定的鏡頭和位姿元數據，解決了虛擬攝制現場追蹤設備不穩定，無法同時獲得鏡頭和位姿元數據的問題。

5 結語

本文通過對虛擬攝制中攝影機追蹤與跟焦技術的研究與探索，針對目前虛擬攝制中位姿與鏡頭元數據無法有效聚合的問題，提出了一種虛擬攝制中鏡頭和位姿元數據聚合技術方案。該技術方案通過接收與解析拍攝現場追蹤設備與跟焦設備的相關元數據，通過不同的聚合策略，實時計算、聚合輸出穩定且平滑的攝影機鏡頭和位姿元數據信息。實驗測試在無錫5G智慧虛擬攝影棚中進行，模擬真實拍攝場景中的攝影機運動軌跡及追蹤設備數據不穩定、易丟失等問題，驗證了本文所提聚合算法的可行性與穩定性。該技術可有效解決當下攝影機鏡頭和位姿元數據獨立接入虛擬攝制系統，無法拆分、聚合及無法在不同方案間熱切換的問題，同時解決了單一攝影機追蹤設備不穩定、數據傳輸易丟包的問題，為降低虛擬攝制設備成本、提升虛擬攝制效率、增強拍攝現場創作靈活性、保證拍攝現場創作穩定性提供了可靠保障。

未來筆者將會進一步提升聚合算法的穩定性與實時性，并逐步支持更多追蹤設備與跟焦設備，提出能兼容更多設備并具有更好魯棒性的鏡頭和位姿元數據聚合技術，進一步提升虛擬攝制創作效率與創作質量。

參考文獻

（向下滑動閱讀）

[1] Epic Games. The Virtual Production Field Guide: a new resource for filmmakers [EB/OL].(2019?07?25) [2024?09?25].https://www.unrealengine.com/es-ES/blog/virtual-production-field-guide-a-new-resource-for-filmmakers.

[2] LAMA R. The Future of Virtual Backgrounds in Filmmaking[D]. Prague: Academy of Performing Arts in Prague, 2024.

[3] BYUN H W. Interactive vfx system for tv virtual studio[J]. Journal of the Korea Computer Graphics Society, 2015, 21(5): 21?27.

[4] SHAN X, CHUNG J. Comparison of the Characteristics of Green Screen and LED Wall in Virtual Production System[J]. International journal of advanced smart convergence, 2022, 11(2): 64?70.

[5] HELZLE V, SPIELMANN S, TROTTNOW J. Green screens, green pixels and green shooting[M]//ACM SIGGRAPH 2022 Talks, 2022: 1?2.

[6] 陳軍,趙建軍,李想.基于LED背景墻的電影虛擬化制作系統集成與研發[J].北京電影學院學報,2021(07):112?121.

[7] 耿天樂,趙建軍,常一孜,等.LED虛擬攝制實踐中存在的問題及應對策略研究[J].現代電影技術,2023(09):18?26.

[8] LAGUNA G. Unreal Engine Enhances Virtual Production Workflows With NVIDIA Rivermax and BlueField [EB/OL]. (2023?04?05) [2025?01?13].https://blogs.nvidia.com/blog/unreal-engine-rivermax-bluefield/.

[9] 陳軍,趙建軍,盧柏宏.基于LED背景墻的電影虛擬化制作關鍵技術研究[J].現代電影技術,2021(08):17?25.

[10] 劉丙凱.虛擬演播室中攝像機跟蹤與定位系統研究[D].南京：南京理工大學,2017.

[11] 馬金秀.Vicon追蹤系統在LED虛擬攝制中的應用研究[J].現代電影技術,2023(03):34?39.

[12] 尹娟. 六自由度電磁定位跟蹤系統[D]. 天津:天津大學,2012 (12).

[13] Unreal Engine. In?Camera VFX Overview [EB/OL]. (2024?04?23) [2025?01?13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/in-camera-vfx-overview-in-unreal-engine?application_version=5.4.

[14] British Broadcasting Corporation. BBC Research & Development [EB/OL]. (2024?01?01) [2024?09?25]. https://www.bbc.co.uk/rd.

[15] Virtual Reality Peripheral Network. Virtual Reality Peripheral Network ? Official Repo [EB/OL]. (2023?06?23) [2024?09?25]. https://github.com/vrpn/vrpn/wiki.

[16] Unreal Engine. Using Live Link Data [EB/OL]. (2024?04?23) [2025?01?13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/using-live-link-d

ata-in-unreal-engine?application_version=5.4.

[17] Ncam Technologies. Ncam Mk2 Camera Bar [EB/OL]. (2021?01?01) [2024?09?25].https://www.ncam-tech.com/hardware.

[18] Mo?Sys Engineering Ltd. Mo?Sys StarTracker [EB/OL]. (2024?01?01) [2024?09?25]. https://www.mo-sys.com/products/startracker.

[19] Movcam Tech. Co., LTD. Movcam MCS?2 [EB/OL]. (2024?01?01) [2024?09?25] .https://www.movcam.com/mcs2.

[20] Epic Games. Unreal Engine [EB/OL].[2024?09?25]. https://www.unrealengine.com.

[21] 無錫國家數字電影產業園. 5G智慧虛擬攝影巨幕，顛覆傳統拍攝新紀元！[EB/OL]. (2023?06?23) [2024?09?25]. http://wuxistudio.com/index.php?s=/article/detail/id/962.html.

【項目信息】中國電影科學技術研究所（中央宣傳部電影技術質量檢測所）基本科研業務費項目“LED虛擬攝制系統中的鏡頭和位姿元數據聚合研究”(2023?DKS?9)。