GHOST DANCE是位于葡萄牙里斯本Lusófona大學(xué)的一個全新研究項目，旨在探索人類之間聯(lián)系的價值，以及如何通過虛擬舞伴再現(xiàn)這種聯(lián)系。項目總監(jiān)Cecilia de Lima和Rui Antunes希望通過慣性動作捕捉來創(chuàng)造流暢的動作，實現(xiàn)現(xiàn)實舞者與虛擬舞者共同表演的目標(biāo)。

挑戰(zhàn)：GHOST DANCE團(tuán)隊需要根據(jù)舞者的動作建立一個3D模型，以創(chuàng)建虛擬和現(xiàn)實表演者之間的聯(lián)系。

解決方案：

慣性動作捕捉技術(shù)允許舞者以舒適和準(zhǔn)確的方式記錄整個動作。最終創(chuàng)建出一個動作流暢的虛擬伙伴，與現(xiàn)實生活中的舞者一起進(jìn)行自然、流暢的表演。

關(guān)鍵要點

可捕捉各種復(fù)雜動作：即使是現(xiàn)代舞蹈中的復(fù)雜動作也可以用慣性傳感器追蹤

高效記錄：整個編舞表演被快速錄制，以適應(yīng)舞蹈室的時間限制

穿著舒適：Xsens可穿戴技術(shù)的廣泛適用性讓舞者可以不受阻礙地完成一系列表演

流體結(jié)果：虛擬舞伴移動流暢，在表演過程中營造出高度的真實感

研究人際交往的重要性

在項目開始之前GHOST DANCE的導(dǎo)演就確定了兩個主要目標(biāo)。“首先是理解人與人之間身體接觸的必要性，”導(dǎo)演Rui Antunes說。“在新的技術(shù)時代，我們似乎越來越疏遠(yuǎn)，我們想知道這對我們的幸福是否有影響。”

為了探索這一點，該團(tuán)隊計劃使用虛擬現(xiàn)實頭顯來比較與人類和虛擬舞伴跳舞時的動作銜接問題?！拔覀兿胫喇?dāng)人體與虛擬實體互動時會發(fā)生什么，”導(dǎo)演Cecilia de Lima解釋道?！拔覀冎肋@會帶來完全不同的體驗，但我們需要找出方法和原因?！?/p>

Cecilia和Rui在此項目中的另一目標(biāo)是看看虛擬舞伴是否可以通過機(jī)器學(xué)習(xí)來實現(xiàn)提高。數(shù)字版的舞者是從真實舞者的動作中創(chuàng)造出來的，但他們想看看數(shù)字舞者能否根據(jù)提供的動作信息開發(fā)出自己的舞蹈套路。

為了實現(xiàn)這些目標(biāo)，他們進(jìn)行了一系列規(guī)劃并尋找合適的技術(shù)。

虛擬舞伴

這個復(fù)雜的項目不僅需要一個熟練的團(tuán)隊，還需要一套專門的技術(shù)來記錄舞者的表演，并將它們轉(zhuǎn)換成數(shù)字版本。

舞者在舞蹈時經(jīng)常會使用日常生活中不常見的動作，因此選擇可適應(yīng)復(fù)雜性的動作捕捉系統(tǒng)至關(guān)重要。“Xsens系統(tǒng)可以準(zhǔn)確地記錄他們的動作，并完美地將其轉(zhuǎn)化為3D模型，”Rui說到。慣性傳感器包含加速度計和陀螺儀，可實時跟蹤對象的關(guān)節(jié)旋轉(zhuǎn)和速度。這種高精確度使得虛擬舞伴的動作栩栩如生，為現(xiàn)實生活中的舞者提供了更自然的體驗。

“跳舞時舒適是必不可少的，”Cecilia解釋道?！拔覀冃枰獎幼鞑蹲郊夹g(shù)不那么引人注目，以獲得最佳效果。”該系統(tǒng)由17個傳感器組成，所有傳感器都單獨綁在身上，使每個傳感器都可以根據(jù)佩戴者的喜好進(jìn)行調(diào)整。這種舒適感使得我們能以更自然、更流暢的動作來創(chuàng)造虛擬舞伴。

虛擬舞伴的機(jī)器學(xué)習(xí)

在記錄了舞者和虛擬舞伴的動作后，Cecilia和Rui想進(jìn)一步看看他們是否可以從基層數(shù)據(jù)中進(jìn)行再次開發(fā)。為此，他們創(chuàng)造了機(jī)器學(xué)習(xí)算法來測試這些模型。

機(jī)器無法做出主觀決定，因此該團(tuán)隊找到了一種將舞者動作客觀化和量化的解決方案。“8個拉班舞蹈動作練習(xí)通常用于戲劇和舞蹈課，以拓展學(xué)生的創(chuàng)造力，”Cecilia說到。機(jī)器人可以輕松識別這些基本動作，包括擊打、絞擰和擠壓。"

根據(jù)這些信息，Cecilia和Rui希望開發(fā)一種虛擬舞伴，它可以跟隨真實舞者及時做出經(jīng)過充分學(xué)習(xí)的動作?！皯T性運(yùn)動捕捉是這類研究的完美選擇，”Rui繼續(xù)說道?！拔覀冇幸粋€基于真實運(yùn)動構(gòu)建的良好模型，這為機(jī)器學(xué)習(xí)提供了基線?！?/p>

Cecilia總結(jié)道:“這個研究項目在人際關(guān)系的重要性上具有啟發(fā)性。雖然虛擬舞伴目前還不能取代真實的舞伴，如呼吸和腳步，在技術(shù)發(fā)展的現(xiàn)階段，這些細(xì)微差別無法通過數(shù)字方式獲得。”

然而，這并不代表將來不會發(fā)生。GHOST DANCE證明了，在未來，這可能是一個可行的舞伴替代方案。使用慣性動作捕捉創(chuàng)建的數(shù)字伙伴現(xiàn)在越來越有可能成為現(xiàn)實。