圖 | VR 觸覺操作中的手部跟蹤結(jié)果

文丨學(xué)術(shù)頭條，作者丨XT，編審丨寇建超

近年來，虛擬手在 VR 游戲等領(lǐng)域得到了廣泛的應(yīng)用，開發(fā)者們不斷探索用逼真的虛擬手實現(xiàn)基于手勢識別的交互運(yùn)動，但想要讓用戶充分感受真實運(yùn)動的逼真感還存在許多技術(shù)難題。

當(dāng)前，在虛擬/增強(qiáng)現(xiàn)實（VR/AR）領(lǐng)域，大多數(shù)追蹤手部動作的最先進(jìn)技術(shù)缺乏足夠的準(zhǔn)確性。

那些依賴于視覺檢測的跟蹤設(shè)備在黑暗環(huán)境中或有障礙物阻擋視線的情況下會無法工作，而那些依賴于基于速度和力計算位置的慣性測量單元（IMU）更是容易受到電磁干擾。同樣，一些由軟傳感器組成的設(shè)備也不能總是區(qū)分出手何時在做動作、何時觸摸會導(dǎo)致物體變形。

近日，來自韓國首爾大學(xué)、美國斯坦福大學(xué)和三星電子的科研團(tuán)隊，就通過緊密耦合的方式將視覺傳感器和 IMU 融合，克服了這些限制并設(shè)計出了一個新的視覺慣性骨架跟蹤（VIST）框架。

據(jù)論文描述，該框架由一個配備傳感器的手套和頭戴式攝像機(jī)組成，是一種準(zhǔn)確、經(jīng)濟(jì)、便攜、甚至可清洗的跟蹤系統(tǒng)，能夠結(jié)合視覺和力的測量準(zhǔn)確跟蹤人體手和手指的運(yùn)動，準(zhǔn)確跟蹤一些在現(xiàn)實環(huán)境中受障礙物影響而難以檢測的運(yùn)動。

此外，研究人員也展示了這一新跟蹤系統(tǒng)應(yīng)用于 VR、假肢，戶外無人機(jī)群等各個領(lǐng)域的潛力。

一種十分友好的人機(jī)交互

人類可以很輕松地使用雙手完成一些運(yùn)動控制，如果可以將人體手部的靈活性復(fù)制到 VR/AR 場景中，例如通過擬人化機(jī)器手的觸覺反饋來完成復(fù)雜的遠(yuǎn)程操縱任務(wù)，將顯著提高人機(jī)交互（HRI）應(yīng)用的效率、直觀性和豐富性。

實時交互性是指用戶對模擬環(huán)境中物體的可操作程度和從環(huán)境得到反饋的自然程度。交互性的產(chǎn)生，主要借助于 VR 系統(tǒng)中的特殊硬件設(shè)備（如數(shù)據(jù)手套、力反饋裝置等），使用戶能以自然的方式產(chǎn)生與在真實世界中一樣的感覺。VR 系統(tǒng)比較強(qiáng)調(diào)人與虛擬世界進(jìn)行自然的交互，交互性的另一個方面主要表現(xiàn)了交互的實時性。

在 VR/AR 和人機(jī)交互的用戶體驗中，對手部（包括手指）的追蹤是一項關(guān)鍵技術(shù)。目前用于解決手部追蹤問題的方法主要有以下 3 種：

• 基于視覺的手部追蹤。使用相機(jī)來追蹤沒有標(biāo)記的手部運(yùn)動，同時利用大型圖像數(shù)據(jù)集訓(xùn)練的機(jī)器學(xué)習(xí)技術(shù)，但該方法存在無法規(guī)避遮擋的問題；

• 基于慣性測量單元（IMU）/羅盤的可穿戴手部追蹤。通常使用的傳感器包括六軸 IMU（即加速度計和陀螺儀）和羅盤（即磁力計）。這種方法從根本上說容易受到磁場變化或干擾的影響，受鐵磁性物體或電子設(shè)備干擾嚴(yán)重；

• 軟性可穿戴手部追蹤。使用一些軟性傳感器，檢測每個傳感器變形產(chǎn)生的信號，將傳感器包裹在手的周圍，用額外的手部姿勢傳感器來估計手的配置。這種方法無法區(qū)分運(yùn)動引起的變形和接觸引起的變形，使其不適合于用戶需要處理物體/工具或佩戴觸覺設(shè)備的應(yīng)用。

此外，純磁跟蹤器、外骨骼跟蹤等方法均存在一定的技術(shù)和應(yīng)用局限性。

為此，研究人員提出了一個視覺慣性骨架跟蹤（VIST）系統(tǒng)及其相應(yīng)算法，用于準(zhǔn)確、穩(wěn)健、經(jīng)濟(jì)實惠的手部跟蹤，克服了這些手部追蹤方法的技術(shù)局限。

圖｜VIST 的系統(tǒng)配置和可能的應(yīng)用（來源：該論文）

VIST 系統(tǒng)的關(guān)鍵創(chuàng)新之一是，以緊密耦合（TC）的方式融合了視覺和慣性傳感器，對于視覺傳感器沒有檢測到的物體，慣性傳感器都會作輔助估計，反之亦然：而慣性傳感器沒有檢測到的動作也會由視覺數(shù)據(jù)作一補(bǔ)充，TC 融合方法使得 VIST 算法在手部追蹤上表現(xiàn)出更高的穩(wěn)健性。VIST 架構(gòu)的一些重要優(yōu)勢主要為：

• 與其他最先進(jìn)的方法相比，由于 TC 視覺-慣性融合和自動校準(zhǔn)，跟蹤精度更高；

• 對閉塞、視覺復(fù)雜/變化的環(huán)境和環(huán)境照明的穩(wěn)健性；

• 對電磁干擾和模糊的機(jī)械接觸的魯棒性，從而使得操作物體和佩戴設(shè)備成為可能；

• 方便實時校準(zhǔn)/自動校準(zhǔn)解剖學(xué)/手套運(yùn)動學(xué)參數(shù)，并納入 VIST 算法；

• 在可清洗方面表現(xiàn)出的堅固性，在手套材料成本方面的可負(fù)擔(dān)性，還可以使用頭戴式顯示器（HMD）的攝像頭和計算，重量較輕，可穿戴性強(qiáng)。

顯著提高跟蹤精度和用戶便利性

在手部追蹤系統(tǒng)中，對手部的建模是一個關(guān)鍵步驟。在該研究中，人手被建模為分段關(guān)節(jié)骨架模型，并選擇手背和在日常生活中起關(guān)鍵性作用的三個手指（拇指、食指和中指）作為目標(biāo)跟蹤段。

圖｜VIST 的建模與流程（來源：該論文）

為了獲得目標(biāo)跟蹤段的視覺和慣性信息，研究人員設(shè)計了一個傳感器手套，手套分兩層：帶有 7 個 IMU 的手套內(nèi)層，帶有 37 個視覺標(biāo)記的外手套層 ，視覺標(biāo)記具有 4 種不同顏色（紅色、藍(lán)色、綠色和黃色），手套上還有一個頭戴式立體攝像機(jī)。

同時，研究人員還開發(fā)了一種基于濾波的視覺慣性手部跟蹤算法，該算法主要包括對視覺信息的提取以及視覺慣性手部運(yùn)動的估計，通過將 IMU 信息與提取的視覺信息和手部解剖約束融合處理，來估計手部運(yùn)動。

圖 | 未使用視覺和慣性信號融合處理的方法得到的跟蹤效果（有許多異常值，檢測精度不穩(wěn)定）

圖 | 使用視覺和慣性信號融合處理的方法得到的跟蹤效果（利用 IMU 信息進(jìn)行魯棒匹配）

視覺信息的提取主要包括對原始圖像中的標(biāo)記檢測、左右立體匹配和 IMU 輔助的對應(yīng)搜索三個過程，在數(shù)據(jù)融合處理過程中使用 IMU 信息進(jìn)行手部運(yùn)動預(yù)測，再利用視覺信息進(jìn)行校正，然后對手部作解剖約束進(jìn)行校正。由于使用視覺慣性融合對關(guān)節(jié)段的運(yùn)動相關(guān)狀態(tài)進(jìn)行實時校準(zhǔn)和自動校準(zhǔn)，與其他系統(tǒng)相比，該研究設(shè)計的 VIST 系統(tǒng)可以顯著提高跟蹤精度和用戶便利性。

VIST 算法的高魯棒性

另外，研究人員也定量評估了 VIST 系統(tǒng)在自由運(yùn)動、對象交互和佩戴指尖皮膚觸覺設(shè)備（CHD）的情況下的性能和穩(wěn)健性。

每個實驗招募了 15 名參與者，每位參與者被指示坐在一張被 MOCAP 攝像機(jī)包圍的桌子前，并復(fù)制監(jiān)視器中隨機(jī)顯示的手部配置。

圖 | 自由運(yùn)動跟蹤定量評估的測試設(shè)置和結(jié)果（來源：該論文）

由于 VIST 跟蹤利用了視覺信息和手部參數(shù)的自動校準(zhǔn)，對手部大小的可變性不敏感。研究人員通過實驗觀察發(fā)現(xiàn)，VIST 算法對遮擋具有良好的魯棒性，即使可見標(biāo)記相當(dāng)少，其平均誤差也僅略微增加。

研究人員構(gòu)建了 8 個日常對象的圖像數(shù)據(jù)集，每個對象有 100 張不同手部姿勢的圖像，以此來定量評估 VIST 系統(tǒng)在對象交互和佩戴指尖皮膚觸覺裝置上的應(yīng)用，從而評估其對嚴(yán)重閉塞、磁干擾和機(jī)械接觸的魯棒性。

以往的研究表明，人類無法檢測到 VR 中 50 毫米以下的食指尖跟蹤誤差，而且人類無法基于本體感覺區(qū)分 1.7 度以下的食指關(guān)節(jié)角度誤差。

研究發(fā)現(xiàn)，該研究設(shè)計的 VIST 系統(tǒng)可能允許用戶根據(jù)真實的手準(zhǔn)確地感知渲染的手，且優(yōu)于一些最先進(jìn)的基于視覺的算法對于自由運(yùn)動的跟蹤，該 VIST 算法的平均誤差僅為 10.69 mm。

圖 | 對視覺復(fù)雜背景的定性評價（來源：該論文）

研究發(fā)現(xiàn)，VIST 系統(tǒng)在使用手鉆、便攜風(fēng)扇、耳機(jī)殼、CHDs 等含有鐵磁材料或內(nèi)部電流的設(shè)備時，不僅可以保持跟蹤穩(wěn)定性，還可以保持其準(zhǔn)確性。

圖 | 操作工具時跟蹤手勢（在工廠中，操作一些工具時的手勢跟蹤是非常具有挑戰(zhàn)性的）

VIST 系統(tǒng)在真實場景中具有強(qiáng)穩(wěn)健性

研究人員在真實場景中對 VIST 系統(tǒng)進(jìn)行了一些具有挑戰(zhàn)性定性測試，在背景中使用彩色物體（雜志、水果和文具）和一幅畫（阿爾勒的臥室），在視覺上與手套標(biāo)記具有相似的顏色/圖案。

研究表明，盡管存在視覺上對抗的物體和背景，該系統(tǒng)仍可以穩(wěn)健地跟蹤手部運(yùn)動。

圖｜各種閉塞的定性評估（來源：該論文）

此外，通過 IMU 輔助的對應(yīng)搜索，可以將標(biāo)記觀察結(jié)果與手套上的真實匿名標(biāo)記進(jìn)行穩(wěn)健匹配，同時有效地消除異常值，從而即使在視覺復(fù)雜的對象和背景下，也能表現(xiàn)出穩(wěn)定的跟蹤性能。

研究人員還在戶外對 VIST系統(tǒng)的性能進(jìn)行了測試。實驗表明，VIST系統(tǒng)可以在戶外穩(wěn)健地跟蹤手部運(yùn)動，而這一點(diǎn)對大多數(shù)現(xiàn)有的系統(tǒng)來說是相當(dāng)困難的。

戶外實驗不僅驗證了 VIST 系統(tǒng)在硬件和算法方面的完全可移植性，也驗證了它在戶外場景的應(yīng)用中具有可行性。

圖 | VIST 系統(tǒng)戶外性能測試

通過定量和定性的評估，研究發(fā)現(xiàn) VIST 系統(tǒng)在具有挑戰(zhàn)性的真實世界場景中運(yùn)行穩(wěn)健且性能高，尤其是 VIST 架構(gòu)能夠與具有手的大小和形狀變化的不同物體進(jìn)行互動。

VIST 系統(tǒng)規(guī)避了基于視覺的系統(tǒng)的基本問題，在處理閉塞、泛化和緩慢的更新中均具有優(yōu)越性，克服了IMU/compass-可穿戴系統(tǒng)的漂移或磁干擾問題，通過利用視覺信息與解剖學(xué)約束相結(jié)合，還克服了軟傳感器可穿戴系統(tǒng)的未建模接觸問題。

通過融合視覺和慣性傳感器在 TC 融合中的互補(bǔ)性，VIST 系統(tǒng)解決了現(xiàn)有手部跟蹤系統(tǒng)的基本約束，這對于正確解決手部跟蹤的特殊性至關(guān)重要。

研究人員表示，VIST 系統(tǒng)的強(qiáng)大手部跟蹤性能可能會促使其獲得更廣泛的應(yīng)用，解決現(xiàn)有方法所無法企及的各種現(xiàn)實世界的應(yīng)用場景，例如醫(yī)療康復(fù)的日常監(jiān)測和工具操作技能評估等。

參考資料：

https://www.science.org/doi/10.1126/scirobotics.abe1315

更多精彩內(nèi)容，關(guān)注鈦媒體微信號（ID：taimeiti），或者下載鈦媒體App