東京工業(yè)大學(xué)(Tokyo Tech)的研究人員與卡內基梅隆大學(xué)，圣安德魯斯大學(xué)和新南威爾士大學(xué)的同事合作，開(kāi)發(fā)了一種腕戴式3D姿勢估計裝置。該系統由一個(gè)攝像頭組成，該攝像頭捕獲手背的圖像，并由稱(chēng)為DorsalNet的神經(jīng)網(wǎng)絡(luò )支持，該AI神經(jīng)網(wǎng)絡(luò )可以準確識別動(dòng)態(tài)手勢。
能夠跟蹤手勢對于推進(jìn)增強現實(shí)(AR)和虛擬現實(shí)(VR)設備至關(guān)重要，而增強現實(shí)和虛擬現實(shí)設備已經(jīng)在醫療，體育和娛樂(lè )領(lǐng)域開(kāi)始大量需求。迄今為止，這些設備都涉及使用笨重的數據手套，該手套往往會(huì )阻礙自然運動(dòng)，或者使用的傳感器范圍有限。
現在，由東京工業(yè)大學(xué)的小池秀樹(shù)(Hideki Koike)領(lǐng)導的研究小組設計了一種基于相機的腕戴式3D手勢識別系統，該系統將來(lái)可能與智能手表相提并論。他們的系統可以重要地允許在移動(dòng)設置中捕獲手部動(dòng)作。
研究人員說(shuō)：“這項工作是第一個(gè)使用來(lái)自手背區域視覺(jué)特征的基于視覺(jué)的實(shí)時(shí)3D手勢估計器。”該系統由一個(gè)名為DorsalNet的神經(jīng)網(wǎng)絡(luò )支持的攝像機組成，該神經(jīng)網(wǎng)絡(luò )可以通過(guò)檢測手背的變化來(lái)準確估算3D手的姿勢。
研究人員證實(shí)，他們的系統在識別動(dòng)態(tài)手勢方面比以前的工作平均精度高出20%，并且在檢測11種不同的抓握類(lèi)型方面達到了75%的精度。
這項工作可以促進(jìn)支持裸手交互的控制器的開(kāi)發(fā)。在初步測試中，研究人員證明可以將其系統用于智能設備控制，例如，只需更改手指角度即可更改智能手表上的時(shí)間。他們還表明可以將該系統用作虛擬鼠標或鍵盤(pán)，例如通過(guò)旋轉手腕來(lái)控制指針的位置并使用簡(jiǎn)單的8鍵鍵盤(pán)輸入輸入。
他們指出，對于現實(shí)世界的使用，將需要對該系統進(jìn)行進(jìn)一步的改進(jìn)，例如使用具有更高幀頻的相機來(lái)捕捉快速的手腕運動(dòng)，并能夠應對更多不同的光照條件。
