VR交互技术盘点 3D手势识别不是唯一选择

　　进入电子科技时代，交互的重要性愈加凸显，就好像遥控器之于空调、键盘鼠标之于电脑、游戏手柄之于电视游戏等等，缺少了一个简单有效的交互，工具对于人类也就失去了意义。

　　一、我们为什么需要为VR需要找一个新的交互形式?

　　与其他科技产品不同，VR体验强调的是沉浸感，而沉浸感的来源又是与外界的隔绝而造就的，尤其是视觉和听觉的隔绝，使得大脑被欺骗，产生脱离于现实世界的虚拟沉浸感。这就产生了新的问题：看不见自己的身体，尤其是人类交互感知最重要的手和运动最重要的脚，无法与虚拟环境产生交互，在虚拟的世界里变成了一个看客。

　　在虚拟现实兴起之初，用户在新鲜感爆棚的情况下，追求的重点在VR是否能够营造出沉浸感十足的情境，对于交互的需求相对并没有那么强烈。人类的主观能动性作祟，于是希望去操纵、控制虚拟世界，以寻找到更多的存在感。随着行业的不断发展，VR对于用户新鲜感的下降，用户开始将寻找虚拟世界存在感的需求放在了首位，开始追求更深层次的沉浸，希望与虚拟现实世界产生互动。

　　非常不凑巧的是，大厂优先追求的是输出设备的高技术含量，在头显这一块投入的技术与精力更多。在交互这一块的研发相对滞后，就导致了交互手段缺失情况的出现，比如Oculus Rift只能选择XBox手柄凑数。

　　通过传统电子设备的交互方式，比如手柄一类的产品，暂时解决交互了的问题，却又使得用户从虚拟世界中被带出，沉浸感大打折扣。举个例子，成熟度相对较高的三星Gear VR头显在视觉方面的体验不错，但操控方式是配置于头显右侧的触摸板，这意味着用户需要时刻举起右手来操作，这无形中就破坏了沉浸感受。

　　在二维屏幕交互中，几乎所有控制命令都可以抽象为按键动作。但在虚拟现实中，用户希望自然交互，也就是人类在现实世界里怎么跟外界交互，在虚拟世界里我们也希望按照同样的方式交互，沉浸感更高，效率高，学习成本低。

　　于是，寻找一种全新的、合适的虚拟现实交互形式就成为了一件非常有必要的事情。

二、为什么手部动作识别在已知的交互形式中最受欢迎?

　　到目前为止，VR领域目前还没有一个成熟的具有普适性的操控交互手段。VR日报大概列举了目前业界理论上比较主张的几种交互形式：用“眼球追踪”实现交互、用“动作捕捉”实现交互、用“肌电模拟”实现交互、用“触觉反馈”实现交互、用“语音”实现交互、用“手势跟踪”实现交互、用“传感器”实现交互等等。

　　这些交互形式到目前为止，虽然各自有各自的优点，但也都存在一定的缺陷。比如眼球追踪，尽管众多公司都在研究眼球追踪技术，但几乎没有一家的解决方案令人满意，都无法提供精准和实时的反馈。或如动作捕捉，市面上的动作捕捉设备只会在特定超重度的场景中使用，而且需要用户花费比较长的时间穿戴和校准才能够使用，而且这种方式的一大痛点是没有反馈，用户很难感觉到自己的操作是有效的。

　　又如触觉反馈，它无法适应更加广泛的应用场景，虽然目前三大VR头显厂商Oculus、索尼、HTC Vive都不约而同的采用了虚拟现实手柄作为标准的交互模式，但这只是针对一些高度特化的游戏类应用或轻度的消费应用，不过是商家退而求其次的一种妥协策略，因为VR头显的早期消费者基本是游戏玩家。再比如语音交互，首先机器对于人类语言的理解就是一大问题，简单的语音还好，复杂的就不行了，而理解之后机器对指令能否准确执行又是一大问题。

　　对于人类来说，最自然最有效的的交互方式有两个当属动作莫属了，因为即便语言不通，你仍然可以通过动作的比划与他人进行沟通。放在VR里面来说，肢体和手势动作可以用于大部分交互场景，尤其是轻度交互的固定场景还是对于重度交互的移动场景，手势的优势都非常突出。

　　于是，手部动作识别在已知的交互形式中成为最受欢迎形式。