高速手势识别系统解决方案

1设计摘要

目前，研究自然化的人机交互是当今计算机科学技术领域的主要研究热点之一，手势输入作为一种自然、丰富、直接的交互手段在人机交互技术中占有重要的地位。本项目提出以Xilinx公司Spartan 6系列FPGA为核心器件的手势识别系统设计的方案，采用FPGA芯片的内置DSP硬核作为手势识别模块的核心,负责图像识别算法的实现，采用FPGA作为图像采集模块的控制中心,负责图像的采集,完成预处理和摄像头聚焦和云台的控制工作，以FPGA高速强大的处理能力保证了系统的实时性。手势识别部分融合人手颜色信息和手势运动信息，利用种子算法对复杂背景下的手势进行分割。根据分割出的手势区域大大加速了运动特征参数的提取,并结合手势区域的形状特征,建立手势的时空表观模型。识别时，采用独立分布的多状态高斯概率模型，进行时间规整，通过DSP和FPGA在处理不同结构算法的优势, 大大提高了手势识别的处理速度和准确性。高速性将是该手势识别系统最突出的优点，可实现更高层次产品的开发并扩大应用前景。

2项目背景

研究自然化的人机交互是当今计算机科学技术领域的主要研究热点之一，手势是一种自然、直观、易于学习的人机交互手段,手势输入是实现自然、直接人机交互不可缺少的关键技术。目前的手势识别技术主要分为基于数据手套和基于视觉两种。基于视觉的动态手势识别系统更是当前科学研究领域的热点之一。手势输入作为一种自然、丰富、直接的交互手段在人机交互技术中占有重要的地位。

尽管手势识别技术的起步比较早，但绝大多数只是简单的停留在软件层次上，这些技术有的只是进行简单的比对，速度比较慢，实时性比较差，另外一些这是识别效率较低。因此需要一个从硬件上着手，专门用来识别手势的设备，以弥补上述两个方面的不足。

以现场可编程门阵列FPGA作为核心器件来完成图像的采集和预处理系统，该系统具有小型化、集成化且实时性好、灵活性高的特点。该系统将一些单调、不复杂、工作量大且耗费时间的处理交给FPGA来完成，不仅能充分利用FPGA速度高的优越性，也能为DSP提供更多的时间进行更复杂的手势图像分析，使得手势识别的结果更为可靠，提高了整个系统的性能。近几年具有乘法器及内存块资源的大容量FPGA以及基于IP核嵌入的FPGA开发技术的出现,可以将嵌入式微处理器、专用字器件和高速DSP以IP核的形式方便地嵌FPGA,以硬件编程的方法实现高速信号处理算法。本文的目的在于如何利用DSP和FPGA各自的优势,设计出满足实时手势识别处理要求的硬件平台。

综述，本文提出的高速基于DSP+FPGA架构的手势识别系统的设计，它综合了FPGA和DSP的优点，通过DSP和FPGA在处理不同结构算法的优势，大大提高了手势识别的速度和准确率。

3应用前景

手势识别技术的应用范围很广泛，主要有以下几个方面：

1、用于虚拟环境的交互。如虚拟制造和虚拟装配、产品设计等。虚拟装配通过手的运动直接进行零件的装配,同时通过手势与语音的合成来灵活的定义零件之间的装配关系。还可以将手势识别用于复杂设计信息的输入;2、智能家居、多媒体设备的控制。通过手势识别可以是使用者通过简单的显而易见的手势对多媒体、家具设备实现控制，如开关空调、多媒体展示等;

3、用于多通道、多媒体用户界面。正如鼠标没有取代键盘,手势输入也不能取代键盘、鼠标等传统交互设备，手势非常适合于指点、表达形状、几何变换和装配等任务。语音对于表达抽象概念及离散属性(或命令)是具有绝对优势的,而且可以涉及视觉不及的对象。视线应用于人机交互在目标选择等方面具有直接性、自然性和双向性等特点。将手势输入和这些交互通道结合,将增强现有的人机交互模式,从而实现更为直接、自然、和谐的人机接口。这种多模式的人机交互技术已经成为当前研究的热点,多通道人机界面将在可预见的将来占主导地位,并进一步促进虚拟现实技术的发展;

4、聋哑患者与正常人的交流。手语是聋哑人使用，的语言,是由手型动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作/视觉交际的语言。手势识别可以让机器“看懂”聋人的手语。识别手语和手语合成相结合,构成一个“人-机手语翻译系统”便于聋人与周围环境的交流;

4系统设计方案

通过摄像头采集手势图像，将图像数据存储到SDRAM中， FPGA处理系统通过对SDRAM的控制，实现云台控制和摄像头聚焦，且将图像数据按照所需时序从SDRAM中将数据读出，并进行锐化、与背景分离、消除噪声以及等预处理，再将预处理后的数据送到MicroBlaze处理器中，在MicroBlaze处理器中对手势图像进行复杂的手势识别处理，完成手势分割、手势识别，并将识别出的手势信息实时传给FPGA，由FPGA实时显示在显示设备上。

4.1设计框图

4.2系统设计

FPGA是整个系统的时序控制中心和数据交换桥梁，而且能够实现对底层的信号快速预处理。在很多信号处理系统中，底层的信号预处理算法要处理的数据量很大，对处理速度要求很高，但算法结构相对比较简单，适于用FPGA进行硬件编程实现。而高层处理算法的特点是数据量较低，但算法控制结构复杂，适于用运算速度快、寻址灵活、通信机制强大的DSP芯片来实现。

4.2.1图像采集模块

普通固定式摄像头不能调整方向，难以对移动中的目标进行实时的抓取、捕获，不能满足本项目对手势图像采集的要求。我们拟采用通过控制云台来实现对手势的实时精确抓取。先通过几何人脸识别的方法识别出目标者，然后通过调节云台上的水平与垂直两个电机来调节摄像头的方向，最大限度的采集目标者的图像，然后再通过光学变焦，使目标者清晰成像，这样可以在更大范围内获得包含手势的目标者的图像，从而能够更加精确的提取手势图像，进行手势分割，增加手势识别的精度。

一体化摄像机内置光学镜头，具有变倍、自动聚焦功能的摄像机，其结构小巧、使用方便、监控范围广。变焦控制可实现图像的变倍、自动聚焦，是一体化摄像机中的关键技术之一。步进电机可将电脉冲信号转换成角位移，每接收一个脉冲信号就可驱动步进电机转动一个固定角度，实现物体的准确定位，通过控制脉冲的频率可控制电机转动的速度，步进电机已广泛应用于高精度控制系统中。一体化摄像机光学镜头中包含变倍步进电机与聚焦步进电机，变倍电机转动时，为使图像聚焦清晰，聚焦电机也应随之转动，具体转动步数与物距有关，具体参数可由镜头生产厂家提供的变焦跟踪曲线获得。为了适应不同物距的清晰成像，变倍跟踪结束后，配合自动聚焦，以显示清晰的图像。

可通过人脸几何特征识别算法识别出目标者，几何特征的人脸识别方法：几何特征可以是眼、鼻、嘴等的形状和它们之间的几何关系(如相互之间的距离)。这些算法识别速度快，需要的内存小，识别率较低，但是可以满足方向调节的需求。

4.2.2 FPGA预处理模块

图像计算模块读取参数表数据,FPGA对采集模块输入并存储在外部原始图像SRAM中的原始图像数据进行计算处理,并将处理好的图像数据存储到结果图像SDRAM中，最后，FPGA内部的图像输出模块从结果图像SDRAM中将处理后的图像数据读出。