手语识别和翻译

　　其后我们关掉骨架提取的功能，使用率大幅降低到只有25%。经过进一步性能分析的工作，我们证实了瓶颈的来源就是骨骼提取。不幸地，骨骼提取的算法并不是开源的，而是被PrimeSence所保护。所以我们并不能通过修改原代码或是把算法放到FPGA里以达致降低处理器使用率的效果。　　

 

　　解决方法
　　为了解决这个问题，我们尝试选择性地使用原始数据。原来数据传递方式是用户产生器(User Generator)直接从深度图像产生器(Depth Generator)得到原始数据。新的方法就是设立一个仿真深度图像产生器(Mock Depth Generator)。它会仿真成原来的产生器，而用户产生器则从它得到数据。

　　当Kinect得到新的数据，它会将数据传给深度产生器，然后后者会发给仿真深度图像产生器。而每隔一个帧，仿真深度图像产生器会将得到的数据传给用户产生器。换言之，两帧从Kinect上得到的数据，只有一帧会真正被用作提取骨架，而另一帧将会被忽略。

　　这个做法虽然令帧率降低到15，但处理器使用率却降至只有50%。而且经过我们的验证，几乎没有出现丢帧的情况，即使出现亦没有影响到提取骨架节点的质素。经过这个特殊处理，我们确定在这平台使用Kinect是可行的，甚至还可提取额外的处理器资源用以其他运算工作。

　　设计和实现

　　概述
　　系统通过Kinect获取深度影像，并使用应用程序OpenNI从深度影像中提取用户的骨架。在获取的骨架中，我们选取左右手、肘、肩六个关节点。总的来看，用户完成了一个手语，通过Kinect和OpenNI，系统将记录一系列的帧，每一帧由左右手、肘、肩六个关节点的三维空间向量组成。用户每一次完成同一个手语都会有差别，所以我们在特征提取之前需要对记录的帧进行常态化处理。我们使用支持向量机(SVM)对提取的特征向量进行分类。每一类表示一个手语。图2描述了整个手语识别的流程。　　

 

　　手语获取
　　双手交叉握于腹部前方。这一动作我们称之为“预备动作”，表示手语的开始和结束。为了避免潜在的识别错误，我们要求每相邻的两帧(0.13s)，用户至少移动5厘米。如果用户做预备动作超过100帧(6.67s)，系统将会停止获取手语数据。

　　数据处理
　　正如我们之前提到的常态化处理，我们将获取的一系列帧通过均分和插入的方法统一成121帧，即2178个三维空间向量。我们对常态化处理后的数据进行特征提取，产生1694个特征向量。最后我们将所有的特征向量放在一个矩阵里，用于SVM分类。

　　手语训练和分类
　　LIBSVM是一个用于支持向量机的集成软件，支持多类分类。用户使用LIBSVM提供的库，可以更容易地使用SVM。我们使用“svm-train”读取输入文件(Input File)，生成模型文件(Model file)。我们的输入文件包含1694个特征向量。我们对每个手语单词训练20到30次。到目前为止，我们总共训练了48个手语。我们可以通过训练更多的手语扩展我们的数据库。

　　使用“svm-predict”可以预测用户所做的手语属于哪一类。

　　参考文献：
　　[1]Chinese Sign Language [R/OL].http://baike.baidu.com/view/42806.htm
　　[2]OpenNI [R/OL].http://75.98.78.94/About.aspx
　　[3]PrimeSense 3D Sensor Data Sheet[R/OL].http://www.primesense.com/press-room/resources/file/4-primesense-3d-sensor-data-sheet?lang=en
　　[4]LIBSVM [R/OL].http://www.csie.ntu.edu.tw/~cjlin/libsvm/
　　[5]Hardware Requirements of Kinect[R/OL].http://www.microsoft.com/en-us/kinectforwindows/purchase/sensor_setup.aspx
　　[6]FPGA-based MP3 Player[R/OL].http://cegt201.bradley.edu/projects/proj2010/fpgamp3/FPGAMP3_Project_Report.pdf
　　[7]Altera wiki - MP3 player[R/OL].http://www.alterawiki.com/wiki/MP3_Player