新闻中心

EEPW首页 > 嵌入式系统 > 设计应用 > DIY你的体感游戏:人体动作识别系统的设计,提供软硬件实现方案

DIY你的体感游戏:人体动作识别系统的设计,提供软硬件实现方案

作者:时间:2017-06-04来源:网络收藏

本文引用地址:http://www.eepw.com.cn/article/201706/348731.htm

一 项目设计摘要

人体特征和是非常热门的领域,相关的算法和实现方案也层出不穷。依赖于丰富的内部资源,可以实现高速的设计和数据处理。为了给人们的生活和娱乐带来更多的乐趣,我们的设计灵感来源于一款PC游戏,将人体和个人电脑游戏结合起来,通过对人体动作的判断,控制游戏中相应物体的动作,这类似于无线控制,但是也不尽相同,这将是一个非常有趣并且吸引人的项目。本项目使用 OpenSPARC评估平台,首先通过VGA解码芯片,将PC机中的视频流数据解码出R、G、B信号值和场、行信号。然后使用OV7670,摄取人体的手部动作,运用一定的算法,对摄像头数据进行处理,判定此时的人体动作,然后将其与RGB分量信号进行叠加,通过配置DVI接口芯片,将叠加后的图像送至显示器显示。在正确检测出人体动作的前提下,将向PC机发出相应的控制信号,用来控制PC机中游戏的动作。

二 系统的原理

本设计项目为人体,设计的重点在于摄像头数据的获取、人体动作的正确识别、图像的叠加、图像的显示以及控制信号的传输。本项目使用Digilent公司提供的 OpenSPARC评估板,板上含有 XC5VLX110T ,2个Xilinx XCF32P Platform Flash PROMs(每个32 Mbyte),用于存储大型设计的配置信息;64位宽256Mbyte DDR2小型DIMM(SODIMM),兼容EDK 附带的IP及驱动程序;板载32位ZBT同步SRAM 和Intel P30 StrataFlash;可编程系统时钟发生器,RS-232接口和许多其他I/O设备与接口等。评估板上的众多资源为本项目的设计和开发带来了极大的便利。整个系统的框图如下图1所示。

图1 系统的整体框图

下面简单介绍一下各部分的原理

  1. 数字视频流的解码

在Virtex-5 OpenSPARC评估板上,带有视频解码芯片AD9980,该芯片是一个8bit,95MSPS,带有模拟接口,专门用于捕捉YPBPR视频和RGB图像信号的视频解码芯片,它的图像分辨率最高可到达1024x768,此时的刷新频率为85Hz。本次设计视频流的输入格式为640x480,刷新频率为60Hz。AD9980芯片采用IIC总线,通过配置部分寄存器,设置输入视频的格式,可以从输入的视频流中分离出RGB 8bit分量和场行信号。

  1. 摄像头数据的获取

为了能准确的获取图像信号,本设计采用OV7670,其带有标准的SCCB接口,同时兼容IIC总线接口,因此可以在程序设计上,可以采用通用的IIC配置程序,简化设计,减少设计量。OV7670支持VGA、CIF和从CIF到40x30的图像尺寸。OV7670输出为8bit的图像数据,通过选择输出图像的格式,8bit的数据代表了不同的RGB分量。同时OV7670还能直接输出场行信号,但与标准的VGA场行信号不尽相同。对于OV7670的使用,重点在于寄存器的设置和时钟信号的选择。

  1. 数据的缓存

OV7670输出的数字图像信号,在进行处理之前,还必须进行必要的缓冲,这是因为选择不同的数据格式,8bit的数据代表了不同的RGB分量,不能直接同AD9980解码后的RGB分量进行叠加,另外OV7670输出的场行信号也与标准的场行信号存在差异。在Virtex-5 XC5VLX110T FPGA中含有丰富的块RAM,将其配置成FIFO,非常适合于大量高速数据的缓冲处理。

  1. 动作的识别

人体动作的识别是本次设计的重中之重,也是最为困难的地方。为了能够准确的判断出人体的动作,需要非常精密的算法。本项目类似于运动物体检测,有关的算法还正在研究之中。

  1. 图像的叠加

图像的叠加原理,类似于字母的叠加,这部分的设计不是很难,只需要将AD9980和OV7670解码出来的RGB颜色分量叠加在一起即可,但是要做到视频图像画面的稳定,不出现画面的跳动、串帧,需要仔细研究VGA时序。

  1. 图像的显示

在Virtex-5 OpenSPARC评估板上,带有DVI传输芯片CH7301,它的输入为RGB分量、场行信号和时钟信号。输入图像的格式可选,CH7301带有IIC总线接口,最重要的也是相关寄存器的合理配置。如果要得到VGA信号,可以使用DVI转VGA接头,将DVI信号转换成VGA信号输出。

  1. 控制信号的传输

当已经准确的判断出了人体的动作时,FPGA将根据此时的动作发出相应的控制信号,传递个PC机。对于控制信号的传输可以采用RS-232接口,模拟键盘,此时需要编写串口模拟键盘程序。不同的控制信号对应于不同的动作,PC机接收控制信号,控制游戏发生相应的动作。

三 系统的软件设计

系统在开始时,首先获取PC机的视频流数据,然后通过摄像头得到人体动作的图像数据,在数据经过缓冲处理、识别之后,将于解码后的RGB分量相互叠加,最后通过DVI接口将视频数据输出至显示器,同时FPGA将控制信号传送给PC机,达到控制PC机中游戏的目的。系统的软件流程如下图2所示。

图2 系统软件流程图



评论


相关推荐

技术专区

关闭