红外图像实时跟踪系统

系统组成及工作原理

实时红外图像自动跟踪系统，对红外成像传感器获取的地面场景图像数据中指定目标区域进行实时自动跟踪，实时解算出目标在图像场景中的精确位置，并输出目标偏离系统视轴的方位，通过伺服控制回路，驱动稳定平台跟踪目标。同时，图像跟踪系统接受来自外部控制系统的控制命令和数据，并按总体通讯协议要求向外部控制系统回送跟踪系统的状态、图像数据和系统关键参数。

根据系统总体要求，选择Altera公司Stratix系列的EP1S25。实时图像跟踪系统总体框图如图1所示，图像跟踪系统接受来自红外成像焦平面视频数据流，通过视频信号行场和像素时钟用来确定视场中每个像素的空间位置，视频信号分为两路处理，一路经过系统中的Nios II相关跟踪部分作自动跟踪处理，另一路通过采集和显示逻辑送到LCD监视器用来观察系统跟踪情况。启动相关跟踪之前，系统通过远距离的RS485接收目标位置和大小参数，将选定目标分割后的数据保存到目标模板存储区，形成初始模板。利用模板对目标进行跟踪，对跟踪结果进行预测外推，得到目标的坐标参数误差后，通过RS232控制伺服系统对目标进行跟踪。为了减小外围电路使用，系统采用对二值化后的数据进行相关匹配方式。考虑到EP1S25带有1944576 bits的RAM，因此利用RAM模块用来做高速相关匹配模板存储区，例化两场图像数据需要120000bits，仅占片内RAM总容量的6%。

图 1 系统的总体结构框图

跟踪算法

目前有多种算法可用于目标跟踪。为了发挥FPGA实现并行算法的优势和NiosⅡ的灵活性，系统采用自递归的0tsu分割和相关跟踪算法对红外目标进行稳定跟踪，为了提高跟踪精度，克服分割后的噪声干扰，采用形态学方法去除噪声突出目标。整个算法的实现过程如图2所示。

图2 跟踪原理算法图

目标分割

目标图像的分割效果尤其是有效地使目标从背景中分离出来是保证系统稳定跟踪的关键。系统采用自递归的Otsu的聚类分割法。用聚类准则分割图像，当目标在图像中占有适当的比例时，分割结果比较好，而且算法比较简单，有利于实时处理。然而对小目标图像却不能把目标从背景中分割出来，经常会把很多背景错分为目标，为此，我们提出了利用Otsu准则对图像进行自递归分割。即在第一次Otsu方法分割之后，将分割得到的亮像素再次利用Otsu分割准则计算得到新的分割阈值。

图3 硬件实现相关匹配算法原理图

相关跟踪

相关跟踪算法将系统的基准图像 (即模板)在实时图像上以一定的偏移值平移，然后根据一定的相似性度量准则对基准图像和与基准图像同样大小的实时图像块进行相关匹配，最匹配的那个位置就认为是目标位置。考虑利用FPGA实现算法，系统采用绝对差相关算法。

为了保证系统实时性，减小算法对图像RAM的使用量，采取如下方式对算法进行优化：图像经过分割后得到二值化图像，运用异或运算处理来代替相关度的复杂计算：即将图像和模板的二值灰度函数进行异或运算，其最小值即为正确匹配位置。

目标预测

在目标跟踪过程中，根据目标在运动过程中具有轨迹的连续性的特点，首先利用目标过去的位置信息预测当前位置，然后在预测点周围一定范围内进行匹配。这样既能减少计算量，在一定程度上又能排除其它物体对跟踪的影响，从而保证匹配的可靠性。系统中采用最佳线性逼近预测法。

模板刷新

相关跟踪算法进行跟踪时，用事先存储好的模板在波门范围内进行匹配，寻找最佳匹配点。在跟踪过程中，随着视场范围内场景的变化，目标形体的变化，需要及时更新模板，使得模板始终正确地反映要跟踪地目标。

系统采用模板的自适应刷新。根据相关峰确定是否更换模板，若所寻找到的相关峰同某个阀值比较，若小于该阀值，则认为此时的目标己经和模板存在较大的差距，此时应该及时更新模板。经大量试验，阀值选取0.985有较好的跟踪效果。

跟踪算法实现

为了满足系统实时性，系统采用NiosⅡ的定制指令和VHDL编写硬件算法加速器保证系统运行速度，在系统目标跟踪算法中，对需要循环迭代浮点处理的Otsu分割和运动预测算法，采用自定义的单精度浮点运算指令加速计算结果，表1 所示为采用自定义浮点指令和软件实现浮点运算性能对比。定制指令逻辑和Nios II的连接在SOPC Builder 中完成。NiosⅡCPU配置向导提供了一个图形用户界面，在该界面中可导入设计文件，设置定制指令名，并分配定制指令所需的CPU时钟周期数目。系统生成时，Nios II IDE为每条用户指令产生一个在系统头文件中定义的宏，可以在C或C++应用程序代码中直接调用这个宏。

系统的相关匹配算法采用VHDL语言硬件并行实现，并且作为Avalon总线的用户外设集成到Nios  II中实现算法的硬件加速单元。通过SOPC Builder中元件编辑器在GUI下将用户逻辑封装成一个 Nios Ⅱ的用户外设。这样用户可以像Altera提供的外设元件一样使用自定义的逻辑组件。

图3为硬件实现相关匹配算法原理图，主要包括一个带图像行移位FIFO的模板寄存器组和目标模板生成模块、集成相关运算的Avalon总线接口。

图4  系统对2公里外的靶机目标跟踪效果图

实验结果

系统在夜间对2公里外的多云天空中靶机目标进行跟踪实验，图像格式为384