基于关键帧提取技术的网络视频监控系统

颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。颜色直方图简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。

通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度(如矩、面积、周长等)的形状参数法。

空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接或邻接关系、交叠或重叠关系和包含包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。显而易见，由绝对空间位置可推出相对空间位置，但表达相对空间位置信息常比较简单。空间关系特征的使用可加强对图像内容的描述区分能力，但空间关系特征常对图像或目标的旋转、反转、尺度变化等比较敏感。另外，实际应用中，仅仅利用空间信息往往是不够的，不能有效准确地表达场景信息。

优秀的匹配算法是系统工作效率和辨识能力的保证，而高效的匹配算法需要准确地描述出关键帧的特征。在本系统中，我们考虑到系统计算能力和稳定性的要求，采用颜色直方图和形状特征相结合的描述算法。当提取出当前网络视频流的关键帧序列后，将关键帧以流水线作业的方式后匹配规则库中的匹配图像做比较，若相似率大于预定的阀值时，我们就有理由相信当前视频流是垃圾视频。如果相似率低于预定的阀值，但落在了一个预定的有嫌疑的区间中，我们可以提取当前关键帧的颜色直方图和轮廓特征，与匹配图像的颜色直方图和轮廓特征相比较，如果其匹配概率大于预警阀值，系统可向管理员提出告警，再通过人工识别的方式来判断当前视频流是否非法。

4. 告警响应和处理

随着网络风险系数不断提高，网络攻击技术和病毒木马技术日益更新，单纯的网络安全设备已经不能满足企业、学校和家庭的安全保障。因此，本系统对视频信息的监测也将和其它网络安全设备结合在一起，构成全方位的网络安全保障体系结构来保证一个安全和谐的网络环境。

基于系统特有的预警机制，可以降低误报率和提高监测效率。当系统检测到垃圾视频信息时，将提取出该视频数据包的源IP地址和端口等信息，并将信息显示在系统报警页面通知系统管理员的同时，也会将信息传输到网络安全保障体系结构中的其他相关安全设备，如防火墙等。防火墙将第一时间将此非法IP地址和端口列入黑名单中，禁止该IP地址的视频数据包通过防火墙。

图4 安全保障体系结构

系统也可和入侵检测及安全审计等安全设备结合，来防止病毒和木马等捆绑在视频信息中对用户进行攻击。系统首先将关键帧进行匹配校验，如果相似率低于预警阀值，我们也不能掉以轻心，不排除其图像中隐藏有病毒和木马等信息，导致图像像素发生了肉眼无法区别的改变，由于图像像素结构的改变，可能会欺骗视频监测系统，从而通过了检验。因此，此时系统会将关键帧传输到病毒扫描系统进行进一步的检查。

由于系统本身的匹配校验和预警机制，同时结合网络安全保障体系中其他安全设备的资源来对视频流进行监测，可以保障视频信息的干净和安全，同时不影响用户对视频服务的享受。

系统实现

I.硬件实现

系统分别由视频数据包识别捕获单元、视频解码关键帧提取处理单元、关键帧查询单元、视频关键帧匹配单元、关键帧匹配规则库和告警响应处理单元六个模块组成。

视频数据包识别捕获单元

视频数据包识别捕获单元由FPGA Spartan 3E板卡来实现。FPGA具有高速并行处理的逻辑编程结构，可以实现流水线识别源IP地址、源端口和目的IP地址、目的端口，以及协议类型、视频标志字段等信息的处理。

根据用户特定需要监测的视频类型和流媒体协议，用户可以自定义视频特定位置的标志字段。识别捕获数据包单元过滤到相应的视频数据包时，将按照特定的流媒体协议对数据包进行卸载，提取出视频信息后传输到后继视频解码单元，提取出视频的关键帧。

视频解码关键帧提取处理单元

视频解码关键帧提取单元在eBox-4300上的Wince操作系统上实现。Wince是微软公司开发的嵌入式操作系统，具有很好的移植性和视频处理库，开发容易上手等优点。同时考虑到当前视频格式标准多样，为了提高系统的功能，以后一定会不断向系统添加新的解码器。而Wince上软件的兼容性相对其他的操作系统较强，当用户添加其他解码器时更简单。

关键帧查询单元

关键帧的查询是为了方便系统管理员对系统的工作效能进行控制。在系统管理过程中，管理员可以通过身份验证登录到系统管理页面，查看当前时间段的告警信息和相应的关键帧，并可根据人为识别的方法，决定是否向关键帧匹配库中添加新的匹配图像。

视频关键帧匹配单元

视频关键帧的匹配是系统的主要部分，系统监测的准确性主要取决于关键帧的匹配算法和模式。FPGA中，与RAM存储单元相关的资源有三类：Block RAM、LUT、寄存器。这三类资源可以通过配置和粘合逻辑实现为不同类型和位宽大小的单端口/双端口RAM、ROM、CAM、FIFO等。FPGA中CAM的实现和配置非常灵活，CAM是实现模式匹配的核心资源。