支持监控视频高效压缩与识别的IEEE 1857标准

　　摘要：我国技术专家为主研究制定的数字视频编解码技术标准AVS于2013年6月4日被国际电子电气工程师协会(IEEE)标准化委员会颁布为IEEE 1857标准。该标准独具特色的一个部分是针对视频监控的监控档次AVS-S2，编码压缩性能达到目前视频监控业界主流使用的H.264(又称MPEG-4 AVC)标准的两倍，而且在码流层支持感兴趣区域的自动提取与表达。本文介绍了AVS-S2的制定过程、关键技术及其与其它标准的压缩效率对比情况。

　　引言

　　视频监控是继数字电视、视频会议之后的又一个重大视频应用，而且日益成为“体量”最大的一个视频系统：千千万万个摄像头通过宽带网络联系在一起，形成了一张覆盖全球的“视听感知网”，从此人类社会的运行状态都被海量的摄像头采集下来。对大量摄像头采集的海量监控视频有效传输、存储、分析和识别是信息技术面临的重大挑战。

　　根据EMC委托IDC做的研究报告^[1]，2012年全球各种数据的总量为2.84ZB。到2020年，这个数字将上升到40ZB，IDC称之为“数字宇宙(Digital Universe)”。“数字宇宙”中有分析利用价值的部分才是目前热议的“大数据(Big Data)”，IDC估计2012年的数据中“大数据”占23%，2020年这个比例将增长到33%。据IDC测算，2010年“大数据”的一半是监控视频。2015年，监控视频所占比例会增长到65%。2020年仍将处于绝对领先地位，占44%(其次是25%的交易数据、20%的医疗数据、10%的娱乐和社交媒体)。

　　按照IDC的上述测算，2020年将有5.8ZB的监控视频需要进行存储、传输和分析。其中，中国所占比例将达到21%。也就是说，2020年在我国将有1.2ZB(12亿TB)的监控视频需要处理。这是一个什么样的规模呢?据测算，人类历史上说过的所有的话都数字化也就是5EB，1.2ZB是其240倍!

　　面对如此海量的监控视频，需要对视频编码和分析技术进行基础性研究并实现重大突破。以北京为例，2008年奥运会前全市监控摄像头数量就超过了五十万个，每小时产生的视频时长就相当于中央电视台建台以来的所有库存视频。如果要在全市范围内调度、使用这些视频，即使全部采用当前的国家标准AVS或国际标准AVC/H.264，也需要500000(摄像头)×10M(比特/秒/摄像头)=5000Gbps的网络带宽，这是目前的网络传输条件不可能支持的。这些监控视频往往要存储数周乃至数月，尽管是分散在各个单位和部门，但整个北京为存储监控视频付出的存储成本十分庞大。仍然按当前的视频标准压缩效率计算，每个小时产生的视频总量仍达到500000(摄像头)×3600(秒/小时)×10M(比特/秒/摄像头)=18000(Tb/小时)=2.25(PB/小时)。按照IDC对2012年存储价格保守估计^[1]，北京市每小时存储监控视频的成本需要2800万元，一个月的成本就是200亿。为了降低存储代价，往往只能以损失视频质量为代价，但这是和监控视频需要满足识别需要这个根本目的相抵触的。因此，从传输和存储成本考虑，都需要研究更高压缩效率的视频编码技术和标准。

　　2002年以前，我国的视频压缩一直直接采用国际视频编码标准。2002年后，为了支持国内音视频产业的健康发展，规避国际标准背后高额专利费当时已经不断出现的纠纷，工业和信息化部(原信息产业部)组织成立了数字音视频编解码技术标准工作组(简称AVS工作组)。此后，AVS工作组开始起草自主知识产权的国家标准《信息技术先进音视频编码》，并于2006年颁布为国家标准GB/T 20090.2-2006^[4]。AVS的编码效率与同期国际标准MPEG-4 AVC/H.264相当^[5~6]，在图像质量基本不损失的前提下对高清视频的压缩效率能达到150：1(以下谈到压缩效率时同此条件)。当然，有些视频监控应用中用户将压缩效率参数设为600：1甚至更高，但图像质量损失严重，对后续的使用会带来负面影响，例如图像中对象识别率下降等。

　　从2007年开始，AVS工作组开始面向行业应用对GB/T 20090.2进行了定向扩展，开始制定面向视频监控应用的伸展档次(简称AVS-S)，2009年起草完成。这个标准新增了面向视频监控的一些技术特性，但在编码效率这个核心指标方面并无明显提高，总体上处在与H.264相当的水平。认识到只有大幅度超越国际标准H.264，才能大幅度降低监控系统成本，AVS工作组从2010年3月开始启动了第二代视频监控标准(AVS-S2)的制定工作。2013年6月，包括AVS-S2在内的AVS视频编码标准由IEEE颁布为编号1857的标准。

　　AVS-S2的编码效率有了大幅度提升，主要是因为采用了背景建模技术，对监控视频的编码效率比H.264/AVC、以及2006年发布的AVS标准性能提高了一倍，编码效率达到300：1左右，达到当前最新国际标准H.265/HEVC同等的水平^[7]。

　　AVS–S2新增背景建模技术和感兴趣区域提取等两项技术，是国外任何其他编码标准所没有使用的。其中，背景建模技术同样可以用于增强其他国际标准的编码压缩性能，例如H.265/HEVC。实验表明，在H.265/HEVC参考软件中加入AVS-S2背景建模技术后，针对监控视频可以将其压缩效率再提高一倍，达到600：1左右。目前，AVS工作组正在将这套方法应用到正在制定AVS2标准中(称为AVS2-S)，预计在监控视频编码方面将比H.265/HEVC高一倍，这将是国际范围内监控视频编码压缩效率的最高水平。

　　监控视频编码标准发展历程

　　视频编码研究的目标是通过各种技术手段大幅度降低视频码率，否则即使是单路数字视频都难以正常传输。以高清晰度视频为例，每秒钟的数据量为 1920×1080×24比特×30帧每秒 = 1492992000比特每秒，约1.5Gbps，即使以今天的带宽条件，传输这样的一路视频都耗资巨大，当时的通信条件便更加难以企及。因此，从1952年贝尔实验室Cutler等人进行DPCM (Differential Pulse Code Modulation)技术研究以来，视频编码技术一直得到高度重视和持续研究。　　

 

　　上世纪80年代，为了数字电视和视频通信的需要，国际标准组织开始综合已有技术成果来制定视频编码标准，形成了以块为单元的预测加变换的混合编码框架(block-based hybrid coding framework)，并相继出台了ITU-T H.261/H.262/H.263/H.264视频编码建议和ISO/IEC MPEG-1/MPEG-2/MPEG-4视频编码标准。其中，国际标准化组织(ISO)和国际电工技术委员会(IEC)在1994年出台的MPEG-2标准在数字电视领域得到了广泛采用，压缩效率可以达到75：1，可以把原来一路1.5Gbps的高清视频流编码压缩到20Mbps左右。国际电信联盟1995年出台的H.263标准也是同一时代的技术，在视频会议领域得到广泛应用。第一代数字视频监控系统主要采用MPEG-2或H.263标准，某些系统出于实现成本考虑还对标准进行了一定的简化。

　　2003年第二代视频编码技术国际标准发布。国际标准为ITU-T H.264和ISO/IEC MPEG-4 AVC，系同一套技术标准文本由两个渠道出版^[2~3]。因为前面提到的原因，我国在国际标准约一年之后制定出了自主知识产权的国家标准，并经过芯片实现等产业化验证后，于2006年2月颁布为《信息技术先进音视频编码第二部分视频》国家标准(国标号GB/T 20090.2-2006，通常简称为AVS视频编码标准)^[4]。4个月后，微软主导的VC-1视频编码标准由美国电影电视工程师协会SMPTE颁布为行业标准。这三个标准通常被称为第二代视频编码标准的三个代表，其编码效率均比第一代提高了一倍，编码压缩效率达到150：1左右，即可以把一路高清视频压缩到10Mbps左右。第二代标准在数字电视和视频通信领域得到应用后，也很快被视频监控系统所采用。目前基于IP的网络视频监控系统，主要采用H.264标准。但厂商为了降低成本，往往会把标准中较为复杂的编码工具剪裁掉，而不同厂商剪裁的方式又各不相同，因此虽然都号称基于H.264标准，但不同厂商的产品间之间是难以互联互通，需要使用软件或者硬件转码器进行转换。