基于云存储视频监控系统的研究

摘要：视频监控系统对海量视频数据存储和智能视频分析的需求日益突出。针对系统硬件计算能力有限，用户需求的多样性，系统扩展性复杂等问题，云存储技术有很大突破。通过虚拟化技术构建资源池，使用Hadoop分布式文件系统存储海量视频数据，使用Map/Reduce编程模型实现大数据并行计算，为用户提供实时视频监控和智能视频分析服务。

关键词：云计算;云存储;视频监控;Hadoop分布式文件系统

互联网的迅猛发展，不仅改变了我们的生活方式，也颠覆了各个领域的经营与管理。随着网络信息化技术的日益完善，使得视频资源的联网共享成为视频监控、 IPTV等大数据领域的迫切需求，现有分散的视频资源正在朝集中化的方向发展。随着海量视频数据的快速增长，传统的视频监控难以满足在大数据计算分析、存储及数据共享等上的需要，或者说很难以更低的成本，更灵活的扩展性，更健壮、更可靠、更安全的系统架构来满足行业需求。因此，云计算开始运用到大规模视频监控领域。

1 相关知识

“云计算”并非是一种新的计算技术，而是结合多种计算技术，以最优性价比为目的的综合型计算模式。通过云计算技术，将海量的资源通过网络连接起来，用户能够共享数据、协同计算，网络中的计算机、服务器共同对外提供服务，并使之透明化。

1.1 云计算

云计算是分布式计算、并行计算和网格汁算的发展，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和各种软件服务。

云计算通过虚拟化技术，将大量异构的网络服务器和不同厂家的网络存储设备构建成统一的资源池，通过互联网连接起来，用户不需要了解云存储系统的细节，也不必掌握

专业的云技术知识，只需要关注自己需要什么样的资源，以及如何通过互联网来获得相应的服务。云计算为大规视频监控系统提供超强计算的能力，灵活地为用户提供各种服务，同时减少系统建设、升级及运维管理的成本，提高系统资源的利用率和系统运行的可靠性。

1. 2 云存储

云存储是在云计算的基础上衍生和发展出来的一种技术。它通过网络将各类存储设备汇集起来，通过网络集中管理，共享数据，其灵活的扩展性，可以对外提供数据存储和业务服务以及与存储相关的增值应用。

云存储系统以网络服务器和网络存储设备为基础，构建成一个大规模的存储集群，采用大规模分布式文件系统对存储资源集中管理，可以提供上海量的存储空间同时也可以为大量用户提供服务，推动了大数据时代的发展。云存储系统的成本远远低于传统的存储系统，并且具有良好的可扩充性和可靠性，推动着大规模视频监控系统的变革。

2 基于云存储的监控系统

目前，云存储的实现并不存在技术上的障碍，它需要云设备、云软件、云服务等有机地集合在一起，为用户提供无障碍的云服务。将存储设备和应用软件相结合，通过分布式文件系统架构实现由存储设备向存储服务的转变。

2.1 云存储系统的结构模型

与传统的存储设备相比，云存储不再是单纯的存储设备，通过虚拟化技术，将无数分散的服务器和存储设备通过网络组织起来，统一管理，协同工作，通过应用软件对外提供存储服务。云存储系统结构模型由物理存储层、基础管理层、应用接口层和用户访问层组成，如图1所示。

2.2 基于云存储监控系统的设计

基于云存储的视频监控系统在逻辑上可分为前端视频采集、云端数据管理中心、视频业务服务和客户端管理系统。如图2所示。

前端视频采集通过网络连接到云存储系统，云存储系统为每一路高清IP摄像头分配足够的带宽。高清IP摄像头将采集的高清视频流进行压缩编码，然后再将压缩编码后的视频流封装成能在网络上传输的IP数据包，通过Internet上传到云资源池中。

云端数据管理中心对云资源进行自动监控、自动调度和集中管理等一体化运维操作，通过虚拟化存储技术、Hadoop分布式文件系统、云计算等技术结合应用程序实现存储设备内容的分发、数据删冗、数据压缩、数据加密、数据备份与数据恢复等功能。

视频业务服务运行在云端数据管理中心之上，是云资源的应用集合，根据用户的不同需求，提供相关的业务服务。

客户端管理系统通过公用API接口访问视频相应的业务服务。客户端管理系统的每个操作对应着一个业务请求，通过网络接入、用户认证、权限管理等安全策略验证后，方可访问相应的业务。

3 关键技术及实现

随着网络技术的发展，人们对智能安防提出了新的要求，传统视频监控系统的局限性越来越突出，视频监控系统的网络化、智能化以及安全越来越受到人们的关注和重视。基于云存储的视频监控系统在数据存储与安全，实时转码，视频智能分析等方面具有自身独特的技术优势。

3.1 数据存储与安全

Hadoop分布式文件系统是现在主流的分布式文件系统之一，具有高容错性，可以运行在低成本的计算机硬件基础上。Hadoop分布式文件系统为读写数据提供了大吞吐量，可运行需要大量数据计算的应用程序，非常适合大规模视频监控系统的应用。

Hadoop分布式文件系统也采用了主从架构，它的集群是由一个Namenode和多个Datanode组成。Namenode是一个中心服务器，其主要负责管理文件系统的命名空间以及客户端对文件的访问操作。Datanode负责管理文件块的创建、存储和删除，并且在Namenode的统一调度下进行文件块的复制操作。

Hadoop分布式文件系统将每个文件分成一系列固定大小的数据块，除了最后一个，所有的数据块大小都为64MB。为了容错，提高系统的可用性，存储在 Datanode中文件的数据块都会有副本。一般情况下，用户的文件有3个副本，系统会将第一个副本放在本地节点上，将第二个副本放到同一机架的另外一个本地节点上，而将第三个副本放到云存储系统不同机架的一个节点上。当某一节点的数据被破坏后，可以读取其它节点的副本，提高数据的安全性，同时保证了系统的可靠性。