视频监控存储方案.docx

视频监控存储方案.docx

《视频监控存储方案.docx》由会员分享，可在线阅读，更多相关《视频监控存储方案.docx（14页珍藏版）》请在冰豆网上搜索。

视频监控存储方案

视频监控存储方案

白皮书

北京威视数据系统有限公司

二〇〇六年十二月

一引言

视频监控作为一种重要的安防手段已经有很长的发展历史，随着技术的发展，摄像机的精度越来越高，对于前端设备的控制也越来越方便，可以说，在模拟信号传输的环境下监控系统是一项较为成熟的技术。

随着计算机技术的迅速发展和推广，使世界掀起一股强大的数字化浪潮，几乎所有的产业都被卷入这股浪潮中，数字化以其独特的先进性、强大的扩充性等诸多特点成为世界产业发展的一个基本的规律。

安防产业在中国作为一个相对新兴的产业，可以说在其迅速扩展式发展的二十一世纪初便深深打上了数字化的烙印，作为安防产业的核心，闭路监控更是首当其冲，2000和2001年兴起的硬盘录像机的飞速发展就是对数字监控（即硬盘录像机）的一个市场性的反映，由于数字监控正处于一种过渡阶段，由数字监控取代传统技术派生出的许多数字监控的新功能正在逐渐成为视频监控的主流技术。

二监控行业现状及需求分析

二.1行业现状

我公司通过深入的沟通和研究，并走访了多个对视频监控应用较多的行业，我们对监控行业的现状有了较为深入的了解。

目前，国内视频监控主要还是使用数字录像机（DVR），DVR适用于监控规模较小的情况，因此国内很缺乏大规模视监控项目的建设经验。

DVR最大可控制16～32路视频信号，如果客户每天产生的数字录像数据量不是很多，而且需要保存的时间很短（比如一个星期），使用一台或两台数字录像机完全可以满足需要。

这种情况单使用数字录像机方式性价比较高。

下图为使用硬盘录像机监控的拓扑结构图。

图一、DVR监控方案拓扑结构图

但是多数客户需要监控的点很多，超过32路，这样每天产生的数字录像量很大，并且根据客户需要保存录像的时间为一个月，单台数字录像机本机所配的硬盘无法满足数据存储容量的需求。

如果使用多台数字录像机来完成所需的工作，会带来一些问题。

因此，对于传统的DVR体系架构，我们认为存在以下几个弊端：

1、传统DVR的存储方式使用本机ATA硬盘，由于ATA硬盘本身的耐用性不是很高，而一般监控都是7×24的写入操作，ATA硬盘很容易损坏，再加上没有RAID保护机制，监控数据将丢失，有着严重的数据安全隐患问题。

2、传统DVR方式，录像设备和录像数据都存放在一体，容易产生单点故障，即DVR出现故障存储的监控文件也一起丢失。

3、数字录像数据存储在多个DVR中，过于分散，对监控数据的管理和维护比较复杂。

而且由于数据存储过于分散，从而也增加了录像数据调用的复杂度。

4、对数据的访问完全依赖DVR的处理速度，如果多点同时对视频数据进行点播及回放，DVR既要处理点播回放，又要处理模数转换，同时还要进行数据存储，很可能造成性能瓶颈。

5、硬盘录像机没有统一的格式标准，不同厂家的硬盘录像机不能相互回放。

针对上述问题，我们需要对现有的监控架构进行一些改进，后面我们将对几种改进后的监控架构进行详细的描述。

二.2需求分析

对于大规模的监控系统，特别像平安城市这样的项目，前端摄像头一般要在1000路以上，从系统需求上有了质的变化，不能再像几十个摄像头的系统，因此，它必须具备下面的功能：

●存储集中化

传统DVR将数据存储分布在每台DVR当中，调用和管理极为不便。

因此，需要将所有数据集中存储在同一设备当中，监控录像的调用和视频数据的备份都可以方便得以实现。

同时，存储集中化之后，可以在本地或者远程的同一管理平台下管理所有存储设备，大大简化了监控系统的管理成本。

●数据安全性

传统DVR使用IDE硬盘，没有任何数据保护机制，一旦硬盘损坏数据将无法恢复，这样则失去了监控本身的意义。

因此，要有一套安全机制很高的方案将数据的安全有力的保护起来，可以在硬盘损坏的情况下实现数据的恢复。

从存储设备本身需要有严密的保障措施，尽量减少故障点；另外，一旦出现单点故障后，监控系统能够持续运行，并能在线的恢复正常。

此外，还可以通过备份或者容灾技术增加系统的整体的安全性，进一步提高系统的可靠性。

●高性能

由于大型监控系统一般摄像头路数较多，需要同时多路摄像头同时将数据写入存储设备，并且同时有多路服务器可能读取数据，总的带宽要求比较大，并发访问数量较多，因此对后端存储设备提供较高的性能来满足这种需求。

●随需扩展

传统DVR是不能随意扩展的，一般8块硬盘已经满负荷了。

而监控系统在初始完成之后，可能随着需求的增加，数据量也会随之增加，这就需要存储系统有良好的可扩展性来保证系统业务的持续运行。

根据以上几点对监控行业的需求分析，我们推荐使用磁盘阵列来满足这些需求。

而使用磁盘阵列也有着不同的体系架构，下面我们将针对使用磁盘阵列技术的不同架构进行进一步的分析和讨论。

三传统磁盘阵列解决方案

三.1DVR＋SCSItoSATA磁盘阵列解决方案

图二、DVR＋SCSItoSATA磁盘阵列方案拓扑结构图

本方案使用DVR＋SCSItoSATA磁盘阵列的监控方式。

SCSItoSATA磁盘阵列对主机端口为SCSI端口，阵列内部使用SATA硬盘，DVR与磁盘阵列通过SCSI相连，具体连接方式如上图所示。

1、前端多路监控摄像头捕捉到视频流进入光端机，通过光纤传输将模拟信号输入视频矩阵。

2、视频矩阵将模拟信号输入DVR设备，DVR设备将模拟信号转换为数字信号进行视频数据的存储，将视频文件存储到通过SCSI连接的磁盘阵列中，达到DVR存储容量扩充的目的。

3、同时，视频矩阵将模拟信号的视频流直接通过显示大屏，实现实时监控。

4、远程客户端可以通过以太网访问视频点播服务器，视频点播服务器读取DVR中的视频数据进行视频点播。

方案特点：

Ø可以两台DVR同时连接一台磁盘阵列，部分实现了数据集中存储，管理和维护相对有所简化。

Ø使用磁盘阵列存储数据，将录像设备和录像数据分开，避免了单点故障，从应用角度上提高了数据的安全级别。

ØDVR本身使用ATA硬盘，不能做RAID保护，而使用磁盘阵列使用SATA硬盘，并且可以通过RAID保护机制对视频数据进行安全保护，而且性能更好，从存储角度提高了数据的安全级别。

方案缺点：

Ø由于视频点播、模数转换、数据存储功能还是都有DVR来实现，因此DVR本身性能瓶颈的问题没有得到解决。

Ø由于对数据的访问还是依赖DVR设备，一旦DVR设备出现故障，将无法访问所需数据。

Ø由于DVR本身ATA硬盘还存放一定的监控数据，对于这部分数据依然有安全隐患问题。

三.2DVR＋网络解决下载方案

图三、DVR＋网络下载方案拓扑结构图

本方案使用DVR＋网络下载方案的监控方式。

SCSItoSATA磁盘阵列连接网络下载服务器，DVR与下载服务器连入同一网络中，具体连接方式如上图所示。

1、前端多路监控摄像头捕捉到视频流进入光端机，通过光纤传输将模拟信号输入视频矩阵。

2、视频矩阵将模拟信号输入DVR设备，DVR设备将模拟信号转换为数字信号进行视频数据的存储。

由于DVR本身存储容量有限，只能存放短时间的数据，而且有些DVR不支持扩展磁盘阵列。

我们将通过一台下载服务器，将存放在DVR上的视频文件经过以太网下载到SCSI连接的磁盘阵列中，下载后将DVR原来的数据删除用以存放新的视频文件。

3、同时，视频矩阵将模拟信号的视频流直接通过显示大屏，实现实时监控。

4、远程客户端可以通过以太网访问下载服务器，下载服务器同时提供视频点播的功能，对远程客户端提供视频访问服务。

方案特点：

Ø将监控数据集中存储到下载服务器端，将视频点播、数据存储功能转移到下载服务器端，解决了DVR本身处理多任务的性能瓶颈问题。

Ø由于大部分数据存放在下载服务器端，大大较少了对DVR的依赖性，如果DVR设备出现故障，可以从下载服务器中访问绝大部分数据。

Ø对于多台DVR大数据量需要存储的情况，可以使用一台下载服务器连接多台磁盘阵列，对多台DVR进行下载，使得数据存储更加集中化，更加方便管理和维护。

Ø这种方式统一了录像回放格式，解决了不同厂家DVR不能相互回放的问题。

方案缺点：

Ø由于下载服务器需要定时下载DVR上的数据，又要提供视频点播的功能，这些都需要通过网络实现，因此对网络带宽要求较高。

Ø由于DVR本身ATA硬盘还存放一定的监控数据，对于这部分数据依然有安全隐患问题。

三.3DVS＋SCSItoSATA磁盘阵列解决方案

图四、DVS＋SCSItoSATA磁盘阵列解决方案拓扑结构图

本方案使用DVS＋SCSItoSATA磁盘阵列的监控方式，相对前面两种方案，DVS的方案已经可以在大规模监控系统中投入应用。

SCSItoSATA磁盘阵列与管理服务器是点对点相连，具体连接方式如上图所示。

1、前端监控摄像头捕捉到视频流进入DVS设备，DVS将模拟视频信号编码压缩成MPEG4格式形成IP数据包在以太网上进行传输。

后端视频存储服务器通过SCSI线分别与磁盘阵列相连，其上的存储控制软件通过千兆以太网接收各路视频数据，然后通过SCSI卡将各路视频数据存入SCSItoSATA磁盘阵列柜中。

2、后端解码器将接收到的各路视频数据转换成模拟视频信号输出到显示屏中，实现实时监控。

3、远程客户端可以通过以太网访问存储管理服务器的数据库来对监控录像进行视频点播。

方案特点：

Ø使用DVS设备，从架构上有了本质的改变，将前端摄像头的模拟信号转换为数据信号，通过现有的以太网络进行视频传输。

这种方式充分利用现有网络资源，大大简化了前端布线的工程。

Ø由于通过DVS设备在前端就进行了模数转换，在IP网络进行数字信号的传输，完全无需依赖DVR进行存储和访问数据，彻底消除了性能瓶颈问题。

Ø通过使用磁盘阵列，提高了数据存储的安全性，磁盘阵列使用SATA硬盘，并且可以通过RAID保护机制对视频数据进行安全保护，而且性能更好。

Ø一台管理服务器通过DVS管理软件可以管理70－100路摄像头的监控，如果监控路数更多，可以通过增加服务器方式来实现对所有监控点的管理，使得数据存储更加集中化，更加方便管理和维护。

方案缺点：

使用SCSI接口磁盘阵列与管理服务器进行连接，由于SCSI本身不易于扩展，而一台服务器连接SCSI磁盘阵列数量有限，因此当数量继续增加则需要添加管理服务器来连接增加的磁盘阵列，从管理上一定程度上增加了复杂度，另外成本也有所增加。

四集中存储iSCSI磁盘阵列解决方案

四.1三种存储架构比较

目前主要的存储架构有DAS、NAS、SAN三种方式，下面分别描述一下三种方式的工作模式。

DAS（DirectAttachedStorage）直接连接存储。

它是服务器通过SCSI直接连接外置存储设备，主要是为了提供比服务器本机硬盘更高的性能、更安全的保护和一定的扩展性。

拓扑图如下：

像传统的视频解决方案都是使用这种连接方式，这种方式使用比较成熟、稳定，性能也很好，它对于分布式的存储是一个比较好的解决方案。

但由于每台服务器必须通过SCSI卡连接一台磁盘阵列，而服务器又不可能插太多的SCSI卡来连接磁盘阵列，因此这种方式是无法实现视频数据集中存储的需求。

NAS（NetworkAttachedStorage）网络附着存储。

它的主要特征是通过把存储设备和网络接口集成在一起，直接通过网络存取数据。

也就是把存储功能从通用文件服务器中分离出来，使其更加专门化，从而提高文件访问服务的存取效率，以及更低的存储成本。

网络拓扑图如下：

NAS主要应用是提供文件访问，而不能安装数据库。

一般用于公司内部的个人文件存储，共享资料存储等。

但由于它使用以太网的CIFS协议或NFS协议，因此文件存取效率不是很高，不适于持续码流传输的应用。

另外NAS提供的是网络映射硬盘，不是直接写入的block设备，因此对于视频监控存储整体架构的支持还存在兼容性问题，同样无法实现视频数据集中存储的需求。

SAN（StorageAreaNetwork）存储区域网络。

SAN是一种基于光网的特殊的后台数据存取网络，它提供了一个性能稳定的数据高速存取平台。

拓扑结构图如下：

SAN的主要功能就是实现集中存储，它将存储通过交换机构成一个大的存储池，可以实现集中管理、集中存放、集中调用等功能，是视频监控系统中最适合集中存储的架构。

目前SAN架构又分为FCSAN和IPSAN两种，从监控应用的需求角度出发，IPSAN从性能和价格上比较适合监控应用，我们在后面的章节将阐述IPSAN的优势以及基于IPSAN的视频监控解决方案。

四.2采用存储局域网络SAN

SAN（StorageAreaNetwork，存储区域网络）是一个由存储设备和系统部件构成的网络。

所有的通信都在一个与应用网络隔离的单独的网络上完成，可以被用来集中和共享存储资源。

SAN不但提供了对数据设备的高性能连接，提高了数据备份速度，还增加了对存储系统的冗余连接，提供了对高可用群集系统的支持。

简单地说，SAN是关联存储设备和服务器的网络。

它和以太网有类似的架构。

以太网由服务器、以太网卡、以太网集线器/交换机及工作站组成。

SAN则由服务器、HBA卡、集线器/交换机和存储装置所组成。

SAN主要包含FC-SAN和IP-SAN两种，FC-SAN的网络介质为光纤通道（FiberChannel），而IP-SAN使用标准的以太网，以iSCSI协议来进行数据传输。

IP-SAN适用于分布式的部门级和工作组环境，能够实现完全跨平台文件共享，支持Windows、NT、UNIX（Linux）等操作系统，数据可在以太网上进行传输，且安全功能丰富，是比FC-SAN功能更加完善的存储区域网。

存储局域网络是建立在服务器集群和存储设备之间的网络，给服务器集群提供集中式的共享的存储空间，便于管理；SAN的优点可归纳为下几点：

ØSAN存储系统扩展性好、升级能力强，投资保护性好。

Ø实现了存储系统支持数据集中式管理，相关业务系统或全部的应用系统存储系统合并为统一的存储系统。

Ø采用开放式的体系结构，支持多种系统平台的接入，亦即实现跨平台操作。

Ø提供包括存储介质、接口设备及连接链路的冗余支持。

Ø向网络客户端和应用服务器提供高效可靠的数据存储服务时，同时对应用系统的运行效率和网络的速度不会产生明显的影响。

四.3IP存储网络

FCSAN的系统包括光纤通道卡，光纤线，光纤通道交换机等，而像光纤通道卡、以及每个光纤通道交换机端口的价格是普通千兆以太网的10至20倍以上，加上光纤的铺设在中国大部分地区的铺设不普及，整个系统的建设费用非常昂贵。

IPSAN是近些年来新兴的网络存储技术，它希望用TCP/IP以太网替代光纤通道网络。

IPSAN的好处在于：

使用以太网络，保护了用户现有的投资；以太网系统造价低；以太网是成熟的技术，具有良好的兼容性；以太网络可以扩展到远端，便于系统的做远程的容灾备份；以太网上现有的软件也可以直接使用，例如IPSAN可以直接加上IPsec软件，以达到存储网络加密的目的；千兆以太网络的广泛使用，也使得IPSAN的性能得到提高。

总之，采用IPSAN存储网络，可以达到好兼容性和最高的性能价格比。

IPSAN使用的是iSCSI协议。

iSCSI（InternetSCSI）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。

它是由Cisco和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。

是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。

简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。

四.4DVS＋ISCSItoSATA磁盘阵列解决方案

图五、DVS＋ISCSItoSATA磁盘阵列解决方案拓扑结构图

本方案使用DVS＋iSCSItoSATA磁盘阵列的监控方式。

iSCSItoSATA磁盘阵列通过以太网交换机与服务器相连，具体连接方式如上图所示。

1、前端监控摄像头捕捉到视频流进入视频服务器（DVS），视频服务器（DVS）将模拟视频信号编码压缩成MPEG4形成IP数据包在以太网上进行传输并直接写入到后端的iSCSI磁盘阵列中。

这种方式免去了先前方案中管理服务器干预，从性能和成本上都大大超越之前的方案。

2、后端解码器将接收到的各路视频数据转换成模拟视频信号输出到显示屏中，实现实时监控。

3、远程客户端可以通过以太网访问视频存储服务器的数据库来对监控录像进行视频点播。

方案特点：

DVS＋ISCSItoSATA磁盘阵列方案和DVS＋SCSItoSATA磁盘阵列方案基本相同，所不同的就是在存储结构上使用的是将SCSI命令放在IP包中进行传输，从而实现BLOCKI/O的访问。

Ø这种方式实现灵活方便，部署简单，可以利用现有网络资源，形成一个IPSAN的存储架构。

Ø前端DVS通过以太网直接写入iSCSI磁盘阵列当中，无需服务器的干预，节省了系统总体成本，提高了系统性能。

Ø使用IP协议进行数据传输，没有距离限制。

Ø通过以太网交换机与主机连接，可以实现容量的无限扩容。

四.5方案优势

本方案是根据我公司多年经验，并结合监控行业自身特点而形成的。

它很适合大规模视频监控项目的应用，方案优势主要体现在以下几点：

●针对视频监控行业专用的存储系统

针对视频监控应用的特点，我们对所推出的存储系统进行了优化。

监控应用主要是以一定码流多路并发写入，并伴随随机读取的的存储应用。

一般在D1分辨率的码流为2Mb/s，CIF分辨率的码流则为300Kb/s左右。

在D1分辨率的情况下，一般视频流一次IO最大块为128Kb，因此100路需要写入的IO次数为2Mb/s÷128Kb×100＝1562.5IOps，而吞吐率为2Mb/s×100÷8＝25MB/s。

而我公司单台iSCSI磁盘阵列在128Kb顺序码流写入时吞吐率实测数据为200MB以上，完全满足D1分辨率下码流的需求；我公司单台iSCSI磁盘阵列在128Kb顺序码流写入的IOps实测数据在3000以上，足够相应1500多个IO的需求，完全满足大型视频监控系统的需求。

●随需扩容，无限扩展

威视数据采用目前先进的IPSAN存储架构，可以实现存储容量的高可扩充性。

在系统监控点增多，存储需求也随即增长，如现有容量不足，可以简单的购买更多的iSCSI磁盘阵列联入以太网交换机进行容量扩充。

如果增加了磁盘阵列数量，意味着写入路数分配到了不同的磁盘阵列当中，随着容量的扩展，系统性能也有了较大的提升。

我们以D1分辨率，100路摄像头7×24写入，并保存15天为例。

所需存储容量计算公式为：

100（路）×15（天）×24（小时）×3600（秒）×2,000,000（bps码流）÷（8×1000×1000×1000×1000）（单位T容量）=32.4TB

而一般一台iSCSI磁盘阵列的容量为8TB，因此大约需要4台磁盘阵列可以满足该存储需求。

●IPSAN＋NAS无缝整合

对于大型监控项目，有时除了IPSAN的需求之外，还要提供文件服务的功能。

因此，对于某些对性能要求不高的文件在用户之间的共享应用，可以采用NAS的存储。

由于威视数据存储的产品同时提供IPSAN和NAS的功能，所以可以同时满足城市监控存储在这两方面的需求。

也就是说，威视数据的IPSAN功能可以满足服务器的高速块级访问需求，NAS功能可以满足针对以文件为对象的文件共享的需求；

●友好易用的中文管理平台

易管理和使用是也是城市监控存储系统的一个基本要求。

威视数据存储的产品的管理系统是面向用户设计的全中文的管理系统。

而且业界最先进的基于浏览器的管理方法，在客户端无需安装任何软件。

根据我们的经验，管理员可以在15到20分钟内，就轻松掌握整体系统的使用和管理。

●高安全性提升数据的安全级别

威视数据方案中，数据存储采用业界先进的RAID6技术。

以往的RAID5技术是在一个RAID组中一块硬盘损坏的情况下，通过RAID自动重建功能可以保证数据不丢；而RAID6技术可以在RAID组中同时损坏两块硬盘的情况下仍然可以保证数据不丢，而且磁盘阵列无需重启。

威视数据iSCSI磁盘阵列可以通过多网扣绑定增加带宽，还可以保证存储器在单个网络连接断开的情况下，仍然可以正常工作，保证了设备的高可用性。

●为实现数据灾备提供扩展功能

威视数据iSCSI磁盘阵列内嵌备份软件，可以通过备份软件将磁盘阵列当中存储的视频数据直接备份到备份设备当中，进一步保障了视频数据的安全。

五典型案例

深圳市南山区平安城市监控项目

项目背景：

党的十六大报告在阐述全面建设小康社会的宏伟目标时把社会更加和谐作为一个重要目标明确提出。

十六届四中全会更进一步提出了构建社会主义和谐社会的任务，要求全党适应我国社会的深刻变化，把和谐社会建设摆在重要的位置。

五中全会在提出国民经济和社会发展“十一五”规划建议中，又对和谐社会建设作出全面、具体安排。

为配合国家整体规划，把构建和谐社会，构建平安城市、平安中国落到实处，公安部全力开展城市报警与监控系统建设，提升公安机关的战斗力。

2005年10月12日，公安部科技局在浙江省杭州市组织“全国城市报警与监控系统建设现场会”，确定从2005年10月开始到2008年，公安部将在全国开展城市报警与监控系统建设“3111”试点工程，即在省、市、县三级，每个省确定一个市，有条件的地市确定一个县，有条件的县确定一个社区或街区为试点，开展城市报警与监控系统建设试点工程。

随着“平安中国”项目的启动，城市数字监控被越来越多的厂商、政府部门、企业及普通百姓所关注。

由于实施了数字监控，大量的监控信息及图像要存储，所需要的存储容量也突飞猛进。

项目情况：

本监控项目的情况为：

采用社区为单位进行存储，每个社区最大监控路数为300路左右，总共大约10000路。

编码格式为MPEG4，分辨率为2CIF，12帧，码流不限，录像存放15天。

据此计算，每个社区需要的存储量大约为16TB－18TB。

本项目中使用我公司iSCSI磁盘阵列共计100台，目前设备运行稳定良好。

拓扑结构图：