15大规模监控视频高可靠存储方案V10.docx
《15大规模监控视频高可靠存储方案V10.docx》由会员分享，可在线阅读，更多相关《15大规模监控视频高可靠存储方案V10.docx（10页珍藏版）》请在冰豆网上搜索。
15大规模监控视频高可靠存储方案V10
大规模监控视频高可靠存储方案
2015-10
目录
1前言3
1.1大规模视频监控方案特点3
1.2大规模视频监控方案趋势之高清建设3
2视频存储需求分析4
2.1存储性能需求分析5
2.2存储容量需求分析6
2.3关键技术需求分析6
3存储网络及存储类型分析8
3.1DAS（直接访问存储）8
3.2NAS（网络附加存储）8
3.3FCSAN（光纤存储区域网络）9
3.4IPSAN（IP存储区域网络）10
3.5存储产品选型分析11
4系统方案设计12
4.1存储产品优势12
4.2存储系统设计14
1前言
随着城市化进程的不断加剧，平安城市建设规模越来越大，整个城市的点位数从以前的千级上升到万级，而随着网络视频监控技术在平安城市中的普及应用，监控视频的存储数据量也随着跨越式增长，如何稳定、高效的对这些视频数据进行存储成为了平安城市建设中不得不考虑的一个问题。
1.1大规模视频监控方案特点
根据其业务需求，大规模监控系统有如下要求：
•系统延时小实时性强
•系统可靠性高
•图像清晰，视频流畅，运动图像表现好（对于高速变化的图像，其画面质量也必需清晰），最大编码帧率必需达到25fps
•图像压缩比高
•存储可靠性高
1.2大规模视频监控方案趋势之高清建设
视频监控业务走向高清之路是必然趋势，但高清是一个系统概念，不仅前端摄像机要高清的，传输设备、存储设备、显示设备等都需要是高清的。
在这个系统链路上，任何一个环节不满足高清需求，都会造成系统缺陷，达不到整体的高清质量，故高清视频监控系统严格意义上来讲是一个系统工程。
目前高清视频系统的两大技术流派：
1、以广播行业标准演进而来的HDTV非压缩监控系统，主要是使用HD-SDI（1.485Gbit/s）高清视频信号作为高清摄像机、高清光端机、高清矩阵、高清显示设备互连的标准。
系统图像质量优异，图像无延时；此方案优点突出缺点也明显，只支持高清，不能做到高标清混合；图像存储方案需要与IP高清监控系统混合才能形成完整高清解决方案，建设投资是所有高清方案中最高的。
2、基于帧内及帧间压缩的HDTV解决方案（压缩标准主要采用H.264），也就是以网络高清摄像机、IP承载网、IP存储为典型系统组成部件的高清视频监控系统。
随着地铁线路的延长和多条线路的交汇，地铁监控有持续扩容的要求，因此对监控系统的技术开放性有较高要求，但同时对建设成本会有严格的控制。
地铁监控应用对图像质量，图像延时，系统的可靠性都有很高的要求。
图像编码H.264压缩方案需支持到MainProfile以上级别，保证活动图像细节体现。
无论系统规模多大，需要做到任意图像的编解码延时必须做到300ms以内。
车站、监控中心显示墙任意图像调度与PC终端任意图像调度时间要小于500ms。
综上，HDTV非压缩监控系统与IP高清监控系统混合建设的系统可以满足地铁需求，前者实况图像质量优质无延时，录像质量取决于编码技术，适合地铁高清建设，但建设投资高，扩容成本高，系统较复杂；IP高清监控系统使用H.264 MainProfile以上级别图像编码技术，实况、录像图像质量好，低延时，投资最低，扩容简单成本低，广泛适用于各大中城市地铁高清建设。
2视频存储需求分析
视频监控系统一般具有监控点多，摄像头数量多，监控时间长，采集数据的时间往往长达几天或几十天。
因此应用在视频监控系统中的存储设备在数据读写方式上具有与其它类型系统不同的特点，主要表现在以下几个方面：
1、编码器或采集服务器以流媒体方式写入数据，实时存储监控点的实时图像和画面，存储的文件类型为流媒体文件，因此检索服务器也会以流方式来读取已存储的视频文件。
2、数据读写操作的持续时间长。
由于摄像头一般都是7*24小时工作的，即使采集后视频数据采用分段保存，写入操作的持续也有可能长达2-6个小时，后期回放时也需要相同的时间。
为了保证视频在采集过程和回放过程不会发生丢帧现象，存储系统不仅要求有足够的带宽，还要求存储系统具有超强的长时间工作能力，保持长时间的稳定性。
3、除了数据读写时间长外，由于视频采集过程中，视频文件格式一般都不会发生变化，且码率保持恒定，因此视频监控系统的读写操作还具有码率恒定，也就是带宽恒定的特点。
4、视频监控系统存储的读写方式与数据库系统存储和文件服务器存储采用的小数据块读写或文件传输读写方式与有着根本的区别，因此视频监控系统存储在技术参数要求方面与其它应用系统有较大的区别。
5、视频监控系统一般具有摄像头数量多，视频图像存储时间长，存储容量大等特点，因此视频监控系统存储必须支持大容量，且容量具有高扩展性，满足长时间大容量视频图像存储的需求。
6、因为视频监控系统的数据量十分巨大，而且需要保留的时间不长，如果通过磁带备份方式来进行备份，数据的备份时间和恢复时间将会是一个非常漫长的过程，所以不能采用其它应用系统如银行、电信等所应用的磁带备份方式来为视频流数据提供安全保障，而需要通过存储系统的品质（可靠性、稳定性、安全性）来保证视频信息的安全。
2.1存储性能需求分析
本项目对存储性能需求有以下几个要求：
1、以流媒体方式对存储设备进行访问；
2、视频流连续同时写入；
3、满足若干个客户端并发访问；
4、视频访问带宽要求较高，并要求带宽恒定；
5、视频访问时间长，要求存储稳定性高；
2.2存储容量需求分析
视频存储容量计算工式如下：
摄像头数量（路）*码率*1小时（3600秒）*24小时（每天）*存储时间（天）=存储可用容量
2.3关键技术需求分析
1）硬盘
在硬盘类型的选择上，目前市面上常用存储硬盘有FC、SAS、SATA三种，其中FC/SAS硬盘价格非常昂贵，同样容量的FC/SAS硬盘价格会比SATA硬盘贵80%以上，且FC/SAS硬盘单碟容量最大仅为600GB，而SATA硬盘单碟最大容量则达到2TB、3TB。
考虑到视频存储的海量需求，本项目中建议采用单块3TB容量的企业级SATAII硬盘。
采用SATAII技术的硬盘推出已有很长一段时间，技术上较成熟、稳定，作为大容量存储，它具有低得多的每GB成本，同时它又具备热插拔等服务器硬盘技术。
2）Raid技术
磁盘阵列可以有效提高存储系统的性能，但也存在缺点。
那就是由于多个设备（磁盘）同时运行，导致了可靠性降低（从概率的角度来讲:
N个设备的可靠性是一个设备的1/N）。
为此，需要采用RAID技术，即通过给磁盘阵列增加冗余磁盘的方式来提高磁盘阵列的可靠性。
所谓冗余磁盘，即该磁盘不用于存放实际数据，而用来存放少许冗余信息，而这些冗余信息可用来在必要的时候进行有效数据恢复，从而增加磁盘阵列的可靠性。
目前应用较多的RAID方式是RAID0，RAID1、RAID5及RAID6。
a.RAID0
通过实现磁盘阵列存放数据条带状分布,提高了大规模数据访问的性能，但并没有冗余容错的功能。
b.RAID1
实现了数据条带状分布，同时，在数据写入一个磁盘的时候，相应情况下在另一个磁盘做相应的镜象,具有数据容错功能。
但磁盘利用率比较底，仅为50%。
RAID10磁盘利用率同样仅为50%，因此不另行分析。
c.RAID5
实现了单个磁盘冗余纠错功能，提高了磁盘有效利用率。
其校验信息并非存放在一块固定磁盘上，而是存放在不同磁盘，这样可以平衡各个磁盘的读写次数，从而平衡各个磁盘的运用频率（因为校验位的读写要相对频繁）。
综合磁盘利用率、性能和可靠性等各个因素，RAID5是目前主流的RAID技术。
对于N个硬盘，只需要用1块做冗余校验，磁盘率用率为（N-1）/N。
RAID5的读取性能很高，接近于RAID0。
但在写性能上有一定的牺牲，特别是在硬盘数量非常大的时候，因此一般RAID5组的硬盘数量应控制在5-12个。
RAID5在1个硬盘出现故障的时候，仍可以正常工作，保证数据的读写不会发生中断。
如果有2个或以上的硬盘同时出现故障，则RAID5失效，不过多个硬盘同时发生故障的机率非常低。
为了进一步增强RAID5的可靠性，一般结合全局热备盘共同使用，在出现1个硬盘故障时，立即自动的用热备盘替换故障硬盘，这样RAID5的可靠性就可以得到全面的保障。
d.RAID6
RAID6是近年出现的新RAID技术，与RAID5最大的不同就是能提供第二个校验位，可使得在2块硬盘同时出现故障时，RAID组仍能正常工作。
由于RAID6使用了更为复杂的多重校验计算，它的读写性能受到很大的影响，特别是在写数据的时候。
RAID6没有统一的技术标准，各个厂商的实现方式都不一样，目前还没有得到大规模的应用。
综合以上分析，考虑到可靠性与系统性能的平衡，建议采用Raid5技术（单个Raid组应不超过24块硬盘），并结合热备盘（即一旦磁盘阵列某块盘发生故障时，则通过校验盘向热备盘转移数据）的设置，以确保存储数据的安全性。
3存储网络及存储类型分析
网络架构主要是指存储设备与服务器或工作站之间的连接方式，数据读写方式和共享方式。
主流的存储系统网络架构有DAS、NAS、SAN三种网络架构，其中SAN网络环境中，因采用存储设备类型的不同又可以分为FCSAN（采用光纤通道存储产品）和IPSAN（采用iSCSI存储设备）。
3.1DAS（直接访问存储）
DAS是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。
DAS方式实现了机内存储到存储子系统的跨越，但是缺点依然有很多：
◆扩展性差，服务器与存储设备直接连接的方式导致出现新的应用需求时，只能为新增的服务器单独配置存储设备，造成重复投资。
◆资源利用率低，DAS方式的存储长期来看存储空间无法充分利用，存在浪费。
不同的应用服务器面对的存储数据量是不一致的，同时业务发展的状况也决定这存储数据量的变化。
因此，出现了部分应用对应的存储空间不够用，另一些却有大量的存储空间闲置。
◆可管理性差，DAS方式数据依然是分散的，不同的应用各有一套存储设备。
管理分散，无法集中。
异构化严重，DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，导致维护成本据高不下。
3.2NAS（网络附加存储）
NAS是一种文件共享服务。
拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。
NAS的优点：
◆NAS可以即插即用。
◆NAS通过TCP/IP网络连接到应用服务器，因此可以基于已有的企业网络方便连接。
◆专用的操作系统支持不同的文件系统，提供不同操作系统的文件共享。
◆经过优化的文件系统提高了文件的访问效率，也支持相应的网络协议。
即使应用服务器不再工作了，仍然可以读出数据。
NAS的缺点：
1、NAS设备与客户机通过企业网进行连接，因此数据备份或存储过程中会占用网络的带宽。
这必然会影响企业内部网络上的其他网络应用。
2、共用网络带宽成为限制NAS性能的主要问题。
3、NAS访问需要经过文件系统格式转换，所以是以文件一级来访问。
不适和Block级的应用，尤其是要求使用裸设备的数据库系统。
3.3FCSAN（光纤存储区域网络）
FCSAN由服务器，后端存储系统，FCSAN连接设备组成；
后端存储系统由FCSAN控制器和磁盘系统构成，控制器是后端存储系统的关键，它提供存储接入，数据操作及备份，数据共享、数据快照等数据安全管理，及系统管理等一系列功能。
后端存储系统为FCSAN解决方案提供了存储空间。
使用磁盘阵列和RAID策略为数据提供存储空间和安全保护措施。
连接设备包括交换机，HBA卡和各种介质的连接线。
FCSAN的优点：
◆高性能，服务器和存储设备通过专用的网络（光纤通道）连接，光纤通道网络利用率较高，不需要额外的开销，大大提高了传输效率。
就目前的情况来看，光纤通道在性能方面仍然具有很明显优势。
◆设备整合，多台服务器可以通过存储网络同时访问存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用；
◆数据集中，不同应用和服务器的数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资源利用率；
◆高扩展性，存储网络架构使得服务器可以方便的接入现有SAN环境，较好的适应应用变化的需求；
◆总体拥有成本低，存储设备的整合和数据集中管理，大大降低了重复投资率和长期管理维护成本；
3.4IPSAN（IP存储区域网络）
IPSAN中所采用iSCSI通信协议是internetSmallComputerSystemInterface的缩写，实际上是一个互联协议，是SAN结构的一种。
通过将SCSI协议封装在IP包中，使得SCSI协议能够在LAN/WAN中进行传输。
IPSAN的特点、优势
1）为存储区域网定义（SANs）。
IPSAN是SAN的一种，通过IP实现的SAN，即IPSAN.
2）支持数据库应用所需的基于块的存储。
虽然是通过IP传输，但iSCSI却是基于块的存储，这有别于NAS的基于文件的存储。
3）基于TCP/IP，iSCSI是被封装在IP包中进行传输的，所以它具有TCP/IP的所有优点，诸如可靠传输，可路由等。
4）建立和管理基于IP的存储设备，主机和客户端之间的连接是建立在广泛使用的，为大家所熟悉的开放标准上的
5）提供高级的IP路由，管理和安全工具。
现有的绝大部分网络管理工具都可以用来管理IPSAN.
IPSAN的优势
与FCSAN一样，IPSAN也属于SAN大家庭中的一员。
1）低成本
由于通过以太网进行传输，企业可以利用现有的以太网设施来部署iSCSI存储网络，而不需要更改企业的网络体系，所以他的部署成本比较低。
由于对以太网的熟悉程度都比较高，所以培训和维护管理的费用也大大降低。
2）协议本身没有距离限制
由于使用TCP/IP进行传输，他不但可以在局域网中进行部署，也可以跨过路由设备在广域网中进行部署，大大扩展了iSCSI存储网络的部署范围。
灵活的拓扑结构：
iSCSI不但可以在局域网内部署，还可以在广域网内部署，拓扑结构非常灵活。
3）易于使用
即使是多个厂家的设备：
iSCSI结构简单，容易理解，协议通用，不同厂家的产品可以有机的结合起来共同使用，极大地保护了企业的投资。
4）易于扩展
由于iSCSI存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的企业用户来说，只需要增加存储设备就可完全满足，因此，iSCSI存储系统的可扩展性高。
3.5存储产品选型分析
综合以上存储类型分析，总结如下：
1、DAS由于资源利用率低、扩展性能差等因素，目前较少采用。
2、SAN存储架构从根本上解决了信息孤岛问题，是目前存储解决方案的主流趋势。
其中FC-SAN多应用于对效率和性能要求较高的核心业务系统，IP-SAN由于其灵活的可维护性和较高的性价比，更适合中小规模企业和大容量视频流媒体应用。
根据创新科多年来在监控行业的经验及本项目的需求特点，我们建议采用IPSAN解决方案，来实现整个项目的视频数据集中存储。
4系统方案设计
4.1存储产品优势
针对本项目对具体视频存储需求，结合监控系统的应用特点，我们推荐用户采用IPSAN磁盘阵列，构建IPSAN存储网络，以满足用户的视频数据存储需求，我们推荐采用互信互通的HXstor3000G2作为核心存储设备。
选用互信互通的HXstor3000G2构建IPSAN存储的优点有：
互信互通HXstor3000G2统一存储产品以Intel高性能存储处理器为动力，为用户提供低成本、高性能的网络存储系统，借助绿色节能、缓存数据永久保护、向导式配置管理等多项创新技术，全面保障用户业务连续性，实现最高性能和最低运营管理成本。
互信互通HXstor3000G2统一存储产品全面适用于监控、政府、制造、电力、医疗、交通物流、批发零售、教育等行业。
灵活的统一架构
HXstor3000G2系列产品基于统一存储理念，采用SBB2.0架构设计，可支持SAS、近线SAS、SATA磁盘及SSD固态磁盘，具备极佳的扩展能力。
强大处理能力
HXstor3000G2系列产品采用业界领先的Intel高性能存储处理器、PCI-e系统总线、1GbiSCSI、8GbFC、10GbiSCSI等高速传输技术并配合64位的操作系统，全面提升系统处理能力。
创新的应用优化
ASST（ActiveStreamingStabilizeTechnology）主动数据流稳定技术，可平滑过渡视频数据流的峰值或波谷，优化存储与主机之间的数据传输单元，提供高速且稳定的传输性能。
OKTT（OneKeyTurningTechnology）一键快速性能优化功能，包含多种针对于不同应用的优化模型，例如工作站应用、文件服务器、视频服务、数据库等，让用户轻松实现性能优化配置。
绿色节能
HXstor3000G2系列产品支持MAID2.0（MassiveArraysofIdleDisks）技术，可为用户平均省电30％，减少磁盘存取的频繁度，有效延长磁盘使用寿命。
企业级高可用
HXstor3000G2系列产品采用模块化全冗余的硬件设计；缓存数据永久保护技术、链路冗余技术，最大程度保证业务连续性。
集中管理与监控
HXstor3000G2的存储系统管理软件USM采用直观的GUI系统管理窗口，提供可视化的配置、日志、报警管理，UniCM功能可集中监控和管理来自任何网络位置的HXstor3000G2存储系统，有效减少用户存储系统管理成本和人力投入。
4.2存储系统设计
图：
视频监控集中存储方案网络图
前端视频图像经过视频编码器进行数字编码压缩后上传的视频流，分别接入到各视频管理服务器，由视频管理服务器写入到IPSAN存储设备，实现大容量视频图像的分布式录像存储功能，并采用统一数字化网络视频管理平台及其配套软件，可在授权范围内实现对网内任意视频录像进行调用、显示、回放、转储备份等功能。
由于服务器和存储通过千兆以太网交换机连接，组成IPSAN存储网络，服务器到存储均采用IP接口，存储支持统一管理功能，在一个WEB管理界面里，可实现对网内的多套存储集中管理。
升级会员 