海康威视视频云存储解决处理方案报告.docx
《海康威视视频云存储解决处理方案报告.docx》由会员分享，可在线阅读，更多相关《海康威视视频云存储解决处理方案报告.docx（92页珍藏版）》请在冰豆网上搜索。
海康威视视频云存储解决处理方案报告
海康威视视频云存储解决方案
正文目录
表格目录
图片目录
第一章概述
一.1系统简介
随着视频监控系统规模越来越大，以及高清视频的大规模应用，视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。
在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。
面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。
而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。
云存储是在云计算（cloudcomputing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
所以云存储可以认为是配置了大容量存储设备的一个云计算系统。
依据云存储的技术及功能特点，海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求，量身设计了一套海康威视视频云存储系统（以下文章中称为海康威视视频云存储）。
一.2设计原则
视频云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼容性”等方面的原则。
1）采用前瞻性的存储技术架构
采用以云存储为核心的IT技术与安防监控行业特点进行结合，进而针对性开发出具有行业属性的先进视频、图片专有云存储系统。
将云存储核心技术如集群化部署、资源虚拟化整合、分布式流数据存储等技术应用到本套云存储系统中。
同时充分考虑安防监控行业的发展需要，该套云存储系统需要能够支撑未来大数据处理、智能分析处理等云计算技术的需要，实现云存储系统在安防监控领域的先进性和前瞻性。
2）专注与应用结合的设计方式
本套云存储系统是针对安防监控行业内视频数据、图片数据存储而设计的，对视频数据的具体业务应用进行详细的应用分析后，从系统底层的流数据结构的设计一直到上层的应用调度策略设计都必须站在应用的角度考虑存储。
云存储系统需要明确自己作为应用的支撑这一深层次的角色定位，而不能再停留在传统存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。
因此专注于视频和图片的应用是本套视频云存储系统的重要设计原则。
3）提供开放和兼容的系统环境
云存储系统的开放性和兼容性是需要考虑的重要原则，本套云存储系统要成为业内领先的专业存储系统，就必须要考虑到与标准应用平台的无缝对接和第三方标准存储设备的兼容性问题。
本套云存储系统需要对应用平台提供统一的接口，可在不同的行业中与其应用平台进行良好的互动，对用户的应用提供优秀的数据保障。
同时对于第三方标准存储设备，云存储系统应该做到良好的兼容性，以保护用户的前期投入提供一个开放、公平的系统环境。
一.3设计目标
海康威视视频云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的满足用户需求；其二是为用户应用数据提供高效、稳定、快速的服务；其三是系统可以实现便捷、可靠的统一管理及运维。
1）数据存储
海康威视视频云存储系统实现百PB级的海量存储，突破传统的SAN或NAS在容量和性能的扩展上存在的瓶颈，实现性能与容量的线性扩展，满足用户对高性能、高可用性的需求。
视频云存储系统通过集群智能化部署设计，不同于传统视频存储的部署模式，系统性能全面提升，而且不再存在单机故障及性能瓶颈应用，从而实现高效实用的存储系统。
2）应用服务
海康威视视频云存储系统是一套贴合用户需求而设计视频云存储系统，其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠的专业级存储服务。
3）统一管理及运维
视频云存储系统具有高效灵活的空间管理能力，通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，提高了系统的整体性能。
视频云存储系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协议与运维服务器进行数据交互，能够非常便捷的实现系统整体运维。
一.4术语及缩略语解释
一.4.1术语解释
云存储：
是与云计算同时兴起的一个概念。
云存储一般包含两个含义：
1）云存储是云计算的存储部分，即虚拟化的、易于扩展的存储资源池。
用户通过云计算使用存储资源池，但不是所有的云计算的存储部分都是可以分离的。
2）云存储意味着存储可以作为一种服务，通过网络提供给用户，用户可以通过若干种方式来使用存储。
云计算：
（CloudComputing）是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。
双机热备（双机容错）：
就是对于重要的服务，使用两台服务器，互相备份，共同执行同一服务。
当一台服务器出现故障时，可以由另一台服务器承担服务任务，从而在不需要人工干预的情况下，自动保证系统能持续提供服务。
集群（cluster）技术：
是一种较新的技术,通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。
虚拟化：
是指计算元件在虚拟的基础上而不是真实的基础上运行，是一种多设备虚拟整合、虚拟应用的技术；是一种简化了管理，优化资源的解决方案。
负载均衡：
一种分布式计算机处理技术，用来平衡电脑各部件或大型电脑、服务器各主机的资源使用率。
I帧：
表示关键帧，可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成。
H.264：
是MPEG-4标准所定义的最新，同时也是技术含量最高、代表最新技术水平的视频编码格式之一，H.264最具价值的部分无疑是更高的数据压缩比。
720P：
是美国电影电视工程师协会（SMPTE）制定的高等级高清数字电视的格式标准，有效显示格式为1280×720，P是Progressive,逐行的意思。
1080P：
是美国电影电视工程师协会（SMPTE）制定的高等级高清数字电视的格式标准，有效显示格式为1920×1080，P是Progressive,逐行的意思。
一.4.2英文/缩略语解释
A
AFP：
Apple公司开发的文件协议
API（ApplicationProgrammingInterface），称为应用编程接口，就是软件系统不同组成部分衔接的约定。
软件的规模日益庞大，常常会需要把复杂的系统划分成小的组成部分，编程接口的设计十分重要。
ASSN（AsynchronousStorageServiceNode）第三方存储服务节点
ASS（AsynchronousStorageService）异构存储软件
C
CIFS（CommonInternetFileSystem）通用Internet文件系统在windows主机之间进行网络文件共享，是通过使用微软公司自己的CIFS服务实现的。
CVMN（CloudVideoManageNode）视频云存储管理节点
CVSN（CloudVideoStorageNode）视频云存储节点
CVM（CloudVideoManage）视频云存储管理软件
CVN（CloudVideoNet-Snmp）视频云存储运维软件
CVS（CloudVideoStorage）视频云存储软件
CVA（CloudVideoAccess）视频云存储接入软件
F
FC协议（FibreChannel）提高硬盘协议的传输带宽，侧重于数据的快速、高效、可靠传输，FC光纤通道拥有自己的协议层。
FCSAN网络介质为光纤通道，把服务器与存储设备连接起来的存储技术。
FTP（FileTransferProtocol）文件传输协议，使得主机间可以共享文件。
G
GUI（GraphicalUserInterface图形用户接口）是指采用图形方式显示的计算机操作用户界面。
H
Hot-Spare，当一个正在使用的磁盘发生故障后，一个空闲、加电并待机的磁盘将马上代替此故障盘，此方法就是热备。
HTTP（Hypertexttransferprotocol超文本传输协议）是一种详细规定了浏览器和万维网服务器之间互相通信的规则。
I
IO（Input/Output）输入/输出。
IP（InternetProtocol网络之间互连的协议）中文简称为“网协”，就是为计算机网络相互连接进行通信而设计的协议。
IPC（IPCamera）网络摄像机名称缩写。
IPSAN：
是在传统IP以太网上架构一个SAN存储网络把服务器与存储设备连接起来的存储技术。
IPSAN其实在FCSAN的基础上再进一步，它把SCSI协议完全封装在IP协议之中即iSCSI协议。
iSCSI是一种由IBM公司研究开发的，是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集。
J
JPEG（JointPhotographicExpertsGroup联合图像专家小组）图像压缩标准。
M
Mibs网络中所有可能的被管理对象的集合的数据结构。
N
NAS（NetworkStorageTechnologies）基于标准网络协议实现数据传输。
NFS（NetworkFileSystem）即网络文件系统.网络文件系统允许一个系统在网络上与他人共享目录和文件。
P
PB数据单位，1PB=1,024TB=1,048,576GB
R
Raid（RedundantArraysofIndependentDisks），中文为独立冗余磁盘阵列。
RTSP（RealTimeStreamingProtocol）实时流传输协议，是TCP/IP协议体系中的一个应用层协议。
S
SAN（StorageAreaNetwork）集中式管理的高速存储网络，由多供应商存储系统、存储管理软件、应用程序服务器和网络硬件组成。
SAS是新一代的SCSI技术，和现在流行的SerialATA（SATA）硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。
SNMP（SimpleNetworkManagementProtocol）简单网络管理协议，它是一个标准的用于管理IP网络上结点的协议。
SSD（SolidStateDrives）固态硬盘简称固盘，简单的说就是用固态电子存储芯片阵列而制成的硬盘。
T
Trap广义的trap即snmptrap，指被管理设备（代理）上报的陷阱报文，表明设备发生故障或变更的主动通知。
TB数据单位，1TB=1,024GB=1,048,576MB
TCP（TransmissionControlProtocol）传输控制协议，是一种面向连接、可靠的、基于字节流的运输层（Transportlaye）通信协议。
U
UDP（UserDataProtocol）用户数据报协议是与TCP相对应的协议，它是面向非连接的协议，它不与对方建立连接，而是直接就把数据包发送过去。
URL（UniformResourceLocator）称为网页地址，是因特网上标准的资源的地址。
W
WEB广泛译作网络、互联网等技术领域。
WebService是一种服务导向架构的技术,通过标准的Web协议提供服务,目的是保证不同平台的应用服务可以互操作。
第二章总体设计
海康威视视频云存储系统是由海康威视自主研发的一套针对安防监控行业应用的专业级云存储系统。
采用软硬件一体化设计，结合先进的集群化技术、虚拟化技术、离散存储技术等，通过流式文件系统对存储资源进行虚拟化和应用化整合，为用户提供高性能、高稳定、高扩展性的数据存储服务。
二.1需求说明
二.1.1功能性需求说明
1）视频功能
Ø要求视频存储系统具备7×24小时大码流视频录像、快速检索、回放和管理的功能，同时，对于视频的回放，须有相应的优化，比如I帧序列回放等。
Ø检索要求支持对录像按照多种方式检索，如按照类型、标签、时间段等方式。
Ø回放要求按照类型、时间、I帧、正序、倒序、倍数等方式进行回放。
Ø管理要求支持删除、锁定、标注、循环覆盖（时间、空间）等方式进行管理。
2）图片功能
Ø要求视频存储系统支持图片的高速写入、并发下载、图片压缩、锁定、删除等功能。
Ø下载要求支持按时间段和URL的方式获取图片。
Ø图片压缩要求能支持按照图片尺寸、大小进行压缩。
Ø提供图片直存和非直存两种解决方案，丰富图片存储的多选性。
3）运维管理功能
要求支持对系统的运行状态、存储使用情况进行监控，以及对软硬件异常状态报警，便于用户处理。
4）系统管理功能
Ø要求统一服务接口，系统提供的统一的服务接口便于与应用平台进行对接。
Ø要求提供统一的管理界面，通过管理界面能进行存储设备和资源的配置。
二.1.2非功能性需求说明
1）可靠性需求
采用视频云存储技术，将网络中大量各种不同类型的存储设备通过应用软件整合起来协同工作，共同对外提供视频数据存储和业务访问。
保证单个节点失效时，系统能够通过自动负载将业务调整到其他设备上以满足用户业务的持续性；并且需要能够提供数据的迁移备份，在设备故障无法快速修复时依然能够支持数据的正常读取来满足业务应用的需要。
2）稳定性需求
随着容量和存储设备的增加，如何保证海量数据存储的安全性和可靠性是传统视频存储面临的巨大挑战，要求存储系统具备7×24小时的不间断写入的能力。
在系统运行的过程中，运行压力的持续或加大系统能够通过集群技术、虚拟化技术动态自动调整业务压力，将业务响应的压力进行分散来减少单点压力过大。
3）扩展性需求
云存储系统的建设在不同的阶段可能会有不同的容量要求。
随着项目的不断扩大、应用的不断加强，容量将会不断扩大。
那么云存储系统需要能够提供动态扩展功能，要求对在线系统增加、减少设备时业务不中断。
设备一旦融入云存储系统后立即可用作为整体存储资源的一部分进行调用，在扩展存储设备时要求能够支持对接标准第三方存储设备。
另外对于系统的扩展性，在动态调整具体监控区域的存储资源时要求能够做到良好的灵活性，即不但能够增加存储资源的配给，也能够减少存储资源的配给工作，充分体现出良好的扩展性。
4）可用性需求
云存储系统需要提高良好的可用性，将复杂的应用、繁琐的操作流程简单化。
对用户而言只需要使用唯一的IP地址就能够访问和管理云存储系统。
用户在唯一的界面上就能够准确并安全地进行配置、部署、监控整套云存储系统，能够为用户对设备状态、资源、报警、升级、扩展，维护方面提供便捷。
5）性能需求
要求系统提供线性递增的性能属性，容量越大性能越强；同时提供并发响应机制，加快数据业务的处理能力。
二.2技术路线
海康威视视频云存储系统基于云架构进行开发，采用面向用户业务应用的设计思路，融合集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。
在视频云存储系统的设计中，采用的核心技术如下：
1）采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。
2）采用集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。
3）采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。
4）采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。
5）采用开放的集成构架，使其可兼容业界各类iSCSI/FC存储设备，保护用户现有存储投资资源。
6）采用数据备份和容灾技术，保证云存储中的数据不丢失，确证云存储服务的安全稳定。
7）采用视频、图片的全直存技术方案，保证项目整体的成本控制，优化存储系统流程。
二.3逻辑架构
云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。
图1.云存储逻辑架构图
1）设备层
设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。
在系统组成中，存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。
2）存储层
在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的高效的写入、读取和调用等服务。
3）管理层
在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。
可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理，实现上层服务（视频录像、回放、查询、智能分析数据请求等）的响应。
4）接口层
应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为WebService接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。
实现和行业专属平台、运维平台的对接；实现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作；实现关键视频数据的远程容灾；实现设备以及服务的监控和运维等。
5）应用层
从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在海康威视视频云存储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高海康威视视频云存储系统的针对性。
可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接，实现与云存储系统之间的数据以及信令的交互。
行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。
运维平台采用标准的SNMP协议实现并提供Mibs接口，对云存储系统以及服务进行监控管理，及时将产生的告警传递给用户。
将智能分析平台可与云存储系统进行对接，实现基础数据的读取，以及经过存储的二次分析后的片段信息，文本信息写入和检索。
二.4系统特点
海康威视视频云存储系统通过全集群化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。
对于面向视频、图片等监控行业无疑是一套非常优秀的云存储系统。
二.4.1高效灵活的空间管理
海康威视视频云存储系统具有高效灵活的空间管理能力。
为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。
1）存储资源的虚拟化
对存储空间的管理方面海康威视视频云存储系统将全域各存储节点的资源进行虚拟化后，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。
存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。
2）存储资源的在线扩展
当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时，海康威视视频云存储系统能为用户提供十分便易的操作。
用户只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；同时，在整个存储资源的扩展过程中，视频云存储系统的录像业务正常运行，保障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在线扩展。
云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性能的线性增长，从而提供了无限制的容量增长能力。
3）虚拟空间的灵活使用
用户对存储资源池的使用完全可以做到随心所欲，可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配，分配后的存储资源称为录像池。
录像池的划分采用灵活策略方式，对于已经分配好的并在线运行的录像池策略依然能够进行调整。
调整方式非常灵活，不但能够做到将录像池进行扩大，同时也能非常灵活的支持将录像池进行缩小，而这点在传统存储中则非常困难。
二.4.2海量数据的快速检索
海康威视视频云存储系统管理着百PB级的存储容量空间，但是依然能够具备高效、准确、快速的数据检索能力。
1）一体化索引设计
海康威视视频云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。
所有与用户业务相关的索引信息统一由海康威视视频云存储系统的视频云存储管理节点或者集群进行管理。
视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、筛选进行了全面的优化，大大的提高了查找速度。
在规模不断扩大时性能几乎相同，均能做到毫秒级耗时。
2）深化的应用设计
海康威视视频云存储系统本着视频云存储系统的特有性，在视频、图片的某些专有信息上也进行了独特的设计。
可以支持快速的对I帧定位并直接读取I帧信息，避免了传统存储在I帧数据获取时反复读取视频数据再分析呈现的过程。
该项设计使得海康威视视频云存储系统在数据存储索引设计与用户应用更紧密地进行了融合，使得海康威视视频云存储系统能够为用户提供更为高效的海量数据的快速检索能力。
二.4.3持续可靠的数据服务
海康威视视频云存储系统为用户能够提供7X24小时不间断高效可持续的数据服务，充分保护数据安全和可靠性。
1）集群化管理节点设计
海康威视视频云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系统级的存储性能和可靠性。
通过视频云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上，不但能够使系统整体性能提升，还可以使得单台节点的压力下降。
通过这种方式单台视频云存储管理节点的系统消耗更小，也就使得使用寿命更长，可能出现故障的概率降低。
即使视频云存储管理集群中部分（一台或多台）节点出现故障，也不会影响到视频云存储系统的服务，因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作，继续为视频云存储系统提供管理服务。
2）持续并发业务存取
在数据存储层面同样由于视频云存储节点也采用的集群化部署，所有的存储资源是采用虚拟化的方式由系统统一进行管理的。
在数据存储时海康威视视频云存储系统采用离散存储算法，可以为用户提供系统级分散存储服务。
支持将同一IPC提供的数据流按照分片的方式分布式存储在不同视频云存储节点上。
这样即使单台或多台存储节点出现故障该IPC的录像数据仍然可用。
在存储节点内运行管理和业务软件也可用对数据进行合理分配，同时高效的Raid技术在设备层面也能保证数据的高安全和可靠性。
3）高可靠的录像功能
海康威视视频云存储系统在存储节点上内置视频云接入软件，所提供的录像服务和流媒体服务也是由视频云存储管理节点统一进行调度的，每套视频云接入软件负责一部分前端的录像工作。
当这台节点宕机时视频云存储管理集群会根据当前资源情况按照负载均衡策略将这部分录像任务重新进行分配，保证业务的不中断。
二.4.4高可扩展的应用支撑
升级会员 