交通视频云存储解决方案.docx

1、交通视频云存储解决方案交通视频云存储解决方案第 一 章 概述一.1 系统简介随着交通监控系统规模越来越大，以及高清视频监控系统、高清卡口系统及卡口型电子警察系统的大规模应用，需要存储的数据和应用的复杂程度在不断提高，且视频数据和图片数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的交警监控系统中，视频监控点和电警卡口车道数会达到几千路的规模，视频视频和图片的存储容量将达到PB级别，对海量数据提供快速存储及检索技术，显得尤为重要，存储系统正在成为交通监控技术未来发展的决定性因素。面对PB级的海量存储需求，传统的SAN或NAS在容量和

2、性能的扩展上会存在瓶颈。云存储可以突破这些性能瓶颈，并且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。 依据云存储的技术及功能特点，海康威视公司专门针对大容量视频数据和图片数据的存储和管理以及满足监控领域特殊的应用需求，量身设计了一套海康威

3、视交通智能云存储系统（以简称为交通云存储系统）。一.2 设计目标交通云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的满足用户需求；其二是为用户应用数据提供高效、稳定、快速的服务；其三是系统可以实现便捷、可靠的统一管理及运维。1）数据存储交通云存储系统实现PB级的海量存储，突破传统的SAN或NAS在容量和性能的扩展上存在的瓶颈，实现性能与容量的线性扩展，满足用户对高性能、高可用性的需求。交通云存储系统通过集群智能化部署设计，不同于传统存储的部署模式，系统性能全面提升，而且不再存在单机故障及性能瓶颈应用，从而实现高效实用的存储系统。2）应用服务交通云存储系统是一套贴合用户需求而设计

4、的云存储系统，其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠的专业级存储服务。3）统一管理及运维交通云存储系统具有高效灵活的空间管理能力，通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，提高了系统的整体性能。交通云存储系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协议与运维服务器进行数据交互，能够非常便捷的实现系统整体运维。一.3 设计原则交通云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼容性”等方面的原则。1）采用前瞻性的存储技术架构采用以云存储为核心的IT技

5、术与交通行业特点进行结合，进而针对性开发出具有行业属性的先进视频、图片混合的专有交通云存储系统。将云存储核心技术如集群化部署、资源虚拟化整合、分布式流数据存储等技术应用到交通云存储系统中。同时充分考虑交通监控行业的发展需要，本系统能够支撑未来大数据处理、智能分析处理等云计算技术的需要，实现云存储系统在交通监控领域的先进性和前瞻性。2）专注与应用结合的设计方式本套云存储系统是针对交通行业内视频数据、图片数据存储而设计的，对数据的具体业务应用进行详细的应用分析后，从系统底层的流数据结构的设计一直到上层的应用调度策略设计都是站在应用的角度考虑存储。云存储系统应该定位于作为应用的支撑，而不能再停留在传

6、统存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。因此专注于视频和图片的应用是本套交通云存储系统的重要设计原则。3）提供开放和兼容的系统环境云存储系统的开放性和兼容性是需要考虑的重要原则，本套交通云存储系统充分考虑了与第三方标准存储设备的兼容性问题。对于第三方标准存储设备，交通云存储系统能够做到良好的兼容性，以保护用户的前期投入提供一个开放、公平的系统环境。第 二 章 总体设计交通云存储系统是由海康威视自主研发的一套针对安防监控行业应用的专业级云存储系统。采用软硬件一体化设计，结合先进的集群化技术、虚拟化技术、离散存储技术等，通过流式文件系统对存储资源进行虚拟化和应用化整合，为用户提

7、供高性能、高稳定、高扩展性的数据存储服务。二.1 逻辑架构交通云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。图1. 云存储逻辑架构图1）设备层设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。在系统组成中，存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。2）存储层在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的

8、高效的写入、读取和调用等服务。3）管理层在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理，实现上层服务（视频录像、回放、查询、智能分析数据请求等）的响应。4）接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为Web Service接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现和行业专属平台、运维平台的对

9、接；实现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作；实现关键视频数据的远程容灾；实现设备以及服务的监控和运维等。5）应用层应用层包括交通综合管控平台、运维平台等应用平台，应用平台通过相应的接口与交通云存储系统对接，实现与交通云存储系统之间的数据以及信令的交互。交通综合管控平台可与交通云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。运维平台采用标准的SNMP协议实现并提供Mibs 接口，对交通云存储系统以及服务进行监控管理，及时将产生的告警传递给用户。二.2 技术路线交通云存储系统基于

10、云架构进行开发，采用面向交通用户业务应用的设计思路，融合集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。在交通云存储系统的设计中，采用的核心技术如下：1）采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。2）采用集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。3）采用离散存储技术，保障了用户高效

11、的读写的同时保证了业务的持续性。4）采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。5）采用开放的集成构架，使其可兼容业界各类iSCSI/FC存储设备，保护用户现有存储投资资源。6）采用数据备份和容灾技术，保证云存储中的数据不丢失，确证云存储服务的安全稳定。7）可采用视频、图片的全直存技术方案（需要前端支持），保证项目整体的成本控制，优化存储系统流程。二.3 系统特点交通云存储系统通过全集群化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、图片等监控

12、行业无疑是一套非常优秀的云存储系统。二.3.1 高效灵活的空间管理交通云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。1）存储资源的虚拟化对存储空间的管理方面交通云存储系统将全域各存储节点的资源进行虚拟化后，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。2）存储资源的在线扩展当存储资源无法满足用户的容

13、量需求，需要进行存储资源的扩展时，交通云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；同时，在整个存储资源的扩展过程中，交通云存储系统的录像业务正常运行，保障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在线扩展。云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性能的线性增长，从而提供了无限制的容量增长能力。3）虚拟空间的灵活使用用户对存储资源池的使用完全可以做到随心所欲，可以按照监控系统的需要和监

14、控区域的容量大小将存储资源池的存储资源进行分配，分配后的存储资源称为录像池。录像池的划分采用灵活策略方式，对于已经分配好的并在线运行的录像池策略依然能够进行调整。调整方式非常灵活，不但能够做到将录像池进行扩大，同时也能非常灵活的支持将录像池进行缩小，而这点在传统存储中则非常困难。二.3.2 海量数据的快速检索 交通云存储系统在管理着PB级的存储容量空间时，依然能够具备高效、准确、快速的数据检索能力。1）一体化索引设计 交通云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。所有与用户业务相关的索引信息统一由交通云存储系统的视频云存储管理节点或者集群进行管理。视频云存储管理集群在对索引的一体

15、化设计上将海量数据索引查找、筛选进行了全面的优化，大大的提高了查找速度。在规模不断扩大时性能几乎相同，均能做到毫秒级耗时。2）深化的应用设计 交通云存储系统本着交通云存储系统的特有性，在视频、图片的某些专有信息上也进行了独特的设计。可以支持快速的对I帧定位并直接读取I帧信息，避免了传统存储在I帧数据获取时反复读取视频数据再分析呈现的过程。该项设计使得交通云存储系统在数据存储索引设计与用户应用更紧密地进行了融合，使得交通云存储系统能够为用户提供更为高效的海量数据的快速检索能力。二.3.3 持续可靠的数据服务交通云存储系统为用户能够提供7X24小时不间断高效可持续的数据服务，充分保护数据安全和可靠

16、性。1）集群化管理节点设计交通云存储系统在管理层面通过部署集群化交通云存储管理节点向用户提供系统级的存储性能和可靠性。通过交通云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上，不但能够使系统整体性能提升，还可以使得单台节点的压力下降。通过这种方式单台视频云存储管理节点的系统消耗更小，也就使得使用寿命更长，可能出现故障的概率降低。即使交通云存储管理集群中部分（一台或多台）节点出现故障，也不会影响到交通云存储系统的服务，因为在交通云存储管理集群中的其他节点会主动接过故障节点的工作，继续为交通云存储系统提供管理服务。2）持续并发业务存取在数据存储层面同样由

17、于交通云存储节点也采用的集群化部署，所有的存储资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时交通云存储系统采用离散存储算法，可以为用户提供系统级分散存储服务。支持将同一IPC提供的数据流按照分片的方式分布式存储在不同交通云存储节点上。这样即使单台或多台存储节点出现故障该IPC的录像数据仍然可用。在存储节点内运行管理和业务软件也可用对数据进行合理分配，同时高效的 Raid技术在设备层面也能保证数据的高安全和可靠性。3）高可靠的录像功能交通云存储系统在存储节点上内置视频云接入软件，所提供的录像服务和流媒体服务也是由交通云存储管理节点统一进行调度的，每套视频云接入软件负责一部分前端的录像工

18、作。当这台节点宕机时交通云存储管理集群会根据当前资源情况按照负载均衡策略将这部分录像任务重新进行分配，保证业务的不中断。二.3.4 高可扩展的应用支撑交通云存储系统是一套为视频、图片等监控行业而设计交通云存储系统。其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠、的专业级存储服务。1）数据应用性能支撑由于视频数据具有持续时间长、数据量大等特点，在存储和读取上对存储设备的压力会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储/读取慢、前端支持路数底的瓶颈。而交通云存储系统就能够很好的解决这些问题。2）流数据存储结构设计交通云存储

19、系统的集群化、分布式设计使得系统的性能有很大的提升，能够并发服务以满足视频数据的高速读取需求。交通云存储系统的流数据结构系统也是专门为视频、图片数据而设计，能够合理将整段数据进行划分。这样设计的优点是满足视频数据的持续写入。对于划分的粒度，通过海康威视多年视频监控行业的服务经验，同时配合对大数据服务的扩展需要，以及考虑到后期数据读取和应用的频率而进行的专业调整。在具体存储空间的分配上海康威视交通云存储也是自有知识产权的设计，摒弃传统存储的分配方式而为视频、图片数据而特别设计的。3）高扩展性应用设计视频录像的应用方面海康威视交通云存储也进行了充分的考虑。如支持对I帧的快速定位、对录像标注、修改、

20、对存储周期采用时间和存储容量双轴线覆盖策略等。海康威视交通云存储这些专业化设计使得用户在应用过程中不再需要平台分析服务器采用反复读取完整录像后再进行分析而得出结论的方式。这样大大优化了应用的服务质量，使得监控系统的服务也更加专业、有效。同时为有云计算需求的用户提供了优质的数据基础。二.3.5 开放透明的兼容系统交通云存储系统的设计理念就是通过云的概念将所有不同类型的应用、业务接口全部封闭在云内，为上层业务和用户提供统一的、透明的、可调用的系统级存储资源。1）统一开发平台接口云存储系统在软件接口设计上采用API的模式对内部所有处理模块进行筛选，将对业务有决定性的模块按照接口的模式进行统一封装，提

21、供给上层业务进行调用，这样云存储系统内部实现对上层业务就不再重要，上层业务只用调用云存储系统提供的统一接口即可，大大的优化了上层业务的代码结构、简化了操作步骤，也将应用的效率和性能进行了大幅提高。2）标准第三方设备接入交通云存储系统采用的是标准的设备兼容模式，支持标准IP SAN、FC SAN存储设备的接入。交通云存储系统通过部署第三方存储服务节点的方式，将用户环境中现有或者需要使用的标准第三方存储设备统一进行管理。第三方存储设备接入到交通云存储系统后，由交通云存储管理集群统一进行管理，第三方存储设备的资源也纳入到虚拟池内进行管理。用户在使用上并不会感受到差别，真正实现透明、统一、兼容的交通云

22、存储系统。二.4 应用场景交通云存储系统解决方案作为交通行业监控整体方案中的存储技术部分，支持纯视频云存储场景、纯图片云存储场景、视频与图片混合类云存储场景，本方案针对视频与图片混合类云存储场景进行设计。视频与图片混合云存储场景支持一套云存储能同时满足视频和图片数据的存储要求，并综合视频和图片的在云存储系统中的存储优势，将复杂的业务存储场景简单化，向用户提供一体化的存储解决方案。对于视频数据流采用直写方式存储到存储磁盘阵列上；对于图片数据流需要通过平台接入服务器转发到存储磁盘阵列，当前端设备支持图片直存时，可以采用图片直存云存储方案，可节省接入服务器，在提高存储系统的效率和可靠性的同时，可以节

23、省项目的整体成本。二.5 系统软硬件设计二.5.1 软件设计交通云存储系统主要由以下软件组成：交通云存储管理软件（CVM），交通云存储存储软件（CVS），交通云存储接入软件（CVA）和交通云存储异构软件（ASS）。二.5.1.1 交通云存储管理软件CVM交通云存储管理软件CVM（Cloud Video Manage）是交通云存储系统中的管理模块，主要功能包括交通云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。软件包含六大功能模块，分别为：索引管理模块、调度管理模块、集群管理模块、计划管理模块、资源管理模块、辅助管理模块，整体软件架构如下图所示：图2. CVM软件架构1）索引

24、管理模块索引管理模块集群化管理集群中的全部管理节点，能并发响应用户的检索、插入、修改和删除操作情况，提供一体化、高并发、快响应的索引服务。同时，索引管理模块提供视频索引、图片索引、标注索引服务，支持以通道号、时间段、录像类型和锁定状态为条件的视频和图片信息检索服务，也提供统一资源定位符（URL）形式的WEB访问图片方式，支持以通道号和时间段为条件插入、修改、删除和检索标注的功能，以及根据标注关键字检索视频的特色功能。2）调度管理模块调度管理模块根据集群中设备的负载状况灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法，提供资源分配调度、分散策略调

25、度、循环覆盖调度、录像计划调度等服务。3）集群管理模块集群管理模块统一管理集群中分布式设备节点，包括管理节点和存储节点。它负责管理节点之间关键信息的实时同步，保证集群中不同管理节点信息的一致性，无差异化的对外提供服务。同时也负责管理存储节点，将存储节点加入到集群中作为存储资源的一部分，集群管理模块维护集群中设备节点的实时状态信息，对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。4）计划管理模块计划管理模块负责负责录像计划的管理、下发、切换，保存外部平台下发的录像计划，调度系统中的录像计划并执行录像计划，当接入服务器异常时负责动态切换录像计划到其它接入服务器。 5）资源管理模块资源

26、管理模块负责对集群中所有存储设备的存储空间进行统一管理，根据入网存储设备上报的资源信息计算出集群存储总容量和空闲容量，负责创建、删除录像池，为存储业务分配合适的存储资源。同时能动态的调整录像池的大小，弹性的对录像池进行扩容或者缩减，将集群存储空间切分成细小独立的存储单元，再根据用户需要将很多个存储单元有机组合后虚拟化成录像池对外提供存储服务。6）辅助管理模块辅助管理模块包含日志管理、运维管理、数据迁移等功能，日志管理为其他模块提供日志打印服务，对外具备日志查询和日志文件下载功能，包含调试日志、事件提示日志、错误日志、告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口，供运维平台获取管

27、理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本交通云存储系统中保存的功能。二.5.1.2 交通云存储存储软件CVS交通云存储存储软件CVS（Cloud Video Storage）是交通云存储系统中的存储模块。CVS集成在交通云存储节点（CVSN）上，在每一台海量数据存储设备上都必须装载该软件模块。交通云存储存储软件（CVS）接受交通云存储管理软件（CVM）的管理，从交通云存储接入软件（CVA）接收海量视频，高效无误的存放在本机的Raid或iSCSI设备中，方便用户通过CVA进行查询。交通云存储管理软件（CVM）会均衡分配多台交通云存储存储软件（CVS）的业务负载量，使整个系统

28、的读写性能达到最佳。交通云存储存储软件按照功能模块化设计，整体软件架构如下图所示：图3. CVS软件架构1）通信模块本模块主要是负责和CVA及CVM进行数据信息的交互，采用多线程并发接收和发送数据的方式，高效完成跨机器的数据交互。2）运维管理本模块主要是负责和运维进行交互，采集系统数据及程序运行数据，并按照特定协议格式发送给运维系统，方便平台对整个云存储系统运行状态进行实时监控，如有问题出现，可以及时报警给相关人员进行处理。3）视频/图片接入本模块主要是负责处理从CVA传输进来的视频已经从接入服务器传输进来的图片等数据，并按分类进行一定的逻辑处理。采用多线程的处理方式，可同时支持多路的视频和图

29、片数据接入。4）日志管理本模块主要是负责对CVS的日志进行统一管理，记录一些重要事件，方便事件回溯，对外提供日志查询和日志下载功能。5）视频/图片文件系统本模块根据视频、图片的特性，定义流式存储结构，主要是负责数据的高效读、写。6）数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保存，可以方便的以SQL接口提供插入和查询，简化数据存放和获取的机制。二.5.1.3 交通云存储接入软件CVA交通云存储接入软件CVA（Cloud Video Access）是整个系统的重要组成部分，主要包括录像任务管理、录像服务、设备状态管理和部分流媒体转发服务等功能。视频云接入软件支持定时

30、录像、移动侦测录像和事件录像（如：手动录像），其中事件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检测用户配置的录像计划任务信息表，当接入软件检测到有通道需要执行录像任务时，接入软件首先通知流媒体服务从前端设备读取视频数据，然后根据录像类型执行相关录像。视频云接入软件按照功能模块化设计，软件包括六大功能模块：录像任务管理、流媒体服务、设备状态管理、负载信息管理、录像服务、视频帧分析。整体软件架构如下图所示：图4. CVA软件架构1）录像任务管理录像任务管理功能主要包括定时录像管理、移动侦测录像管理和事件录像管理等功能。定时录像和移动侦测录像是用户设置的计划录像，事件录像是用户计

31、划外的录像。录像管理功能需要按照用户的需求从前端设备获取视频数据、执行录像、停止录像和停止从前端设备取流等操作。移动侦测录像，录像管理功能首先需要对前端设备布防，并监控前端设备的报警状态，同时还可以根据用户的需求提前从前端设备获取视频数据，通过预先获取数据流保证了视频的完成性，当接入软件收到前端设备的移动侦测报警命令后，立即执行录像。事件录像，录像管理功能接收到事件录像命令，首先检索当前通道是否有定时录像或移动侦测录像，如果没有上述两种录像，立即执行录像，事件录像的优先级要高于移动侦测录像和定时录像。2）流媒体服务流媒体服务主要包括流媒体转发模块和流控制管理模块，流媒体服务具有稳定和高效等特点

32、，整个系统提供持续的视频数据支持。流媒体服务传输视频数据支持RTSP、TCP和UDP协议，可以根据不同环境选择合适当前网络性能的传输方式。流媒体服务视频流转发功能：流媒体服务从前端设备获取到视频流后可以根据用户的需要将视频流转发给多个用户或设备。通过视频转发功能降低了前端设备的压力，节省了网络带宽，极大的提高了系统性能。3）设备状态管理设备状态管理是云存储接入软件的基础功能，它主要包括监控前端设备状态、布防状态和取视频数据流的状态。前端设备状态监控：状态管理功能实时获取前端设备的状态，当检测到前端设备异常，接入软件会及时上报。设备布防状态监控：状态管理功能实时监控前端设备的布防状态，当前端设备布防失败，接入软件会及时上报。读取视频流状态监控：状态管理功能实时监控流媒体服务的工作状态、如果流媒体服务取视频流时发生异常，接入软件会及时上报。