CDS云存储解决方案.docx
《CDS云存储解决方案.docx》由会员分享，可在线阅读，更多相关《CDS云存储解决方案.docx（22页珍藏版）》请在冰豆网上搜索。
CDS云存储解决方案
1CDS云存储系统概述
1.1CDS简介
CDS（CloudDirectStorage）是宇视科技在提出“NGN（NextGenerationNetwork）”为核心架构的IMOS监控云平台后，为满足海量音视频数据、智能交通类行车图片、监控个体特征图片、安防大数据、智能业务以及多相关部门并发读取等安防行业发展的需求，推出的一套面向监控领域媒体文件的SAN级集群系统。
CDS吸取了传统监控存储主流设备如NVR操作的易用性，同时基于对视频监控的理解，结合SAN集中存储高可靠稳定性的基础，引入了云的架构，海量存储，易于维护。
和常见的文件集群系统所构造的通用“云”存储相比，整套SAN级集群系统既实现了性能和容量线性增长，又保留了宇视一代云“块直存”的安全性和高性能，海量音视频秒级检索，这些是通用云在监控业务方面所不具备的优势。
1.2CDS系统架构
宇视科技云存储CDS系统基于云架构进行开发，采用面向用户业务应用的设计思路，融合SAN集群部署、负载均衡、资源池化、全局共享空间、数据切片等技术，可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。
云存储系统的结构模型由存储层、基础管理层、应用接口层、访问层组成。
在视频云存储系统的架构设计中，采用的核心技术包括：
采用存储虚拟化技术，对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。
采用SAN集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。
采用数据切片技术，保障了用户高效的读写的同时保证了业务的持续性。
采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。
采用开放的集成构架，使其可兼容业界各类SAN存储设备，保护用户现有存储投资资源。
采用数据本地/异地备份保护技术，保证云存储中的数据不丢失，确证云存储服务的安全稳定。
1.3与安防常用存储的对比
目前安防行业内常用的存储方式包括以下几种：
1、硬盘录像机方式（DVR、NVR）；
2、集中类存储，包括FCSAN、IPSAN；
3、文件服务器类存储，通用NAS；
4、高端存储，通常为多控架构存储；
5、安防云存储，如宇视的CDS；
对比项
NVR
（网络视频录像机
FCSAN
（光纤通道集中存储）
NAS
（文件服务器）
IPSAN
（IP集中存储）
多控制器架构高端存储
CDS云存储
接入性能
低
中
中
中
高
最高
读取性能
低
中
中
中
高
最高
平台对接方式
GB28181/SDK对接，功能缺失，弱耦合
流媒体服务器访问，性能瓶颈
通用文件协议访问，无安防定制功能
流媒体服务器访问，性能瓶颈
流媒体服务器访问，性能瓶颈
无需流媒体服务器，紧耦合
网络建设
分布式，设计复杂
FC组网成本高，难以与IP网络融合，信息孤岛
较集中
较集中
较集中
最集中，易维护，高性价比
扩容性
无
中
低
中
高
最高
故障切换
无，
需要额外增加软硬件，成本高
无
需要增加额外软硬件，成本高
有，低延时但成本高
低延时，高性价比
运维管理
设备多，人力投入大
专业程度高
专业程度高
专业程度高
专业程度高
界面化统一管理，易运维
总体造价
低
高
高
中
最高
中
1
2CDS组成部件
CDS存储方案主要由视频云存储管理软件（CDM，CloudDataManagement）、视频云存储服务节点（CDV，CloudDataStorageVirtualService）、视频回放服务器（VOD，Videoondemand）等几个主要部件组成。
云存储管理软件CDM：
CDM云存储管理服务器
负责整个系统的运行与调度工作，主要职能是响应上层平台业务请求，对外提供业务响应接口，负责整合系统内多台存储节点信息，对业务整合成带优先级控制的统一虚拟化存储池，同时，维护系统运转，统一调度、协调云存储系统的运行与维护，具体功能范畴包括集群管理、虚拟化管理、存储资源管理、存储策略管理、存储设备管理等。
云存储节点CDV：
负责存储节点上存储空间的虚拟化，将单台存储节点空间格式化为对象存储空间提供给外部使用。
其主要职能是接入各种类型的存储设备、进行云存储设备层整合，对本机存储空间进行对象化处理，对外提供本设备的虚拟化存储池，负责本机设备管理、存储空间管理和维护工作，提供WebService接口，提供直接图片等数据访问，具体功能范畴包括视频录像、图片存储、视频图片下载等。
视频回放服务器VOD：
负责回放业务的提供，其接入客户端RTSP的标准视频点播请求，转换为对存储内容的读取并封装为客户端能识别的码流。
3实时业务设计
2
3.1视频CDS云存储
视频CDS云存储组网图
视频云存储组网，采用scale-out结构，分离数据平面和控制平面，即媒体流带外的方式，从IPC到CDV（存储节点）直接写入，中间无需其他服务器的介入。
视频云存储组网中IPC主动的管理存储计划和前端智能数据告警，可以及时触发告警录像，同时简化了后端云存储架构，降低了存储业务压力，可以让云存储系统专注读写，更好的满足用户的存储需求。
应该说，CDS存储模式是在宇视块直存基础上延伸出来的云存储模式，汲取了SAN共享技术及分布式文件系统的块分配策略，突出解决了空间按需占有、弹性扩容及负载均衡等问题。
3.2图片CDS云存储
图片云存储组网图
图片云存储组网相对视频增加了TMS（智能交通管理服务器），主要负责图片智能数据分析、黑白名单及研判等业务，在IPC完成一定数量的图片存储后，以事务的方式上传卡口智能数据到TMS服务器。
对于图片来说，大小从几KByte到上MByte不等，大量的图片小文件对元数据的操作开销非常大，既增加了总体数据的写入数量，也增加了磁盘的随机读写，同时也容易产生磁盘碎片。
为此，CDS从底层重新设计了块分配及元数据的组织算法，通过重组的方法将图片流化处理，充分利用视频存储的块组织模式。
出于通用应用需求，文件系统层的抽象屏蔽了后端块资源的分配，但也正因为此而无法感知应用数据的写入特征，通过引入统一分配层，直接管理块设备上的空间分配，通过对存储时间和空间的一定预测保证分配的空间尽可能的连续化，避免长期循环覆盖情况下，性能和稳定性的下降，而且有应用针对性的进行优化，也很大程度上降低了空间管理的消耗，将有效空间率从文件系统的低于93%提高到97.8%。
3.3数据读取
数据读取流程
CDS云存储当前提供了两种最常用的数据读取服务，RTSP点播回放服务（针对视频业务）和Http服务（针对图片业务）。
Http服务直接部署在CDV上，客户端通过URL地址就可以显示和下载图片。
这种方式的带来的好处是减少数据读取的中间环节，而且由于数据分布上在写入时经过客户段负载均衡后，大批量下载可以充分利用多CDV节点的读取能力。
RTSP点播服务中引入了VOD集群功能，即用户可以随需配置，从而满足大规模的点播和下载需要，而且VOD集群会进行一定的数据缓存处理，从而在一定程度上降低对后端存储的压力，同时起到一定的CDN（内容分发网络）功能，提升播放体验。
3.4数据生命周期管理
宇视CDS安防云存储方案，一方面对存储空间进行池化处理，另一方面也对安防数据业务进行了更合理的空间规划和数据可靠性保障。
3.4.1细粒度的数据冗余策略
通用云存储都是在一个统一的存储层面，比如设定目录或是节点的冗余策略，常见的如多副本策略或是纠删码等方式，这种方式是割离了计算，单纯从存储层面进行的数据保障措施，但其粒度过大，性能开销大，存储设备硬盘配置要求高的缺陷也在一定程度上转嫁给了客户投资。
而CDS，将安防业务中密切与存储或是媒体相关的功能进行了合理抽象，能将数据的冗余策略精确到更细粒度的时间片段数据，或是某一张图片文件，并通过告警或是事件联动的业务入口，提供给客户更灵活的可定制流程。
3.4.2数据逐级退化，有效提升留存空间比
宇视CDS云存储依然保留了对摄像机存储计划及留存期设定等过程，但在内部存储时，由于所有的存储空间均被CDS虚拟化，使得存储空间的组织和退化，均能从总体上来考虑。
这个带来几层含义，一方面，留存期的维护是录像过程相对公平，同时也是系统容量可预测可配置的保障，另一方面，由于存储空间的池化处理，充分利用共享化容量来尽可能的拉长录像的留存期是实实在在的节约用户投资的手段，因此，所谓留存空间比，就是以尽可能少的存储空间来获取更长的留存期。
通过在存储面引入诸如抽帧存储、录像清洗等手段来对事件类、超时效范围（如30天留存期中后15天录像）进行录像空间的压缩，既能保证重要录像的不丢失，又能降低用户存储空间的总需求。
抽帧存储
抽帧存储是在尽量保证数据完整性的情况下将备份的录像数据压缩到最小，以提供高效完整，节省存储空间的目的。
当前IPC使用SVC，即ScaledVideoCoding，可分层视频编解码技术，就是在时间，空间，质量上会进行划分，输出多层码流（包括基本层和增强层），其中基本层的数据可以使解码器完全正常的解码出基本视频内容，但是基本层的数据获得的视频图像可能帧率较低，分辨率较低，或者说质量较低，而增强层又是可以多层编码的，这就意味着，在视频码流总码率的范围内，接收到的码率越大，视频质量越好。
也就是说通过定制抽取的规则，比如设定某个摄像机存储空间规则为15天全帧存储、超15天抽帧存储，并确定抽帧规则为只保留I帧、1/2抽帧、1/4抽帧等。
如下是只保留I帧的实测数据，仅作参考：
视频码率配置
原始录像/天
抽帧备份录像/天
比例
2Mb/s
21GB
7GB
33%
4Mb/s
42GB
12GB
28%
6Mb/s
63GB
16GB
25%
录像清洗
录像清洗服务是结合前端设备的告警，如移动侦测等触发，来扫描这个时间点一定范围内的录像，然后根据录像中的移动量是否超过设定的阈值，来进行录像的抽取和清洗。
可以分别配置警前留存时间和警后留存时间，警前录像取值范围[0~5分钟]，缺省1分钟，警后录像取值范围[1~30分钟]，缺省5分钟。
此时录像空间的浓缩比例视告警的发生概率而来。
3.5CDS云存储可靠性设计
3
3.5.1从低到上的全栈数据高可用性
CDS云存储并不是重新发明宇视存储，而是充分利用已有积累，在充分考量了数据路径的每一个环节合理性的同时，对每个环节进行了强化处理。
3.5.2跨数据中心级的业务可靠性保障
在业务流程设计上，分级自建的监控机房不一定能达到运营商机房的可靠性，当发生机房断电、网络异常等情况下，利用前端IPC的网络可达性，将IPC的存储流引到更上级的部署机房存储，然后当本地机房恢复后，再将录像回传到本地机房存储空间中。
3.6CDS云存储安全设计
云存储的开放性的系统特点导致面临一系列安全问题，CDS采用一种以云存储为核心的在线分布存储系统，该系统有效结合数据分散存储管理技术以及数据自动恢复技术，来更好的保证云存储数据的安全性。
（一）应用接口层到访问层的设计。
为了有效提高云存储系统的安全性，CDS采用访问控制、身份认证以及ssl加密技术来对云存储的数据进行保护，使数据在网络传输中能有效避免各种安全威胁。
同时通过实现云存储服务器与用户之间的相互认证，对双方的身份进行有效鉴别后用户代理通过安全应用程序接口来和云存储服务器建立通信连接，然后进行数据存储服务。
（二）基础管理层的设计。
在进行基础管理层的设计时CDS利用数据分片把存储的数据信息进行分片处理，从而使这些完整的数据变成一系列的数据片段，这样就不能被那些没有得到认证的系统识别。
这样能够保证云存储的数据进行分片后就不会产生数据被窃取的现象，从而可以有效提高云储存数据的安全性。
（三）存储层的设计。
为了保证数据存储的安全，可以有效利用数据分散存储技术来满足用户大量的存储数据的要求。
因为随着存储系统存储容量的增加，存储数据的出错率就会相应的增加。
而数据分散存储技术能有效确保云存储数据的可靠性和可用性，因为基于数据分散存储技术的系统存储层中的设备是分布部置的，这些设备之间有一定冗余机制，从而可以有效提高设备的存储利用率及其容错能力。
3.7CDS运维管理设计
1
2
3
4
5
6
7
8
9
10
3.7.1集中运维，统一管理
针对CDS云存储系统及各项软硬件的数据采集，运维管理平台对整个系统进行监控并收集数据、汇总、生成报告。
主要对云存储的以下部分数据进行采集：
⏹管理服务器数据采集；
⏹云存储节点数据采集；
该系统支持云存储部署环境的综合数据采集及检测，能对系统平台服务器、存储设备以及支持SNMP协议的终端设备和网络设备进行全面的深入的数据采集管理。
系统使系统管理人员能在日趋复杂的IT环境中即时快速方便的了解整个系统的运行状况，从而能从应用层对IT系统的关键资源、应用进行全方位的实时监控管理。
对于详细的数据采集（及监控）要求如下所述：
⏹管理服务器数据采集
系统可以从多个方面对管理服务器服务器的硬件设备、操作系统进行监控管理。
通过采集相应服务器的CPU、内存、磁盘、网卡等硬件的关键运行参数，软件和应用程序的进程、服务、端口的运行状况，系统能够及时对影响平台服务器运行性能的故障事件发送报警，并采取相应的故障处理措施，保证服务器的正常安全运行。
系统中提供的与服务器相关监控指标主要包括CPU、内存、磁盘空间、服务、进程、网卡、错误日志、事件日志、LOG文件等。
对平台管理服务器主机的监测主要包括如下性能指标：
处理器
CPU利用率
内存
内存使用率
逻辑磁盘
逻辑磁盘剩余空间
逻辑磁盘使用率
磁盘IO
传输速率
每秒读取字节数
每秒写入字节数
网络适配器
输入错误数据包数
输入总的数据包数
输出错误数据包数
输出总的数据包数
进程
系统中关键进程数量
系统中特定目录下文件数量
错误日志
系统中指定日志中的错误条数
进程排名
系统中CPU使用率第一的进程名
系统中CPU使用率第二的进程名
系统中CPU使用率第三的进程名
⏹存储设备数据采集及监控
系统可以对存储设备进行监控，监控方式主要是采用SNMP协议，监测的具体指标如下：
设备基本信息，包括处理器、磁盘、设备使用的端口信息等；
设备性能信息，包括磁盘的读写速率以及字节数，磁盘缓存性能，处理器状态、磁盘状态等数据；
其他方面，包括：
设备温度，风扇状态等。
其他类型的设备可以根据用户要求提供定制开发。
3.7.2事件告警管理
CDS系统可以实现非常灵活的事件及警告管理功能。
在管理平台中对于事件告警管理采用如下流程：
告警推送－－告警分析――告警处理。
⏹告警推送
系统可以收集CDS系统各节点的告警信息、文本文件格式的日志、NT事件日志、SNMP事件、SNMPTrap消息、Syslog、WMI事件，并且提供了基于SNMP、Socket、WMI等标准协议的采集接口，为用户提供了灵活的、可扩展的事件采集方式。
通过这些接口用户可以采集自定义事件而不需要进行二次开发。
⏹告警分析
系统对采集到的事件数据提供了分析规则，规则主要分为两种：
预定义规则、自定义规则。
预定义规则是指和管理包一起发布的，已经定义好的规则，自定义规则是指在预定义规则不能满足用户分析过滤的需求时，所提供的接口，通过使用自定义规则用户可以定制自己的事件分析规则。
事件分析规则主要由事件源、过滤条件、报警信息组成。
⏹告警处理
系统根据事件过滤表达式对事件进行过滤后，生成统一的事件格式并保存在系统的数据库中。
事件数据主要包括：
事件范围、级别、事件数据、消息、编号、事件参数等字段。
其中事件级别包括：
成功、信息、警告、错误、认证成功、认证失败六个级别，事件参数用于保存用户自定义的字段，并且支持多个自定义属性，事件数据展示时将以统计报表形式展现。
系统中的事件数据存储在报表数据库，运行时数据库中的事件数据供实时查看使用，报表数据库中的事件数据为历史数据供生长报表以及分析时使用。
事件在处理过程中不进行事件压缩，而是只针对该事件产生的报警进行压缩和抑制。
4系统优势总述
11
4.1海量数据秒级检索，永无碎片
CDS云存储系统可扩展至上百PB级，音视频数据量过亿条，但是依然能够具备高效、准确、快速的数据检索能力。
1）一体化索引设计
CDS云存储系统的索引管理遵循宇视一代云“数据块直存”的思路。
所有与用户业务相关的索引信息统一由云存储系统的存储管理节点进行管理。
视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、筛选进行了全面的优化，大大的提高了查找速度。
在规模不断扩大时性能几乎相同，均能做到毫秒级耗时。
2）与平台的应用设计
CDS云存储系统本着安防云存储系统的特有性，在视频、图片的某些专有信息上也进行了独特的设计。
平台可以根据监控点位案件发生频率，调整录像的存储时长；也可以与大数据、智能分析业务联动，满足平台的易用性。
3）块级存储，永无文件碎片
传统文件存储的数据存储过程是：
数据-->文件系统-->卷-->RAID-->磁盘数据块
整个过程中每份数据存储、读取都需要在单台存储设备上经过以上的流
程，存在性能瓶颈也较多。
安防行业中在设备层面还会更多的增加流媒体服务器这个环节。
CDS云存储通过SAN集群的设计，通过解决lun资源共享问题，对数据存储过程进行了优化，通过优化存储过程减少瓶颈、提高存储效率，优化后的数据存储过程是：
视频/图片-->Raid—>磁盘数据块
整个存储流程简化，速率更快,对数据块的地址控制则由视频云存储管理服务器唯一进行控制。
4.2统一管理，弹性伸缩
CDS云存储系统具有高效灵活的空间管理能力。
为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过SAN集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。
1）存储资源的虚拟化
CDS系统将全域各存储节点的资源进行虚拟化，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。
存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。
2）存储资源的在线扩展
当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时，CDS云存储系统能为用户提供十分便易的操作。
只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；同时，在整个存储资源的扩展过程中，在线业务正常运行，保障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在线扩展，秒级交付。
云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性能的线性增长，从而提供了无限制的容量增长能力。
3）虚拟空间的灵活使用
用户对存储资源池的使用完全可以做到随心所欲，可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配，分配后的存储资源称为录像池。
录像池的划分采用灵活策略方式，对于已经分配好的并在线运行的录像池策略依然能够进行调整。
调整方式非常灵活，不但能够做到将录像池进行扩大，同时也能非常灵活的支持将录像池进行缩小，而这点在传统存储中则非常困难。
4.3系统高可用性
CDS云存储系统具有故障容错机制，毫秒级切换，充分保护数据安全和可靠性。
1）负载均衡，故障切换，可靠性达9个9；
CDS云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系统级的存储性能和可靠性。
通过视频云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上，不但能够使系统整体性能提升，还可以使得单台节点的压力下降。
CDS系统中单台视频云存储管理节点的系统消耗更小，也就使得使用寿命更长，可能出现故障的概率降低。
即使视频云存储管理集群中部分（一台或多台）节点出现故障，也不会影响到视频云存储系统的服务，因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作，继续为视频云存储系统提供管理服务。
2）支持多用户并发读取
在数据存储层面同样由于视频云存储节点也采用的集群化部署，所有的存储资源是采用虚拟化的方式由系统统一进行管理的。
在数据存储时CDS视频云存储系统采用数据切片的处理机制，可以为用户提供系统级分散存储服务。
支持将同一IPC提供的数据块按照分片的方式分布式存储在不同视频云存储节点上。
这样即使单台或多台存储节点出现故障该IPC的录像数据仍然可用。
在存储节点内运行管理和业务软件也可用对数据进行合理分配，同时高效的Raid技术在设备层面也能保证数据的高安全和可靠性。
4.4带外架构，安全可靠
CDS云存储对于视频、图片的存储和控制采用带外架构，采用加密的数据块协议，从最底层数据传输部分保证了数据的安全可靠性。
而且元数据与实际数据部分分离后，两者结合才能有效获取内容，进一步保证数据安全性。
升级会员 