江苏省公安厅执法记录仪云存储平台建设方案.docx

1、江苏省公安厅执法记录仪云存储平台建设方案1 项目概述1.1 项目概述问题分析若不采用重要数据集中存储方案，采用执法记录仪本地存储，数据安全性存在误操作等数据安全可靠挑战，则无法安全可靠的保存各个地市的录像数据。集中存储必将带来海量存储需求（数据中心600TB以上规模），若采用传统存储架构，则将受到存储系统控制器的单点性能瓶颈限制，很难达到良好的存入、读取速度表现。全省各市局每日上传数据量巨大，传统传输方式带宽利用率较低，上传耗时较长，很可能无法在24小时内将当日数据上传完毕。解决手段采用分布式云存储系统可帮助搭建并统一管理三级存储架构（区县本地采集存储层市公安局存储层省公安厅管理存储层）构建物

2、理分散逻辑统一的存储云平台。其中市局管理层将采用云存储系统实现。系统分布式架构，实现了一对多数据传输方式，有效提高存储和调度效率，避免了系统性能瓶颈的制约，整个系统读写速度将随规模扩大而进一步提升，具备良好的扩容扩展能力。云传输技术改进了传统网络传输协议，将带宽利用率提高至80%以上，上传录像所耗时间将大大缩短，本地采集完成后，利用晚间等非网络业务高峰时段上传，减少对业务网络带宽占用。云视频技术实现录像数据随时随地调看，可实现笔记本、手机、PAD等移动终端通过WIFI或3/4G网络随时调看录像功能，极大提高管理和工作效率。上述方案构建的执法记录仪视频存储传输点播系统在南京市公安局经过一年多可靠

3、运行，高效支撑交管局信息化执法工作，得到南京市交管局的高度认可1.2 多种方案技术详细对比方案名称技术先进性技术架构运行利用效率系统可靠性数据安全性系统扩展性数据共享难易网络带宽利用率情况传输方式数据存储性能视频访问性能维护难易程度采集工作站方案采用传统存储，分散磁阵传统磁盘阵列架构50%左右，需要各地采集工作站可靠性低（系统分散在各大队）95%，数据分散在各大队易丢失扩展18.75P（300个采集站总容量）数据很难共享，数据分散存储调看很麻烦带宽利用率存储高，调看读取低串行传输速度受限，一对一传输性能高（本地存储）性能低（从300多个分散读取）只能从一台采集工作站读取维护难，分散在各大队，维

4、护人员需求量大集中式存储方案结合SAN磁阵集中存储技术IP-SAN或者SAN集中存储架构70%左右，存储扩展性能降低，服务器不可复用可靠性高（集中存储）管理节点损坏影响系统，存在单点故障99.999%集中存储损坏管理节点数据存丢失可能扩展至几十PB（随着扩展节点越多性能越差）数据分中心内部数据可以共享，分中心之间数据共享麻烦带宽利用率中等：存储利用高，读取数据利用率低（TCP+网络转换损耗）串行传输速度受限，一对一传输性能低（本地存储+串行传输到数据分中心）性能中等（瓶颈在存储管理节点）读取都要经过存储管理节点集中维护，需要专业SAN维护人员维护较难云存储云传输云点播方案云计算、大数据、云存储

5、、云视频、云传输技术分布式云存储、并行传输系统架构90%以上（按需增加存储容量），设备可复用可靠性最高（集中存储）不存在单点故障问题99.999%损坏任一台服务器、一块磁盘，数据均完整扩展可达1024*1024PB在线扩展（节点越多，性能越好）数据分中心和分中心之间数据共享，逻辑统一、管理方便，调用容易带宽利用率高：存储利用高，读取数据利用率高（可靠UDP）并行传输速度快，一对多传输数据速度快性能高（本地存储+并行传输到分中心）性能高，存储和视频流媒体服务器共用，随着存储节点增多，访问性能线性增强维护简单、基本免维护，只需普通技术人员可轻松维护1.3 项目建设必要性和可行性本项目基于江苏省公安

6、厅执法记录仪平台希望进一步提升系统利用率这个现状旨在通过云计算、大数据技术构建建设一个统一的、高度可靠的云存储、云传输、云视频执法记录仪管理系统，将交管局现有的执法记录仪视频监控资源高效整合，集中存储，保证各部门工作有序进行。通过采用云传输技术进一步提升公安网交管视频数据专用网路的网络利用率，采用云存储与云视频流媒体服务器复用大大提升设备的利用率，建设扩展性强、维护简单的统一云存储平台，通过构建统一的公安厅执法记录仪云存储云传输云点播管理系统（以下简称“系统”），将公安和交管部门可利用的全部视频资源经过优化、存储及处理后，透明地呈现给工作人员，为交管部门执法监控等提供有力支撑，迅速了解和掌握监

7、控区域动态情况，增强公安交管应对各种突发事件的处置能力，提高机关打防控效能，弥补人防不足，方便事后调查取证和专案侦察，最大限度压缩犯罪空间，增强威慑力。1.4 原有系统架构江苏省公安厅现有存储架构为省厅市区到区县集中存储模式区县配置执法记录仪采集工作站和简单的存储服务器，这些服务器都放置在各市区交管局（存储服务器放在公安机房内），这些数据都存储在这些存储服务器中，这些执法记录仪采集工作站放置在交管日常工作办公室机房内。该存储系统很好的支撑了现有执法记录仪系统，但是随着业务不断扩展（存储时间变为一年）系统存在以下缺点：采用执法记录仪采集工作站分散存储：将数据继续存储在执法记录仪采集工作站，这需要

8、将全省执法记录仪采集工作站数量扩展，这时执法记录仪这种传统简单的磁盘阵列存储模式的弊端就显露无疑：数据容易受执法记录仪的损坏或者误操作造成数据丢失，同时对于视频数据也不能保障可以实时可靠调看。采用传统的高端存储集中存储：采用这种价格昂贵的磁盘阵列存储例如EMC的Isilon采用Infinite Band光纤网络，虽然可以解决数据的集中存储调看，但存在着网络从外部以太网到光纤网路的转换损耗和数据读写都要经过存储设备管理节点“机头”，存储管理接节点存在性能瓶颈，同时数据的读写职能是点对点模式的读写，海量视频数据实际读取速度远达不到宣传的功能。综上所述：采用传统的存储模式存在很大的弊端，已经不能满足

9、市日益增加的执法记录仪视频文件的容量需求，因此采用分布式云存储进一步完善执法记录仪存储方案。 采用最新的分布式云存储技术：采用分布式云存储技术进行海量数据的集中存储，数据的读取速度大大提高，数据的存储是点对多的并行化存储模式，存储服务器既是存储节点也是数据读取服务节点；系统的扩展性很强，随着存储节点的增多数据的读写性能也线性增长，数据的可靠性大大提高，存储系统采用1:1副本技术随意一台存储节点存在故障系统均能正常工作，采用分布式云存储模式数据采用分布式技术与安全体系架构的云存储体系使得数据的安全性得到大大加强，系统可按照物理分散逻辑统一的模式搭建，做到数据调看简单的同时大大增强数据的安全和可靠

10、性，同时存储服务器和视频流媒体服务器高度复用，视频流的读取是多对一的模式速度也得到大大提升。原有的数据传输模式是采用FTP方式将进行传输方式上传到数据中心传统磁盘阵列存储系统。采用FTP模式传输：这种模式是点对点的TCP/IP传输模式，传输性能有很大的影响，数据的传输速度不仅大量耗费在TCP/IP不停的数据传输校验上，而且数据存储是点对点的存储，这种数据读写速度下，执法记录仪单纯利用夜间空闲时间将数据上传到数据分中心存储，时间远远是不够的。采用云传输技术cTrans：执法记录仪采集工作站采用云传输方式上传到数据分中心，数据的上传是一对多的并行传输模式，数据实时往不同的存储节点进行存储，同时云传

11、输技术是在保证数据安全可靠完整的前提下采用的UDP传输技术带宽利用率有了大大提升，带宽利用率可达到80%以上，利用夜间时间可轻松将执法记录仪数据传输到云存储数据分中心。 1.5 项目设计标准与依据质量管理体系认证 GB/19001-2008 ISO9001：2008电气装置安装工程及验收规范 GBJ232-90、91中华人民共和国安全作业标准 GA/T74-94单警执法视音频记录仪 GA/T 947-2011公安部公安信息化标准体系公安部公安科技发展“十五”计划和2015规划信息技术设备得安全 GB4943-2001 音频、视频及类似电子设备安全要求 GB8898-2001 计算机信息系统安全

12、保护等级划分准则 GB178591999 安全防范工程程序与要求 GA/T75-94入侵报警系统技术要求 GA/T368-2001报警传输系统串行数据接口得信息格式和协议 GA/T379-2002计算机信息系统安全等级保护操作系统技术要求 GA/T388-2002计算机信息系统安全等级保护管理要求 GA/T388-2002B计算机信息系统安全等级保护通用技术要求 GA/T390-2002IP网络技术要求网络性能参数与指标 YD/T 1171-2001其他相关行业标准1.6 项目建设目标全省交警执法记录仪管理系统采用先进的计算机技术和分布是云存储技术、云传输技术和大数据处理技术，依托现有的公安网

13、络，建设具有音视频拍摄、海量数据存储、流媒体传输、分级应用管理、轨迹查询于一体的执法影音取证统一执法记录仪视频云存储云传输云点播平系统，实现大容量的视频数据的集中存储和统一管理、访问的目标，满足可靠性、保密性和可用性要求以及数据合规性要求。利用各个地市交管局已建设专用的执法记录仪采集工作站灵活、高效、安全的数据导入机制实时通过云传输技术将重要数据上传到数据中心存储，满足全省范围内公安交管部门和用户对视频数据的高速流畅的检索和浏览，利用云传输技术大大提升公安专网网络带宽利用率，实现全省执法记录仪视频数据可以高效调用，高效传输、安全保存。1.7 系统优势本系统采用最新的分布式云存储、云传输、云点播

14、技术相对于传统模式具有以下优势：并行化服务：数据的读取速度大大提高数据的存储是点对多的并行化存储模式，存储服务器既是存储节点也是数据读取服务节点。高扩展性：系统的扩展性很强，系统支持在不停业务的情况下在线扩容。系统高性能：系统的存储设备也是数据服务设备随着存储节点的增多数据的读写性能也线性增长。数据的高可靠：云存储系统采用1:1副本技术随意一台存储节点存在故障系统均能正常工作。安全性高：采用分布式云存储模式数据采用分布式技术与安全体系架构的云存储体系使得数据的安全性得到大大加强。物理分散逻辑统一：系统可按照物理分散逻辑统一的模式搭建，做到数据调看简单的同时大大增强数据的安全和可靠性。设备复用：

15、同时存储服务器和视频流媒体服务器高度复用，视频流的读取是多对一的模式速度也得到大大提升。并行化传输：数据的上传是一对多的并行传输模式，数据实时往不同的存储节点进行存储。高带宽利用：同时云传输技术是在保证数据安全可靠完整的前提下采用的UDP传输技术带宽利用率有了大大提升，带宽利用率可达到80%以上，利用夜间时间可轻松将执法记录仪数据传输到云存储数据分中心。随时随地办公：云视频技术开辟录像数据随时随地调看的高效管理途径，实现笔记本、手机、PAD等移动终端通过WIFI或3/4G网络随时调看录像功能。存储与流媒体设备复用：极大提高管理和工作效率。并且，市局管理存储层只需存储部分重要和关键录像数据，其他

16、可通过网络调取市局集中存储系统内的数据即可，降低了省厅端存储规模。2 系统总体建设方案2.1 项目系统总体网络架构按照江苏省公安厅统一规划要求，综合考虑江苏省公安厅本次项目存储扩容总体需求、传输效率需求和视频点播的需求和现状，此次执法记录仪视频文件分散在市局存储中心、重要文件集中在省公安厅存储的存储模式，其中每个市公安局分配240TB存储空间，省公安厅存储中心配置600TB存储容量，利用公安专网将各大队采集的执法记录仪资源上传到市公安局存储分中心，重要数据备份到省公安厅存储平台其总体框架如下所示：2.2 系统建设电子证据平台与执法记录仪云存储云视频系统对接，实现电子警情系统与执法记录仪系统实现

17、关联，做到警情系统可以及时取证执法记录摄像视频，做到有证可寻。建设后的执法记录仪系统云传输图形界面如下图所示。通过该平台根据该平台民警可以实时的添加执法的警情的具体时间，地点，任务以及关联的视频。同时实现实时查找警情系统事件实时查找相对应的警情执法记录仪视频录像资料和登记人，登记时间，登记大小等资料2.3 系统需求本次规划的江苏省公安局执法记录仪云视频点播传输存储平台，将分散存放在13个地市公安局（总计约520TB/月）执法录像统一上传部署在全省13个地市的存储数据采集、存放、上传至江苏省公安厅数据中心，集中存储3个月。按照每个地市的执法记录仪等视频数据量平均每月40TB按照全省集中统一则所需

18、可用存储容量1560TB采用云存储1:1冗余技术进行存储需要裸容量为3120TB。执法记录仪的存储、传输、视频等资源高效调度，集中安全存储、数据高效传输等需求。按照平均每天1.3TB左右的存储容量进行传输，公安视频专网现在的千兆视频带宽利用率需要准备60%左右的带宽资源，建议采用云传输方式提升带宽利用率，大大节省带宽。采用云创存储的cStor云存储系统，可以用低成本满足大数据存储容量和带宽需求，同时采用cTrans进行数据传输，极大的解决了数据传输的问题。利用cVideo的云视频，采用流媒体进行处理，可以促使云点播的更加快速使用。具备高效稳定的访问效率，满足江苏省公安厅大量的执法记录仪的存储、

19、传输、视频等的需求，并提供适当冗余以保证整体流程的高效。 为满足江苏省公安厅大量的执法记录仪未来发展，云存储平台应具备横向、纵向、容量和带宽的高扩展能力。 采用云创存储的cStor云存储系统，可以用低成本满足大数据存储容量和带宽需求，同时采用cTrans进行数据传输，极大的解决了数据传输的问题。利用cVideo的云视频，采用流媒体进行处理，可以促使云点播的更加快速使用。具备高效稳定的访问效率，满足江苏省公安厅大量的执法记录仪的存储、传输、视频等的需求，并提供适当冗余以保证整体流程的高效。 为满足江苏省公安厅大量的执法记录仪未来发展，云存储平台应具备横向、纵向、容量和带宽的高扩展能力。 2.4

20、系统架构和模块描述采用分布式云存储、云传输、云点播技术构建的执法记录仪系统架构图图 江苏省公安厅云存储云传输云点播系统架构图 2.4.1 执法记录系统执法记录系统通过执法记录仪来记录现场执法过程，自动上传至采集工作站，保存视频文件。2.4.2 云存储系统将前端设备获取到的视频录像，可靠的保存在云存储系统中，本地不进行视频缓存，以进一步提升安全性。使用云存储系统，提供统一的存储资源池，用以存储关键数据，提供历史视频的回看以及相关数据的下载服务。同时，支持网络挂载盘符的模式，以满足整个平台中其他模块的存储需求。2.4.3 云传输中心端使用高速的云传输软件，充分利用带宽资源，使用高效的传输机制，提高

21、网络带宽的使用率，以保证视频文件快速上传。遇到网络震荡、带宽不稳情况时，云传输系统支持断流续传的功能，确保视频数据的高效稳定传输。云传输中心端，用于接收各接入点上传的视频资料，并存至云存储中。2.4.4 流媒体服务器集群部署流媒体软件，实现对云存储中的视频录像流化处理，并提供对外推流服务，采用集群化部署模式，支持高并发访问。流媒体服务器可以像访问本地文件一样访问到云存储上的历史视频数据。2.4.5 客户端交管PC客户端，B/S页面方式访问平台系统。图4 流媒体集群工作流程图 负载均衡、高并发访问：通过负载均衡各节点运行状态，提高系统工作效率，满足系统的高并发访问需求。 监控视频流实时转发：前端

22、视频数据经处理系统处理后，流媒体服务器将处理后的监控视频流进行实时转发给用户，满足各种客户端需求。 历史视频数据流化推送，提供录像调回的视频流推送服务。服务器状态（负载、链接数）等信息获取。3 系统方案详细介绍3.1 云存储方案交管局可以通过部署分布式云存储系统建立统一的资源管理数据中心。该中心将集中存储交管局执法记录视频等。3.1.1 云存储系统简介采用业界已经成熟的cStor云存储资源管理系统，在多台普通商用服务器上构建高性能高可靠云存储系统，作为本次系统云数据中心存储平台，其应用部署示意图如下图所示：图5 cStor云存储资源管理系统部署示意图在执法记录仪系统建设中，云存储系统属于基础平

23、台支撑层，用于视频集中存储和共享，实现对视频的统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降低系统访问瓶颈。系统具有高可靠性、超高的性能、在线伸缩、通用易用以及智能化管理能优势下面介绍cStor云存储系统的基本组成和主要功能。3.1.2 系统基本组成cStor云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括卷管理服务器、元数据管理服务器（Master Server）、数据存储节点服务器（Chunk Server）和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。在每个服务器节点上运行cStor云存储系统的相

24、应的软件服务程序模块。系统架构框图如下图所示。图6 cStor云存储资源管理系统架构其中，Master Server保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了cStor云存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在Chunk Server上，每一个块数据服务器，既可以作为存储服务器同时也可

25、以作为客户端服务器。由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。3.1.2.1 cStor分布式文件系统cStor分布式文件系统包括卷管理、元数据管理、块数据管理服务。参考上面系统架构框图左侧部分。元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。因元数据访问频繁，故系统将元数据加载缓存至内存中管理，提高访问效

26、率。由于元数据的重要性，元数据损坏或丢失则相当于文件数据丢失，因此实现了元数据服务器主备双机高可用，确保小时不间断服务。通过元数据远程多机冗余备份功能，实现在多台其它机器上备份元数据，当元数据服务器损坏，可以通过备份的元数据重新恢复服务，切保数据可以完整找回。块数据是指文件数据被按照一定大小（默认64MB）分割而成的多个数据块，分布存储到不同的存储节点服务器上，并通过编解码容错算法产生相应的冗余块。块数据服务是运行在每个存储节点服务器上的块数据管理程序，负责使用存储服务器上的磁盘空间存储文件数据块，并实现相应的编解码功能。相比较传统业界的云存储采用块数据简单备份冗余容错机制，编解码容错方式大大

27、降低了硬件资源冗余度，提高了磁盘利用率。由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的存储空间称为一个卷。卷管理服务器负责将多个卷虚拟化整合，对外提供统一的整体访问云存储空间。文件系统采用中心服务器模式分布式存储架构，控制流与数据流分离，通过增加存储节点系统采用自动注册机制，实现系统高可伸缩性，增加或减少存储节点规模，不影响系统正常提供存储访问服务。该系统架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。同时在多个不同的存储节点之间实现根据空间比例进行优化配置，数据优先存储的空间利用比例相对较低

28、的磁盘或存储服务器上。cStor分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。3.1.2.2 存储访问接口cStor分布式文件系统提供符合POSIX规范的文件系统访问接口。支持Linux、Windows、MaxOS X等操作系统平台。可将云存储系统提供的存储空间挂接为本地目录或本地盘符来使用。用户操作云存储空间和操作本地文件相同。另外cStor提供专用的高速存取访问API接口，供性能要求很高的高端应用程序对接使用。3.1.2.3 管理监控中心管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具，充分体现了系统的可维

29、护性。管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。 设备管理 系统监控 告警信息 告警配置 告警日志 故障处理 卷管理 帐户管理 添加帐户3.1.3 系统优势和特点cStor云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。该系统相比传统存储系统有如下技术优势：3.1.3.1 高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠

30、，系统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的724小时不间断服务。3.1.3.2 高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服

31、务后，它则成为新的备管理节点，保障系统的724小时不间断服务。3.1.3.3 优异性能cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。3.1.3.4 无限容量系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为102410241024 PB (1G个PB容量)。3.1.3.5 在线伸缩cStor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。3.1.3.6 通用易用cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员