大华云存储技术白皮书完整资料doc.docx

1、大华云存储技术白皮书完整资料doc【最新整理，下载后即可编辑】大华云存储技术白皮书云计算产品线2014年7月第一章概述1.背景随着平安城市建设的升级，智慧城市建设的兴起，视频监控高清化开始普及，视频图像信息的深度应用成为行业的趋势，如何有效存储和高效使用海量监控数据成为了新的课题。传统大型监控系统主要采用以下两种模式来实现数据存储与使用：存储服务器+IPSAN；NVR为代表的嵌入式存储设备。这两种方式都存在扩展困难，可靠性低，数据无法充分共享等弱点。针对这些问题，有必要将IT云存储技术引入到监控领域。云存储解决方案采用全新的设计理念，可从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通

2、用性等多个维度提升监控存储的质量。由于这些明显的优势，云存储将成为未来平安城市、智慧城市系统的基石，有效的支持原始视频存储、卡口图片存储，视频图像信息库等数据集中存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等数据分析业务，成为便捷、统一管理和高效应用的大数据基础平台。2.设计思想大华云存储解决方案采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。系统将控制流与数据流分离，以及充分优化元数据节点

3、控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。3.系统架构在本次系统建设中，云存储系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据的统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞

4、吐带宽，最大程度降低系统访问瓶颈。云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（Metadata Server）、数据存储节点服务器（Data Node）和客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。云存储系统从功能上划份为三大部分：1)分布式文件系统分布式文件系统实现文件数据存储、可靠性容错、可伸缩性保证、高可用保证、负载均衡和流量分担等功能。2)存储访问接口提供高性能专用的API接口，支持云业务应用层程序对云存储系统的高性能直接访问。3)运维管理平台运维管理平台提供设备管理、

5、系统监控、告警管理、故障管理等功能。系统架构框图如下图所示。其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，Metadata Server在逻辑上只有一个，但采用主备双机热备集群方式，保证系统的不间断服务；智能存储服务器(Data Node)负责具体的数据存储工作，数据以文件的形式存储在Data Node上，Data Node的个数可以有多个，它的数目直接决定了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力。整个方案的软件架构图如下： 系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需求： 资源层：基于单个存

6、储节点，管理本地的硬盘，文件和数据块。硬盘热插拔：管理节点内的硬盘动态增加和删除，和存储管理层同步硬盘内的文件信息。硬盘漂移：当节点故障时，支持把节点上的硬盘取下来放到新的存储设备上，快速恢复数据。本地文件系统：对操作系统自带的本地文件系统进行调优，作为数据存储的基础。 对象数据块管理：对象存储到节点后，会形成多个数据块。管理层：提供单个集群和多域的管理能力节点管理：管理多个存储节点，支持节点上下线，搜集节点信息。负载均衡：根据节点的CPU,网络，磁盘的负载情况，动态选择负载最轻的节点参与工作。高可用HA：对两台元数据进行数据同步，在一台发生故障时快速进行主备切换。对象管理：响应客户端的对象操

7、作请求，为对象分配合适的存储节点，提供唯一ID。统一目录：提供文件对象的目录视图，支持文件路径和按范围查询。运维管理：提供运维Web服务，支持设备动态添加删除，文件手动恢复，系统升级等。多域管理：通过索引对多个云存储系统统一管理，提供全域唯一文件路径。接入层：提供丰富的访问接口，适应各种应用基础SDK：通过SDK可以直接访问云存储系统，进行基本文件操作。流媒体SDK：基于基础SDK封装，支持流媒体写入并建立帧索引，按时间段定位和读取。POSIX驱动：基于基础SDK封装，提供Windows/Linux驱动，将云存储模拟成本地硬盘。NFS/CIFS网关：通过服务器，提供网络文件系统服务。WebSe

8、rvice：通过Web服务器，提供文件Web服务，并提供RESTful的接口形式。应用&服务层： 业务应用层部署由各用户根据自身需求，充分利用接口层提供的各种接口，开发而成的监控系统，联网共享系统等。第二章关键技术4.8.11.负载自动均衡技术采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内

9、同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。2.高速并发访问技术客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数

10、据存取。客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。3.高可靠性保证技术对于元数据，通过操作日志来提供容错功能。主服务器本地SSD盘组建高可靠RAID1，提供高可靠容错能力。当元数据服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步，实现更高程度

11、的可靠性。对于节点服务器，采用Erasure Code冗余方式实现容错，数据冗余分布存储在不同的数据节点上。任一数据节点的损坏，不会导致任何数据丢失，不会影响任何的数据访问和写入过程。之后，通过灵活数据恢复机制，进行数据重建过程。4.高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用Erasure code冗余备份机制，如采用4+1节点间冗余容错，任意损失一个节点，数据不丢失，服务不停止，客户端无感知。第三章分布式文件系统设计

12、分布式文件系统是整个大华云存储系统的核心，提供了数据存储业务的所有功能。本文件系统借鉴众多现有分布式文件系统设计理念和思想，结合视频监控业务特点，提供了众多功能，包括：文件数据存储与访问功能；利用分布式技术将众多存储设备集群化成一个存储资源池，实现海量数据存储能力；分布式文件系统管理整个存储资源池，构建成一个统一的命名空间；系统提供高可靠、高存储空间利用率的数据冗余策略，保证数据的可靠性；提供灵活、非常适用于视频监控业务的数据恢复机制；利用高可靠主备技术，保证元数据管理服务的高可用性；利用节点间的失败检测与恢复机制，实现存储节点的高可用性；动态负载均衡技术保证整个系统负载均衡，规避数据热点和单

13、存储设备性能瓶颈；通过在线动态增加或删除节点功能，保证存储系统建设的灵活性，以及业务的持续性。分布式文件系统包括元数据管理、块数据管理服务。元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。因元数据访问频繁，故系统将元数据加载缓存至内存中管理，提高访问效率。由于元数据的重要性，元数据损坏或丢失则相当于文件数据丢失，因此实现了元数据服务器主备双机热备，保证高可用，确保小时不间断服务。块数据是指文件数据被按照一定大小（默认64MB）分割而成的多个数据块，分布存储到不同的存储节点服务器上，并通过编解码容错算法产生相应的冗余块。存储服务是运行在每个存储节点服务器上的存储服

14、务程序，负责使用存储服务器上的磁盘空间存储文件数据块，并实现相应的编解码功能以及保证磁盘间的负载均衡等。相比较传统业界的云存储采用块数据简单备份冗余容错机制，存储节点间容错方式大大降低了硬件资源冗余度，提高了磁盘利用率。文件系统采用非对称分布式存储架构，控制流与数据流分离，可通过增加存储节点实现系统的线性扩容。该系统架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。分布式文件系统具有灵活冗余重建功能，确保单节点的损坏不会影响到数据的可读性。1.数据存储功能数据存储功能是指分布式文件系统提供的，类似单机文件系统所具备的，

15、创建文件、写入数据、关闭文件、打开文件、读取数据、删除文件、文件内定位、获取文件属性等功能。这些功能都是文件系统所必须具备的基本功能，但对于云存储系统而言，也会有一些新的特点。本系统提供的是类对象存储功能，提供两大类操作，Bucket操作和文件对象操作。Bucket是指在分布式文件系统内的一个存储文件的容器，系统中每一个文件，都必须包含在一个Bucket中，Bucket不能嵌套，即Bucket内不允许再次创建Bucket。Bucket通过全局唯一名称标识。扁平的系统结构，使得云存储提供海量存储、线性扩展能力成为可能。这样的扁平结构成为众多分布式文件系统的选择，用户可以创建Bucket，删除Bu

16、cket，按照范围罗列Bucket内的文件。Bucket也可以理解为一个空间独立的目录，比如监控领域可以按照摄像头来设置Bucket，给每个摄像头指定相应的存储空间配额。文件对象对应的是用户文件，支持创建文件，设置文件元数据，获取文件元数据，追加写文件，读文件，文件内定位等这些方法，基本和POSIX提供的语义一致。2.海量存储能力分布式文件系统提供海量存储能力。系统通过良好设计，将数据存储和访问等数据业务流和系统管理、数据管理等相关的控制流分离。数据存储节点负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障。而元数据管理服务器负责控制流管理和

17、服务。由于控制流流量相对有限，元数据服务器所能提供的存储空间，仅受限于服务器的内存量。传统存储服务器由于主机的性能、散热、最大支持盘位数、管理开销与复杂度等方面的限制，所能支持的存储能力都比较有限，而无法适应海量存储需求。而Scale-up的扩展方式显然无法突破其限制，且性价比较低。而本分布式文件系统通过集群技术，将众多廉价存储服务器组建成一个集群，实现了Scale-out方式的扩展，具备提供海量存储能力，成为一种性价比非常高的选择。本系统所能管理的存储空间仅受限于元数据服务器的内存。32G内存容量的元数据服务器可提供10PB级别的高效数据存储服务。3.统一命名空间管理统一命名空间管理是分布式

18、文件系统的一个重要功能，只有提供统一命名空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。系统通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成一个统一的存储空间池。同时，系统保证所有文件的文件名在统一命名空间内，实现文件访问的统一命名空间

19、。具体的，是通过bucket名称全局唯一，以及bucket内文件名不重复实现了每个文件访问名称互不相同，实现了文件访问的统一管理。同时，集群存储空间的统一管理，实现资源的统一化。再通过集群唯一访问IP，对外呈现为一个统一的整体。只需要获得存储集群的访问IP，以及文件所在bucket名称和文件名，即可通过系统客户端在其他主机上访问这个文件。这就实现了分布式文件系统内数据的高可共享能力。4.节点间数据冗余传统存储服务器都提供服务器内部磁盘间，利用RAID技术，组建各种容错等级的RAID组，来为数据可靠性提供保障。卡耐基梅隆大学研究将近100000块硬盘的工作状况得出一个研究报告：当今企业级硬盘（M

20、TBF通常在1,000,000 1,500,000）的年平均故障率为2-3%（有些极端环境甚至达到13%），远高于硬盘厂商宣称的0.88%。这意味着一个1000路高清的视频监控存储系统，需要1054块硬盘3T容量企业级硬盘（如果做5块盘的RAID5），2%的故障率导致每年我们都有21块硬盘损坏，每个月有1.75块硬盘损坏。若存储系统采用的是监控盘，则结果将更糟糕。随着硬盘的容量越来越大，RAID的重构时间变得越来越长。一块3T的硬盘，在工作状态下，重构的时间有的时候甚至要达到2个星期之久。在重构的过程中，任一其他的数据的错误，都将导致整个数据丢失或者RAID崩溃。不幸的是，在RAID重构时，相

21、同RAID内的硬盘的出错概率大大增加。显然，存储节点内RAID技术，对于一定规模的云存储系统而言，是无法提供数据可靠性保证的，且由于重构时间以及重构时出错概率增加，甚至会导致可靠性降低。在云存储领域，互联网企业广泛使用副本技术来提供数据可靠性，如HDFS默认配置的副本因子为3。副本因子为3意味着存储利用率约为33.3%，这对于海量低价值密度的视频监控存储系统而言，其性价比相对较低。当前，利用节点间Erasure Code技术提高数据可靠性日益受到众厂商的推崇。如Facebook正在实现HDFS的EC版本，以追求更高的性价比。本系统推荐采用节点间数据冗余技术，保证数据高可靠性的同时，追求更高的存

22、储利用率。图5.1 节点间冗余技术示意图以节点间4+1冗余策略为例，客户端在MDS的调度下，将一定长度的文件内容，切分成四个数据块，通过利用EC算法计算得到一份冗余数据，然后客户端将五份数据分发到MDS指定的五台存储节点上，就完成了一次数据写入动作。相对于副本技术所普遍采用的pipeline技术而言，数据中心内的网络流量降低非常明显，从增加200%下降到仅增加25%，磁盘空间利用率也从33.3%上升到80%。这五台存储节点任意一台故障或节点内存储这份数据的磁盘故障，不会导致数据的丢失，从而实现了数据的高可靠性。5.数据恢复机制分布式系统通过数据冗余和数据恢复，屏蔽集群内磁盘故障、节点故障对系统

23、整体的冲击，不会降低数据的高可靠性。数据恢复所带来的数据中心内网络流量上升，可能威胁到业务系统的实时业务。特别的，对于视频监控系统而言，实时录像业务本身就对网络形成一个持续、较高的压力。且节点离线可能仅仅是短时间非故障离线、磁盘故障也只是暂时性的。而视频监控系统所采用的存储设备往往存储密度非常高，IO能力却不是非常强，导致数据恢复较慢。再结合视频监控系统周期覆盖的业务特征，本系统默认不采用自动恢复机制。本系统采用手动和自动相结合的方式，为业务系统提供灵活的数据恢复机制。系统支持手动选择需要恢复的时间段，以快速恢复重要的文件。而对于一般性文件，则可以通过数据冗余保证数据依然可访问。此种方式，特别

24、适用于价值密度相对较低的视频监控系统中。同时，若数据恢复所带来的冲击是能接受的，也可以以自动方式，延迟进行数据恢复，从而屏蔽掉大部分暂时离线情况导致的没必要数据恢复。由于数据存储的时候被分片存储在不同的存储节点上，如果一台存储节点损坏的时候，所有的存储节点均会参与恢复，因此恢复的速度会很快。6.元数据管理的高可用性保障元数据服务器管理着分布式文件系统的所有元数据，其高可用性直接影响着系统的可用性。本系统采用高可用性High Available技术，保证元数据服务器主备实时同步元数据，快速检测异常，以及迅速接管服务，保证了系统的高可用。主备元数据服务器之间，通过单独网络连接，进行实时的错误检测。

25、单独网络保证心跳不会受到数据中心其他网络通讯的干扰，保证链路的可靠性。心跳机制保证主备服务器之间错误的实时检测和发现，为主备快速切换提供保证。图5.2 主备MDS高可用性保证一对MDS形成主备关系，对外表现为一个虚IP（VIP），即主备的切换对外部而言，是透明的。一个时刻，只有主MDS拥有VIP，对外提供服务。主MDS通过主备之间建立的链路，实时将元数据同步到备MDS，备MDS实时加载元数据，从而实现主备元数据的一致。备MDS一旦检测到主MDS异常，即刻接管VIP，对外提供服务，整个切换过程对业务系统而言是透明的。7.存储服务的高可用性保障单数据节点，其由于硬件、磁盘等原因，可用性是难以保证的

26、。形成集群之后，故障率得到了放大，从而表现为集群整体可靠性下降，存储服务可用性较低。但是利用集群管理技术，存储节点错误检测和调度机制，可以实现存储节点错误的透明化，从而实现对客户端而言，提高存储服务的高可用性。即元数据服务器实时监测各数据节点情况，一旦发现节点异常，则将节点所负责的业务调度到其他节点上。再配合客户端反馈异常机制，以及将之后的业务流进行重新定位等，实现集群对存储节点错误的屏蔽，大幅提高存储服务的高可用性。8.动态负载均衡一个存储集群内部，众多存储节点组建形成的一个统一空间，从整体性能、避免单点故障、数据热点瓶颈等方面，都需要一个良好的动态负载均衡功能。动态负载均衡指集群内部，自动

27、根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡。对于存储数据写入而言，动态负载均衡表现为任意时刻，数据节点的写入负载是动态均衡的。元数据服务器根据各节点的负载情况，自动调度，将新的数据写入调度到综合负载相对较低的节点，实现整体负载平衡。对于存储数据读出，则根据数据分布情况，以及数据分布的几台设备负载情况，选择从负载较轻的节点读取数据。9.在线扩容在线扩容是指不需要停止在线业务的情况下，动态增加或缩小云存储系统的容量，表现业务无感知的增加或删除存储节点。由于云存储系统为一个整体，结合集群管理、数据冗余与恢复等机制，实现了在线动态增加删除节点，对业

28、务层仅表现为存储容量的增加和删除。10.磁盘热插拔和漂移存储节点提供磁盘的热插拔功能，为系统维护带来极大的便利。磁盘的热插拔影响仅限于集群内部，实现业务无感知的插拔。同时，灵活的数据恢复机制，可以保证热插拔不会引起没有必要的数据恢复带来的网络压力和系统磁盘IO压力。同时，存储节点也提供了磁盘漂移能力，即可以将某节点内的磁盘，拔出插入到另外新的节点内，实现了在存储节点硬件故障时，快速恢复数据的途径。同时，也为一些较小集群规模时扩容，以最快速、最小代价实现负载均衡提供一种选择。11.高速并发访问本系统采用文件切片，以及文件切片内再进行节点间冗余的数据分散方式，使得客户端可以有效利用众多存储节点提供

29、的聚合网络带宽，实现高速并发访问。客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流，同时由于文件被分散到多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。第四章客户端接口设计云存储系统对外提供多种客户端接口，可以根据实际应用的需要编写应用程序，通过调用相应的接口

30、直接访问云存储系统。1.基础SDK推荐使用SDK访问方式，可以获得最优的系统性能，文件读写时，直接在SDK做文件的切片和组合，不需要专门的服务器来支持。接口形式上，表现为类posix语义的接口，即提供创建bucket、删除bucket、设置bucket属性、获取bucket属性、创建文件、删除文件、设置文件私有属性、获取文件私有属性、打开文件、写文件、读文件、文件内定位、获取文件属性等接口。目前，本系统提供windows/linux上的C+版本接口。具体接口有：1、创建bucket创建bucket是指在分布式文件系统内创建一个存储文件的容器。系统中每一个文件，都必须包含在一个bucket中。B

31、ucket不能嵌套，即bucket内不允许再次创建bucket。Bucket通过全局唯一名称标识。2、删除bucket删除bucket是指将一个空的bucket从分布式文件系统中删除。3、罗列bucket内文件罗列bucket内文件实现了获取bucket内文件名列表的功能。且通过一些参数，以及良好的文件名规范定义，可以实现类目录的操作。4、设置bucket属性设置bucket属性功能为业务提供高效存储、查询一些私有属性的功能，为业务开发提供便利。其中属性必须是键值对，且属性总容量不能大于1kB。5、获取bucket属性通过属性健，获取bucket属性值。6、创建文件创建文件是指在特定的buck

32、et内创建一个文件，用于存储数据之用。创建文件时，可以为文件选择特定的数据冗余方式，从而实现文件级别的数据可靠性区别对待。7、设置文件私有属性系统为每个文件也提供私有属性设置通道，为业务开发提供便利。和bucket属性一样，文件私有属性也必须是键值对，且属性总容量不能大于1kB。8、获取文件私有属性通过属性健，获取文件属性值。9、追加写入数据指文件仅支持追加的方式写入数据，而不支持文件内的随意修改文件。10、关闭文件关闭一个已经打开的文件，包括读打开和写打开。11、打开文件打开一个已有文件进行操作。12、读文件对一个已经打开的文件进行数据读取。13、文件内定位对一个已经打开的读文件按位置进行定位。14、获取文件属性获取文件的通用基本属性，如文件创建时间、最后修改时间等。2.流媒体SD