大华云存储技术白皮书Word文档下载推荐.docx

1、2. 设计思想大华云存储解决方案采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。系统将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方

2、面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。3. 系统架构在本次系统建设中，云存储系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据的统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降低系统访问瓶颈。云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（Metadata Server）、数据存储节点服务器（Data Node）和客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储

3、系统的相应软件服务程序模块。云存储系统从功能上划份为三大部分：1） 分布式文件系统分布式文件系统实现文件数据存储、可靠性容错、可伸缩性保证、高可用保证、负载均衡和流量分担等功能。2） 存储访问接口提供高性能专用的API接口，支持云业务应用层程序对云存储系统的高性能直接访问。3） 运维管理平台运维管理平台提供设备管理、系统监控、告警管理、故障管理等功能。系统架构框图如下图所示。其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，Metadata Server在逻辑上只有一个，但采用主备双机热备集群方式，保证系统的不间断服务；智能存储服务器（Data Node）负责具体的数据存储工作

4、，数据以文件的形式存储在Data Node上，Data Node的个数可以有多个，它的数目直接决定了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力。整个方案的软件架构图如下： 系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需求： 资源层：基于单个存储节点，管理本地的硬盘，文件和数据块。 硬盘热插拔：管理节点内的硬盘动态增加和删除，和存储管理层同步硬盘内的文件信息。 硬盘漂移：当节点故障时，支持把节点上的硬盘取下来放到新的存储设备上，快速恢复数据。 本地文件系统：对操作系统自带的本地文件系统进行调优，作为数据存储的基础。 对象

5、数据块管理：对象存储到节点后，会形成多个数据块。 管理层：提供单个集群和多域的管理能力 节点管理：管理多个存储节点，支持节点上下线，搜集节点信息。 负载均衡：根据节点的CPU,网络，磁盘的负载情况，动态选择负载最轻的节点参与工作。 高可用HA：对两台元数据进行数据同步，在一台发生故障时快速进行主备切换。 对象管理：响应客户端的对象操作请求，为对象分配合适的存储节点，提供唯一ID。 统一目录：提供文件对象的目录视图，支持文件路径和按范围查询。 运维管理：提供运维Web服务，支持设备动态添加删除，文件手动恢复，系统升级等。 多域管理：通过索引对多个云存储系统统一管理，提供全域唯一文件路径。 接入层

6、：提供丰富的访问接口，适应各种应用 基础SDK：通过SDK可以直接访问云存储系统，进行基本文件操作。 流媒体SDK：基于基础SDK封装，支持流媒体写入并建立帧索引，按时间段定位和读取。 POSIX驱动：基于基础SDK封装，提供Windows/Linux驱动，将云存储模拟成本地硬盘。 NFS/CIFS网关：通过服务器，提供网络文件系统服务。 WebService：通过Web服务器，提供文件Web服务，并提供RESTful的接口形式。 应用&服务层： 业务应用层部署由各用户根据自身需求，充分利用接口层提供的各种接口，开发而成的监控系统，联网共享系统等。第二章 关键技术4.8.1 1. 负载自动均衡

7、技术采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据

8、节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。2. 高速并发访问技术客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从

9、而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。3. 高可靠性保证技术对于元数据，通过操作日志来提供容错功能。主服务器本地SSD盘组建高可靠RAID1，提供高可靠容错能力。当元数据服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步，实现更高程度的可靠性。对于节点服务器，采用Erasure Code冗余方式实现容错，数据冗余分布存储在不同的数据节点上。任一数据节点的损坏，不会导致任何数据丢失，不会影响任何的数据访问和写入过程。之后，通过灵活数据恢复机制，进行数据重建过程。4.

10、高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用Erasure code冗余备份机制，如采用4+1节点间冗余容错，任意损失一个节点，数据不丢失，服务不停止，客户端无感知。第三章 分布式文件系统设计分布式文件系统是整个大华云存储系统的核心，提供了数据存储业务的所有功能。本文件系统借鉴众多现有分布式文件系统设计理念和思想，结合视频监控业务特点，提供了众多功能，包括：文件数据存储与访问功能；利用分布式技术将众多存储设备集群化成一个

11、存储资源池，实现海量数据存储能力；分布式文件系统管理整个存储资源池，构建成一个统一的命名空间；系统提供高可靠、高存储空间利用率的数据冗余策略，保证数据的可靠性；提供灵活、非常适用于视频监控业务的数据恢复机制；利用高可靠主备技术，保证元数据管理服务的高可用性；利用节点间的失败检测与恢复机制，实现存储节点的高可用性；动态负载均衡技术保证整个系统负载均衡，规避数据热点和单存储设备性能瓶颈；通过在线动态增加或删除节点功能，保证存储系统建设的灵活性，以及业务的持续性。分布式文件系统包括元数据管理、块数据管理服务。元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。因元数据访问

12、频繁，故系统将元数据加载缓存至内存中管理，提高访问效率。由于元数据的重要性，元数据损坏或丢失则相当于文件数据丢失，因此实现了元数据服务器主备双机热备，保证高可用，确保小时不间断服务。块数据是指文件数据被按照一定大小（默认64MB）分割而成的多个数据块，分布存储到不同的存储节点服务器上，并通过编解码容错算法产生相应的冗余块。存储服务是运行在每个存储节点服务器上的存储服务程序，负责使用存储服务器上的磁盘空间存储文件数据块，并实现相应的编解码功能以及保证磁盘间的负载均衡等。相比较传统业界的云存储采用块数据简单备份冗余容错机制，存储节点间容错方式大大降低了硬件资源冗余度，提高了磁盘利用率。文件系统采用

13、非对称分布式存储架构，控制流与数据流分离，可通过增加存储节点实现系统的线性扩容。该系统架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。分布式文件系统具有灵活冗余重建功能，确保单节点的损坏不会影响到数据的可读性。1. 数据存储功能数据存储功能是指分布式文件系统提供的，类似单机文件系统所具备的，创建文件、写入数据、关闭文件、打开文件、读取数据、删除文件、文件内定位、获取文件属性等功能。这些功能都是文件系统所必须具备的基本功能，但对于云存储系统而言，也会有一些新的特点。本系统提供的是类对象存储功能，提供两大类操作，Buck

14、et操作和文件对象操作。Bucket是指在分布式文件系统内的一个存储文件的容器，系统中每一个文件，都必须包含在一个Bucket中，Bucket不能嵌套，即Bucket内不允许再次创建Bucket。Bucket通过全局唯一名称标识。扁平的系统结构，使得云存储提供海量存储、线性扩展能力成为可能。这样的扁平结构成为众多分布式文件系统的选择，用户可以创建Bucket，删除Bucket，按照范围罗列Bucket内的文件。Bucket也可以理解为一个空间独立的目录，比如监控领域可以按照摄像头来设置Bucket，给每个摄像头指定相应的存储空间配额。文件对象对应的是用户文件，支持创建文件，设置文件元数据，获取文件元数据，追加写文件，读文件，文件内定位等这些方法，基本和POSIX提供的语义一致。2. 海量存储能力分布式文件系统提供海量存储能力。系统通过良好设计，将数据存储和访问等数据业务流和系统管理、数据管理等相关的控制流分离。数据存储节点负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本