华为RAID技术培训胶片.pptx

1、华为RAID2.0+技术培训胶片,Please delete this page before you present to customer,目录,RAID2.0+技术亮点,RAID技术演变,RAID2.0+原理及概念,1,2,3,块虚拟化技术竞争对比,4,什么是RAID？,RAID（Redundant Array of Independent Disks）即独立磁盘冗余阵列，1987年由美国加州大学的伯克利分校提出，其基本思想是把多个独立的物理硬盘通过相关的算法组合成一个虚拟的逻辑硬盘，从而提供更大、更高，或更高的。,容量,性能,数据容错功能,块虚拟化技术背景,传统RAID受限于硬盘数量，

2、在数据容量剧增的年代无法满足企业对资源统一灵活调配的需求存储智能高效的发展趋势要求底层的数据分布架构必须具有高度灵活性和扩展性，随着硬盘容量的增大，以硬盘为单位对数据进行管理也显得越来越力不从心,存储市场保持年平均增长10%，为了满足数据增长的需求，磁盘设备制造商不断地提升技术来增加磁盘单位存储密度传统RAID的重构：应用系统整体性能下降，漫长重构时间、数据丢失风险剧增,以 7.2K RPM 4TB磁盘为例，在传统的RAID5（8D+1P）中，其重构时间在40个小时左右,块虚拟化的发展,传统RAID厂商,EMC、NetApp,华为、HP 3PAR、IBM,目录,RAID2.0+技术亮点,RAI

3、D技术演变,RAID2.0+原理及概念,1,2,3,块虚拟化技术竞争对比,4,RAID2.0+概述,Virtual for Pool,Virtual for Disk,RAID2.0+关键原理,映射,硬盘域,存储池,存储池,Extent,Extent,Grain,LUN 0(Thick),LUN 1(Thick),LUN 2(Thin),硬盘域内每个硬盘被切分为固定64MB的块（CK）,硬盘域内同种类型的硬盘被划分为一个个的Disk Group（DG），从同一个DG上随机选择多个硬盘，每个硬盘选取一个CK按照RAID算法组成Chunk Group（CKG）,CKG被划分为固定大小的Extent

4、,Thick LUN以Extent为单位映射到LUN,Grain在Extent的基础上进行更细粒度的划分,Thin LUN以Grain 为单位映射到LUN,RAID2.0+软件逻辑对象,Disk Domain（磁盘域）Storage Pool（存储池）&TierDisk Group（DG）LD（逻辑磁盘）Chunk（CK）Chunk Group（CKG）ExtentGrainVolume&LUN,Disk Domain（磁盘域）,Disk Domain即硬盘域，是一堆硬盘的组合（可以是整个系统所有硬盘），这些硬盘整合并预留热备容量后统一向存储池提供存储资源。OceanStor高端存储系统可以一

5、个或多个硬盘域一个硬盘域上可以创建多个存储池（Storage Pool）一个硬盘域的硬盘可以选择SSD、SAS、NL-SAS中的一种或者多种不同硬盘域之间是完全隔离的，包括故障域、性能和存储资源等,Storage Pool（存储池）&Tier,Storage Pool即存储池，是存放存储空间资源的容器，所有应用服务器使用的存储空间都来自于存储池。一个存储池基于指定的一个硬盘域创建，可以从该硬盘域上动态的分配Chunk（CK）资源，并按照每个存储层级（Tier）的“RAID策略”组成Chunk Group（CKG）向应用提供具有RAID保护的存储资源。Tier即存储层级，存储池中性能类似的存储介

6、质集合，用于管理不同性能的存储介质，以便为不同性能要求的应用提供不同存储空间。存储池根据硬盘类型可划分为多个Tier。创建存储池可以指定该存储池从硬盘域上划分的存储层级（Tier）类型以及该类型的“RAID策略”和“容量”。OceanStor高端存储系统支持RAID5、RAID6和RAID10。容量层由大容量的NL-SAS盘组成，RAID策略建议使用双重校验方式的RAID6。,Disk Group（DG）,Disk Group（DG）即硬盘组，由硬盘域内相同类型的多个硬盘组成的集合，硬盘类型包括SSD、SAS和NL-SAS三种。OceanStor高端存储系统会在每个硬盘域内根据每种类型的硬盘数

7、量自动划分为一个或多个Disk Group（DG）。一个Disk Group（DG）只包含一种硬盘类型任意一个CKG的多个CK来自于同一个Disk Group（DG）的不同硬盘,LD（逻辑磁盘）,Logical Drive（LD）即逻辑磁盘，是被OceanStor高端存储系统所管理的硬盘，和物理硬盘一一对应。,Chunk（CK）,Chunk简称CK，是存储池内的硬盘空间切分成若干固定大小的物理空间，每块物理空间的大小为64MB，是组成RAID的基本单位。,Chunk Group（CKG）,Chunk Group简称CKG，是由来自于同一个DG内不同硬盘的CK按照RAID算法组成的逻辑存储单元，

8、是存储池从硬盘域上分配资源的最小单位。一个CKG中的CK均来自于同一个DG中的硬盘CKG具有RAID属性（RAID属性实际配置在Tier上）CK和CKG均属于系统内部对象，由OceanStor高端存储系统自动完成配置，对外不体现。,Extent,Extent是在CKG基础上划分的固定大小的逻辑存储空间，大小可调，是热点数据统计和迁移的最小单元（数据迁移粒度），也是存储池中申请空间、释放空间的最小单位。一个Extent归属于一个Volume或一个LUNExtent大小在创建存储池时可以进行设置，创建之后不可更改不同存储池的Extent大小可以不同，但同一存储池中的Extent大小是统一的,Oce

9、anStor高端存储系统 C99和T V2的Extent范围为1MB64MB，OceanStor高端存储系统 C00的Extent范围为512KB64MB，默认为4MB,Grain,在Thin LUN模式下，Extent按照固定大小被进一步划分为更细粒度的块，这些块称之为Grain。Thin LUN以Grain为粒度进行空间分配，Grain内的LBA是连续的。Thin LUN以Grain为单位映射到LUN，对于Thick LUN，没有该对象,T V2的Grain粒度默认为32KB（可通过CLI指定范围为8KB-256KB），OceanStor高端存储系统的Grain粒度固定为64KB。,Vol

10、ume&LUN,Volume即卷，是系统内部管理对象，一个Volume对象用于组织同一个LUN的所有Extent、Grain逻辑存储单元，可动态申请释放Extent来增加或者减少Volume实际占用的空间。LUN是可以直接映射给主机读写的存储单元，是Volume对象的对外体现。,目录,RAID2.0+技术亮点,RAID技术演变,RAID2.0+原理及概念,1,2,3,块虚拟化技术竞争对比,4,自动负载均衡，降低整体故障率,Duty-Cycle：忙闲度，指的是硬盘工作时间占总上电时间的比例AFR：硬盘年故障率,数据在存储池中硬盘上的自动均衡分布，避免了硬盘的冷热不均，从而降低了存储系统整体的故障

11、率,快速精简重构，改善双盘失效率,Few-to-One Rebuild,传统RAID重构原理,RAID2.0+重构原理,hotspots&long rebuild exposure,Many-to-Many Rebuild,parallel rebuilds in less time,快速精简重构，改善双盘失效率,1TB/30MB=9.26 h,故障自检自愈，保证系统可靠性,【关于RAID2.0+可靠性】,负荷分担：RAID2.0+使得硬盘更加均衡地工作，避免了传统RAID可能出现的硬盘“过劳死”问题。稳健重构：RAID2.0+技术使得发生重构时有更多的硬盘来分担重构负荷，减少了每块硬盘承担的

12、重构工作量，大大降低了重构期间再发生硬盘故障的风险。快速重构：RAID2.0+大大减少了重构的时间窗，使得系统能在尽可能短的时间内恢复到容错状态，从而提升系统的可靠性。精简重构：RAID2.0+能够通过元数据感知已分配空间中哪些是已使用的，因此在重构时仅重构已使用空间，减少了重构数据量，进一步缩短了重构时间，降低了重构风险。自检自愈：RAID2.0+采用分布式的热备空间，当系统检测到故障时，只要硬盘中有空闲的空间（CK），即可自动启动重构，在提升可靠性的同时大大降低了管理成本。失效数据量：传统RAID失效后，影响的是RAID组上的所有数据；而RAID2.0+发生多盘失效后，只有和多块失效硬盘都

13、相关联的数据才会失效，大部分的数据仍然可以访问，失效数据量与传统RAID相比按数量级减少。,下表是基于Markov模型，综合考虑数据丢失概率和丢失数据量得出的两种技术的数据丢失风险：综合数据丢失概率和丢失数据量来看，不管是采用RAID5、RAID6还是RAID10，RAID2.0+丢失数据的风险与传统RAID相比均大幅降低（RAID5、RAID6、RAID10分别降低约16倍、69倍、39倍）故障隔离：通过Disk Domain和DG来进行资源和故障隔离。,【关于RAID2.0+可靠性】,【RAID2.0+双盘失效分析】,RAID技术是构成存储数据保护的基础，讨论双盘失效的问题，其本质仍然在于

14、RAID的容错能力：对于RAID5来讲，其可容错的故障数为1（对于传统RAID来说，单位为硬盘，对于RAID2.0+来说，单位为块）；对于RAID6来讲，可容错的故障数为2。因此，若采用RAID6等双校验的保护类型，无论是传统RAID还是基于块虚拟化的RAID2.0+，在双盘失效时数据都是不会丢失。若采用RAID5，对于传统RAID来说，双盘失效一定会导致数据丢失，而采用RAID2.0+技术的OceanStor高端存储系统，只要双盘失效时每个CKG中不会同时出现两个失效的块（CK），那么数据是不会丢失的。,【RAID2.0+双盘失效分析】,【RAID2.0+双盘失效分析】,虚拟池化设计，降低存

15、储规划管理难度,基于虚拟化的RAID2.0+技术，使得管理员只需要维护少量的存储资源池，所有的RAID配置在创建存储池时自动配置完成，同时，系统会自动根据制定的策略来智能管理和调度系统资源，大大降低了规划和管理的难度。,创建步骤,Pool创建对比,增加LUN所跨硬盘数，大幅提升单LUN性能,传统存储的RAID通常是以单个磁盘为粒度来建立RAID，RAID被限制在有限的几个磁盘上，不能充分发挥每个磁盘的所有资源。所以当主机对一个较小的卷进行密集访问时，只能访问到有限的几个磁盘，这就造成磁盘访问瓶颈，导致磁盘热点。而RAID2.0+技术基于Chunk而非物理磁盘构成RAID。一个物理磁盘上的不同C

16、K可以用于构成不同RAID类型的卷。这种基于条块（CK）的实现，可以在同一个物理磁盘上实现不同的RAID类型，为每个卷的RAID类型提供更优化的选择。对于OceanStor高端存储系统而言，即使是很小的卷也可以通过CK的方式分布到很多磁盘上。宽条带化技术使得小的卷不再需要额外的大容量即可获得足够的高性能，且避免了磁盘热点。物理磁盘上剩余的CK还可以用于其它的卷。,空间动态分布，灵活适应业务变化,RAID2.0+基于业界领先的块虚拟化技术实现，卷上的数据和业务负荷会自动均匀分布到存储池所有的物理硬盘上，借助于智能的Smart系列效率提升套件，OceanStor高端存储系统能自动根据业务所需的性能、容量、冷热数据等因素在后台进行智能调配，灵活地适应企业业务的快速变化,目录,RAID2.0+技术亮点,RAID技术演变,RAID2.0+原理及概念,1,2,3,块虚拟化技术竞争对比,4,HP 3PAR,受物理结构限制，4个硬盘为一组,Physical disk space allocated in 256MB or 1GB units,Chunklets arranged as rows of