华为FusionStorage技术建议书分布式存储.docx
《华为FusionStorage技术建议书分布式存储.docx》由会员分享,可在线阅读,更多相关《华为FusionStorage技术建议书分布式存储.docx(38页珍藏版)》请在冰豆网上搜索。
华为FusionStorage技术建议书分布式存储
华为FusionStorage分布式存储技术建议书
HuaweiTechnologiesCo.,Ltd.
华为技术有限公司
Allrightsreserved
版权所有XX
Revisionrecord修订记录
//在提供给客户前需删除本页“修订记录”。
本文档只是供内部参考使用,禁止将本文档原封不动发给客户或代理商。
请结合实际项目需要进行必要增删调整。
Date
日期
RevisionVersion
修订
版本
ChangeDescription
修改描述
Author
作者
2014/9/12
V1.0
初稿完成
卢平00232253
2014/11/18
V1.1
评审修改
曾祥勇00159952
秦祖福00172507卢平00232253
TableofContents目录
Revisionrecord修订记录2
TableofContents目录3
1项目概述5
1.1项目背景5
1.2项目需求5
1.3功能需求6
2项目技术方案6
2.1FusionStorage总体架构6
2.2FusionStorage优点概述9
2.3FusionStorage应用场景10
2.3.1FusionStorage与FusionSphere融合场景11
2.3.2FusionStorage与VMware融合场景12
2.3.3FusionStorage与OpenStack融合场景13
3FusionStorage应用中典型硬件平台15
3.1FusionStorage在机架式服务器上使用15
3.2FusionStorage在刀片式服务器上使用19
4FusionStorage应用中网络设计方案20
4.1总体组网方案20
4.2在机架式服务器上使用组网方案22
4.2.1单柜10GE组网22
4.2.2单柜IB存储组网23
4.3在刀片服务器上使用组网方案24
4.3.1虚拟化10GE刀片服务器组网24
4.3.2虚拟化IB+SSD组网25
5服务器数量规划26
5.1FusionStorage按容量和性能计算服务器数量26
6FusionStorage产品特性介绍27
6.1性能卓越27
6.2高可靠32
6.3弹性扩展36
6.4管理简便38
6.5兼容性40
7FusionStorage典型应用案例43
7.1浙江电信选择FusionStorage建设存储资源池43
7.2华为公司计算云-单资源池5KVM45
7.3FusionStorage帮助江苏移动CRM系统建设高性能数据库平台46
7.4华为携手沃达丰打造分布式数据中心48
7.5华为FusionStorage助力深圳海关加速大数据分析49
7.6FusionStorage:
汇港资讯高效证券交易数据发布云平台建设51
7.7华为FusionStorage助力BME高效交付股票交易系统52
8系统软硬件配置清单及说明53
8.1软件配置53
8.2硬件配置53
9缩略语55
1项目概述
1.1项目背景
XXX单位准备采用虚拟化与云计算技术来构建IT系统,提升IT系统的资源利用率,但是传统SAN在企业基础设施池化、云化中面临的主要问题:
●存储资源弹性问题:
多业务负载、资源的动态需求变化
●存储扩展的问题:
共享、扩展面临了诸多的瓶颈和问题(机头、前后端网络、CPU/Cache与HDD不同步问题)
●形态和实施的成本、复杂性问题:
独立的存储网络,建设成本高、实施复杂(初始实施、扩减容等)
●容错和可靠性问题:
大规模集群中容忍的故障域问题(跨机柜、跨机房),硬盘重建时间长问题
针对上述问题,建议使用FusionStorage分布式存储产品解决上述问题,为满足业务平台日益增长的存储需求,为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。
FusionStorage分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现,作为云计算资源池存储资源池的一部分,为计算资源池提供高速、可靠、安全的块存储服务。
1.2项目需求
XXX单位,对存储需求如下,需要根据具体的项目进行修改:
序号
项目
需求描述
备注
1
存储容量要求
30T有效存储容量,SAS磁盘
请根据实际需求刷新
2
性能要求
TPMC不小于600万,并发用户量为1000
请根据实际需求刷新
1.3功能需求
XXX单位,对功能需求如下,需要根据具体的项目进行修改:
1、无性能下降智能精简配置
2、基于快照的高性能链接克隆
3、高性能增量快照技术
4、高可靠---多重数据安全保障机制
5、高性能、低时延---支持全SSD存储
6、高性能、低时延---支持Infiniband网络互联
7、FusionStorage---全分布式平滑扩展
2项目技术方案
2.1FusionStorage总体架构
分布式存储FusionStorage是华为公司设计,完全自主产权的分布式存储架构.作为一种存储与计算高度融合的存储软件,通过突破性的架构和设计,达到高性能、高可靠、高性价比。
它具有一致的、可预测的性能及可扩展性,具有高弹性和自愈能力,具有计算存储高度融合。
FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术,提供分布式存储功能特性。
FusionStorage功能架构图如下所示:
FusionStorage功能模块:
存储接口层:
通过SCSI驱动接口向操作系统、数据库提供卷设备。
存储服务层:
提供各种存储高级特性,如快照、链接克隆、精简配置、分布式cache、容灾备份等。
存储引擎层:
FusionStorage存储基本功能,包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。
存储管理层:
实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能,同时对用户提供Portal界面。
FusionStorage系统软件架构:
FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备,提供比SAN设备更高的IO能力,把性能发挥到极致。
FusionStorage分布式存储系统包含三个子系统:
无状态机头
无状态机头对外提供本地SCSI接口或者ISCSI服务接口,可以部署在存储节点,也可以灵活部署在计算节点。
系统启动时,无状态机头会从元数据集群获取最新的数据分布视图。
在IO过程中,无状态机头会将数据均衡的分发到各个存储节点。
无状态机头提供多种接口支持,其中包括本地SCSI,ISCSI。
本地SCSI支持主流的linux操作系统,其他操作系统可以通过ISCSI接口提供块存储服务。
存储集群
在IO读写过程中,存储集群接收到无状态机头分发的IO请求,会根据副本策略,将IO分发到其他服务器或者机柜上的存储节点;同时存储节点会将每台服务器上的缓存设备划分成读写缓冲区,IO直接写到cache中就向主节点返回。
当缓冲区达到一定的水位后,存储节点会自动将缓冲区的数据刷到主存设备(机械硬盘/SSD)上。
分布式机头
FusionStorage采用无状态的分布式软件机头,机头部署在各个服务器上,无集中式机头的性能瓶颈。
单个服务器上软件机头只占用较少的CPU资源,提供比集中式机头更高的IOPS。
分布式缓存
FusionStorage实现了计算和存储的融合,缓存和带宽都均匀分布到各个服务器节点上。
FusionStorage支持将服务器SSD卡用作读、写缓存,对于数据的写操作,系统数据首先写到SSD的写缓存中,所有副本(三个副本)写缓存成功后,IO立即返回。
同时IO也会将数据缓存均匀分布到各个节点上,所有服务器的缓存总容量远大于采用外置独立存储的方案。
即使采用大容量低成本的SATA硬盘,FusionStorage仍然可以发挥很高的IO性能,整体性能提升1~3倍,同时提供更大的有效容量。
FusionStorage支持PCIeSSD用作数据缓存,除具备通常的写缓存外,增加热点数据统计和缓存功能,加上其大容量的优势,进一步提升了系统性能。
由于分布式缓存带来的性能优势,IO时延,IOPS都能很好的满足数据库的应用,FusionStorage系统可以支持业界主流的数据库,支持OLAP,OLTP等主流业务。
集群元数据管理
FusionStorage分布式存储软件的元数据服务采用集群管理方式,不会出现单点故障,一个节点或者一块硬盘故障自动从集群内隔离出来,不影响整个系统业务的使用。
多数据副本
FusionStorage存储系统中没有使用传统的RAID模式来保证数据的可靠性,而是采用了多副本备份机制,即同一份数据可以复制保存多个副本。
在数据存储前,对数据进行分片,分片后的数据按照一定的规则保存集群节点上。
如下图所示,对于服务器Server1的磁盘Disk1上的数据块P1,它的数据备份为服务器Server2的磁盘Disk2上P1’,P1和P1’构成了同一个数据块的两个副本。
2.2FusionStorage优点概述
●高IOPS,低时延:
应用大容量Cache技术,提升IOPS;
卷被切片分割打散到整个资源池所有硬盘中,条带化宽度增加,单卷可获得的性能大幅提升;
访问均衡,无热点,资源池中各节点的利用率相同;
无需预先设置固定RAID组,大资源池适应应用负载的动态变化;
应用程序通过Cache直达存储,时延更低;
●无级扩容、超大容量:
分布式系统,无管理机头瓶颈,容量几乎不受限制;
无级扩容:
分布式机头(每server服务器相当于一个机头),无性能瓶颈,可无级扩容
非烟囱式扩展:
存储与计算同步平滑扩展。
即插即用式扩容:
扩容后系统自动调整负载平衡,真正实现无级平滑扩容。
●管理简单:
结构简单带来管理简单;
免于低层配置管理:
仅需要做应用层面的管理,免去大量低层配置管理事务。
零性能管理的成本:
自动负载均衡,无热点,故障自愈,无需进行人工性能优化。
●数据重建快:
并行重建速快;
数据分布可以跨服务器或跨机柜,不会因某个服务器、机柜故障导致数据不可访问。
数据分片在资源池内打散,硬盘故障后,可在全资源池范围内自动并行重建,仅重建实际数据,无需热备盘;重建1TB数据时间<30分钟。
2.3FusionStorage应用场景
适合使用FusionStorage的应用场景:
●VDI、OA应用。
其典型特点是:
容量共享精简分配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。
●虚拟化环境混合应用。
其典型特点是:
容量共享需求明显、多应用混合负载、线性扩展。
●OLAP应用。
其典型特点是:
大并发吞吐量,计算和存储带宽要求高。
●OLTP应用。
其典型特点是:
IOPS并发度高。
FusionStorage应用场景图:
2.3.1FusionStorage与FusionSphere融合场景
FusionStorage适合计算和存储融合的系统,传统的虚拟化方式是在相互分离的计算、存储和网络设备上叠加了一层虚拟化软件。
这种方式虽然可以提升资源利用率,但是由于系统的复杂性,并不能简化各类基础设施的运维成本。
FusionStorage把计算服务器的本地硬盘组织成一个类似SAN设备的虚拟存储池,对上层应用提供存储功能。
华为云平台FusionSphere主要有虚拟化基础引擎FusionCompute、云管理FusionManager两大组件组成;FusionStorage与FusionSphere融合使用形成华为FusionCube解决方案应用场景,如下图所示:
2.3.2FusionStorage与VMware融合场景
FusionStorage与VMware融合使用系统主要由五部分组成:
硬件设备、分布式块存储系统,VMware虚拟化平台,统一的云管理平台,备份服务器。
VMware与FusionStorage配套使用的系统架构:
1、系统初始部署时,在每台部署VMware的服务器上部署一个控制虚拟机,该虚拟机上部署FusionStorage的无状态机头,每个无状态机头上会提供ISCSI的服务端。
2、在VMware的ISCSI配置信息中,优先配置本地ISCSI接口信息。
VMware的ESXi会根据配置的ISCSI接口信息,扫描FusionStorage的存储信息。
可以根据扫描出来的LUN组成DataStore。
建议每个DataStore对应一个LUN。
3、创建DataStore后,VCenter就可以通过和ESXi的私有协议,创建虚拟机模板和应用虚拟机。
FusionStorage与VMware融合使用,在网络部署上需要进行存储节点和计算节点分离部署,不能够融合部署。
2.3.3FusionStorage与OpenStack融合场景
FusionSpherePlatform在OpenStack的基础上扩展电信运营商和企业建设IT基础设施及业务平台所需要的特性,使用同一套架构同时支撑公有云和私有云的管理,提供了基于OpenStack、ICT统一的开放云平台。
FusionSpherePlatform保持了OpenStack的开放与兼容性,支持第3方厂商的计算、存储、网络和安全物理硬件,也支持第3方的计算虚拟化、存储虚拟化、网络虚拟化和安全虚拟化产品。
在云服务层面,在OpenStack的基础上提供备份、热迁移、亲和性资源调度、电信云定制化扩展、物理资源池等扩展服务;在运维层面,基于OpenStack提供了安装部署、升级/补丁、管理数据备份/恢复、信息收集、健康检查等运维服务。
基于OpenStack的FusionSphere解决方案系统架构:
组件
功能简介
OpenStack
华为OpenStack是基于开源的OpenStack软件进一步开发的IaaS层软件,提供PaaS层资源和功能,包括虚拟计算服务、对象存储服务、虚拟网络服务、镜像管理、权限管理服务等功能。
FusionManager
分为本地数据中心管理和多数据中心管理模块,是华为公司提供的面向PaaS层资源管理的软件,主要提供物理资源、虚拟资源管理和服务,并实现软件服务自动部署等上层应用功能。
FusionStorage
FusionStorage是一种存储与计算高度融合的分布式存储软件,在通用X86服务器上部署该软件后,可以把所有服务器的本地硬盘组织成一个虚拟存储资源池,提供块存储功能。
SAN
通用SAN设备,向OpenStack提供存储资源。
服务器
X86服务器,向OpenStack提供物理的计算资源。
与FusionStorage软件结合可提供存储资源。
3FusionStorage应用中典型硬件平台
FusionStorage在通用x86服务器上部署分布式存储软件,把所有服务器的本地硬盘组织成一个虚拟存储资源池,提供块存储接口
3.1FusionStorage在机架式服务器上使用
FusionStorage+机架式服务器,实际项目中每台服务器的CPU型号、内存数量,硬盘个数可根据项目需求配置。
机架式服务器硬件图如下:
以华为RH2288为例,硬件外观如下图:
硬盘位置示意图
FusionStorage+机架式服务器有四种刀片类型,MCNA、LCNA、SCNA、CNA。
其中MCNA用于部署管理节点;LCNA、SCNA、CNA用于部署用户虚拟机。
几个刀片类型说明如下:
1、MCNA:
管理节点,必配。
至少两台服务器,需要配置2P*6核以上CPU,内存至少64G,默认128G。
同时作为FusionStorage存储节点。
虚拟机部署VRM(4Core/8G内存/50G存储)、FusionManager(4Core/16G内存/280G存储)、这些管理软件采用虚拟机部署,管理虚拟机需要独占本地的两块硬盘提供存储。
部署FusionStorage管理和控制软件,这些软件运行在Domain0,需要1CoreCPU,至少25G内存,FusionStorage管理需要独占一块专门的硬盘。
另外配置6~11个硬盘用于FusionStorage业务存储。
2、LCNA:
计算和存储节点,必配。
同时提供计算和FusionStorage存储能力,可部署用户虚拟机。
和SCNA的业务功能相同,区别在于LCNA部署了FusionStorage的MDC软件。
根据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)
LCNA节点部署FusionStorage管理和控制软件,这些软件运行在Domain0,需要1CoreCPU,至少25G内存。
FusionStorage管理需要独占一块专门的硬盘。
另外配置6~11个硬盘用于FusionStorage业务存储。
剩余计算资源可用于部署业务虚拟机。
3、SCNA:
计算和存储节点,必配。
同时提供计算和FusionStorage存储能力,可部署用户虚拟机。
根据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)
部署FusionStorage管理和控制软件,这些软件运行在Domain0,需要1CoreCPU,至少25G内存。
另外配置6~11个硬盘用于FusionStorage业务存储。
剩余计算资源可用于部署业务虚拟机。
4、CNA:
计算节点,选配。
提供计算能力,部署用户虚拟机。
根据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)
部署业务虚拟机。
1)存储
虚拟化应用中未使用传统的SAN设备,存储直接使用2288H服务器上的本地硬盘配合高性能SSD卡做读写缓存介质。
RH2288H上的本地硬盘根据存储位置,分为前置硬盘和后置硬盘。
●后置硬盘:
2块2.5存SAS盘,用于部署虚拟化Domain0及FusionSphere(或其他虚拟化平台)管理节点VM,根据管理节点的资源消耗,MCNA选择的是600GSAS(FC/FM/FSM管理节点需要消耗约440G的存储空间),LCNA和SCNA均配置300GSAS即可满足要求。
●前置硬盘:
选择3.5存SATA盘,物理位置可插12块,支持1T/2T/3T/4T多种配置,可根据用户业务模型选择不同的配置。
SSD卡选择华为TecalES3000PCIeSSD高性能存储卡(以下简称ES3000,外观如下图),ES3000为标准的PCIe全高半长插卡,接口类型为PCIe2.0x8,适合安装在机架服务器等通用服务器内,适用于搜索引擎、Cache、数据库、视频服务等随机读写操作频繁和IOPS要求较高的业务,具有高性能、高IOPS、高可靠、易维护等优点。
ES3000外观
2)交换机
每柜配置一对24口10GE交换机S6724,1个GE交换机S5728,多柜间使用48口或24口的10GE交换机S67XX做汇聚。
汇聚交换机也可以使用局方的交换机,但网口和数量要求同华为交换机。
3.2FusionStorage在刀片式服务器上使用
FusionStorag+刀片式服务器的物理形态组成,支持计算、存储、交换、电源模块化设计,计算和存储节点按需混配,支持10GE交换模块,根据业务要求灵活配置
FusionStorage+刀片式服务器有四种刀片类型,MCNA、LCNA、SCNA、CNA。
其中MCNA用于部署管理节点;LCNA、SCNA、CNA用于部署用户虚拟机。
几个刀片类型说明如下:
1、MCNA:
管理节点,必配。
至少两台服务器(目前数据库一体机部署MCNA节点只需要一台服务器),需要配置2P*6核以上CPU,内存至少64G,默认128G。
同时作为FusionStorage存储节点。
虚拟机部署VRM(4Core/8G内存/50G存储)、FusionManager(4Core/16G内存/280G存储)、FusionAccess管理软件,这些管理软件采用虚拟机部署,管理虚拟机需要独占本地的两块硬盘提供存储。
部署FusionStorage管理和控制软件,这些软件运行在Domain0,需要1CoreCPU,至少25G内存,FusionStorage管理需要独占一块专门的硬盘。
另外配置6~12个硬盘用于FusionSorage业务存储。
2、LCNA:
计算和存储节点,必配。
同时提供计算和FusionStorage存储能力,可部署用户虚拟机。
和SCNA的业务功能相同,区别在于LCNA部署了FusionStorage的MDC软件。
根据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)
部署FusionStorage管理和控制软件,这些软件运行在Domain0,需要1CoreCPU,至少25G内存。
FusionStorage管理需要独占一块专门的硬盘(用于部署zookeeper进程)。
另外配置6~12个硬盘用于FusionSorage业务存储。
部署用户虚拟机。
3、SCNA:
计算和存储节点,必配。
同时提供计算和FusionStorage存储能力,可部署用户虚拟机。
根据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)
部署FusionStorage管理和控制软件,这些软件运行在Domain0,需要1CoreCPU,至少25G内存。
另外配置6~12个硬盘用于FusionStorage业务存储,部署用户虚拟机。
4、CNA:
计算节点,选配。
提供计算能力,部署用户虚拟机。
根据部署的用户虚拟机规格和内存确定CPU型号(默认2P*2640)和内存配置(至少配置64G,默认128G)
部署用户虚拟机。
4FusionStorage应用中网络设计方案
注:
后续会支持其他厂商的服务器异构,比如HP,DELL,IBM的服务器,本方案中以RH2288和E9000为例进行组网说明,其他服务器的组网与下面的RH2288的组网类似,请根据实际情景进行修改。
4.1总体组网方案
1、使用计算和存储融合架构,资源池化,统一运维。
2、业务、存储、管理三网隔离,保证安全,存储网络内部运行,对客户网络部可见。
3、虚拟化和桌面云的应用场景使用10GE网络,数据仓库场景使用的情况下使用IB网络。
4.2在机架式服务器上使用组网方案
4.2.1单柜10GE组网
接入交换机采用S6724/S6324接入部署,服务器可采用华为RH5885,RH2288H;其他公司如HP,DELL,IBM的服务器。
说明:
1、服务器上默认配置一块2*10GE的网卡,分别与两台10GE交换机连接,两个网口做bond,缺省为负载分担规模
2、服务器的BMC网口与一台GE交换机连接,GE交换机上行两个GE线缆分别与两个10GE交换机连接
3、10GE交换机下行承担内部管理、存储、业务平面,10GE上行对接客户网络,默认提供4*10GE,两台10GE交换机堆叠
4、以华为RH2288