SAP HANA一体机技术白皮书分布式存储.docx

1、SAP HANA一体机技术白皮书分布式存储华为SAP HANA一体机技术白皮书-集群版（分布式存储）文档版本V1.0发布日期2014-01-26华为技术有限公司版权所有 华为技术有限公司 2013。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何

2、明示或暗示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：前 言修改记录日期修订版本描述作者2013-01-260.9初稿闵小勇001186972013-04-101.0评审修改稿闵小勇001186971 SAP HANA概述数字化浪潮正在开始席卷这个星球，如何实时快速处理巨大的数据量，需要一种创新性的处理设备，SAP HANA一体机就是这样一种设备。本文档描述了基于华为FusionCube的SAP H

3、ANA一体机架构、软硬件及其配置形态，本文档供销售工程师、渠道商、高级业务经理以及希望用FusionCube部署高性能数据处理设施的客户。1.1 什么是SAP HANA一体机SAP HANA是SAP公司于2011/06年推出的内存数据库软件平台产品。SAP HANA一体机是将SAP HANA数据库软件和经过SAP认证的硬件基础设施结合而形成的一体机产品，其主要目标市场是数据仓库市场（OLAP），支撑企业进行实时的数据分析；同时，也支持交易式数据处理市场（OLTP）：SAP HANA是SAP提供的内存数据库平台 ；一般以软件+硬件+管理的一体机形式交付； 交付主要由经过认证的硬件合作伙伴提供；

4、适用于OLAP类型应用，也可以用于OLTP；SAP提供丰富的周边应用软件，包括数据复制、BI等 ；向应用层提供SQLMDXBICS接口； (MDX: Multi dimension expression, BICS: Business Intelligence Consumer Services)提供多种数据导入的方式； SAP历史上增长最快的产品； 世界上最快的数据库，根据已经上线的2000多个例子，比客户原数据库系统快成百上千、甚至上万倍；图1-1 SAP HANA简介1.2 SAP HANA应用场景图1-1 SAP HANA应用场景简介SAP HANA可以应用于多个场景：SAP HANA

5、作为其他数据库的加速器；SAP HANA直接作为报表分析的数据源；SAP HANA直接用作OLAP分析型数据仓库：SAP HANA直接作为OLTP套件的数据库：SAP HANA直接作为SAP公司统一的数据库平台；1.3 SAP HANA一体机上下文图1-1 SAP HANA上下文Data Sources和Data Services： 负责向SAP HANA提供分析数据，有些数据（SAP ERP System）可以直接通过Replication Agent直接导入到SAP HANA，有些数据（SAP BW System和第三方系统）需要通过Data Services软件转换后导入SAP HANA

6、。SAP HANA Appliance: 提供内存数据库的实现，进行数据的存储、查询、计算。Admin Workstations：是SAP HANA系统管理员的客户端，可以通过SAP HANA Studio等软件来管理和使用SAP HANA系统。End Users WorkStations：是SAP HANA系统的终端用户客户端, 终端用户可以通过Excel、Web BI等形式来管理和使用SAP HANA系统。SAP HANA Database client提供JDBC、ODBC、ODBO、SQL DBC等接口，使得各应用软件可以以标准的SQL形式访问到SAP HANA数据库1.4 本文范围华

7、为 SAP HANA一体机包括单机版(Single Node)和集群版(Scale Out)：单机版本，参见华为SAP HANA一体机技术白皮书-单机版集群版本的HANA一体机叫做华为FusionCube SAP HANA一体机，其中集群版又包括两种：基于分布式存储的集群版本；如果无特别说明，本文范围都是指基于分布式存储的SAP HANA一体机的集群版本，有时候也叫做基于融合架构的SAP HANA一体机集群版本；基于SAN存储的集群版本；参见华为SAP HANA一体机技术白皮书-集群版（SAN存储）；2 华为SAP HANA一体机概述2.1 华为FusionCube SAP HANA一体机华为

8、作为SAP 的全球战略合作伙伴，联合推出了基于华为硬件平台的SAP HANA一体机，我们都统称为华为SAP HANA一体机。单机版本基于华为RH5885机架式服务器实现，华为已经通过了全系列的单机版SAP HANA一体机认证（包括XS/S/M/L/L+系列）；集群版本基于华为的FusionCube刀片式服务器，统称为华为FusionCube SAP HANA一体机（本文后面也简称为华为SAP HANA一体机），目前有2种实现方式，包括： 融合架构方案：E9000+FusionStorageSAN存储方案：E9000+IPSAN本文档描述的是基于E9000+FusionStorage的Fusio

9、nCube SAP HANA一体机集群方案。基于融合架构的华为SAP HANA一体机由SAP HANA内存数据库软件和华为的E9000基础设施组成。通过采用分布式存储、高速SSD卡、一体化的安装和集成等技术，从而提供高密度、高性能、高性价比的SAP HANA一体机解决方案。说明：在华为FusionCube系列一体机产品中，SAP HANA一体机属于数据库基础设施的一种。数据库基础设施在安装不同数据库软件的时候，可以分别叫Oracle RAC(Real-time application Cluster)数据库一体机、SybaseIQ数据库一体机、SAP HANA数据库一体机等。2.2 华为Fus

10、ionCube SAP HANA一体机销售形态华为SAP HANA一体机主要属于被集成的销售形式，即由渠道商/分销商作为主界面与客户进行合同签订，华为提供SAP HANA一体机设备；根据与SAP的合同约定，华为提供SAP HANA一体机硬件设施部分的原厂服务；华为SAP HANA集群方案有2种节点型号，分别是512G内存的节点（称为M型节点，即中型节点）和1T内存的节点（称为L型节点，即大型节点）；SAP HANA销售时根据用户的源数据量，用户选择的节点型号，就可以计算出用户需要多大规模的集群。SAP HANA以64G内存为单位进行软件License的销售。硬件另外销售，不包含在SAP HAN

11、A数据库软件License里面。硬件伙伴销售的范围包括：硬件设备（计算、存储、网络）、硬件设备的服务、OS。用户购买华为SAP HANA一体机需要获得2个License许可：SAP HANA软件License：按照内存大小收费；此License可以由用户直接向SAP 购买；FusionStorage软件License：按照磁盘存储容量大小收费，按照每T的收费形式；2.3 SAP HANA一体机软硬件架构2.3.1 SAP HANA一体机集群架构图2-1 SAP HANA集群示意图SAP HANA一体机集群版本由多个节点（Node）构成，本文约定如下对节点名称的叫法：SAP HANA节点：构成S

12、AP HANA集群的逻辑单元。1个SAP HANA节点包括了指定规格的CPU、内存、Log盘和Data盘。SAP HANA一体机销售时，就是按照SAP HANA节点的Size（即每个节点的内存大小）和个数进行报价的。1个SAP HANA节点在物理上可以有多种表现形态，与硬件厂家的具体实现方案有关。在华为方案中：1个SAP HANA节点物理上对应1个CH242刀片，再加上由CH223或者CH222刀片构成的存储池的一部分。计算节点：负责内存数据库计算的部分。华为方案中，CH242刀片上安装有SAP HANA数据库，负责数据的计算，称为计算节点。存储节点：在SAP HANA解决方案中，负责数据的持

13、久化保存的部分，称为存储节点。在华为方案中，数据的持久化保存在E9000中的CH223/CH222刀片上，因此一个CH223/CH222刀片就是一个存储节点；一个SAP HANA节点肯定包括一个计算节点，但是不一定有物理上单独的存储节点；因此，有时候我们说SAP HANA节点，计算节点是同一个概念；SAP HANA节点的角色（见图4）：包括三类节点：主节点、从节点、备用节点，这三类节点在物理部署时不能合设。主节点（Master）：配置有3个，但只有一个激活（从3个Master配置角色中选举，这是SAP HANA软件本身的集群管理机制）。起到全局事务协调器的作用。保存计算节点集群信息的全局元数据

14、。从节点(Slave)：缓存需要的元数据，采用分布式架构，承担由主节点分配来的任务，执行对应的数据库操作。一个集群内多个。备用节点(Standby)：切换时接管故障节点。一个集群可以0到多个。正常情况下此节点的软件是运行的，只不过其内存数据库中没有数据，不能执行业务处理。切换的过程是自动进行的。图2-2 SAP HANA节点角色示意图SAP HANA节点的主要进程（见图5）：每个节点主要包括NameServer、IndexServer、EsEngine、StatisticsServer等进程。NameServer有配置角色和实际角色的区分，配置角色包括Master和Slave两种，只会有3个节

15、点配置为Master角色，实际角色只会有一个节点是Master角色。在实际Master角色的节点故障时，它只能从其他两个也是配置成Master角色的节点中选择1个；IndexServer也有配置角色和实际角色，配置角色包括Worker和Standby两种，Standby的配置角色可以是0个或多个；实际角色包括Master、Slave和Standby三种，只会有一个节点是实际的Master角色。NameServer和IndexServer是2个不同的集群，但是他们的实际Master角色保持一致图2-3 SAP HANA主要进程示意图2.3.2 SAP HANA一体机部署架构图2-1 SAP HA

16、NA主要进程部署示意图在主节点上安装有：SAP HANA Studio:SAP HANA数据库的管理客户端，可以进行SAP HANA数据库建模、配置、监控、告警等；SAP HANA Client：数据库客户端软件，提供如ODBC等接口，供用户访问数据库数据；SAP HANA Database：内存数据库实现软件；其部署包括几个进程：NameServer:命名服务器，负责集群管理，三个Master角色，1个激活Master角色；IndexServer:索引服务器，是真正执行数据库操作的模块。分为Master、Slave、Standby角色。StatisticsServer：统计服务器，负责记录数

17、据库的运行信息，只在Master上运行。SAP SMD Agent:系统统一管理的代理，用于在整个SAP集成解决方案中对SAP HANA进行管理；SUM for SAP HANA ：软件升级管理器；Master节点通过这个软件，自动连接到SAP公司的软件更新平台，负责master、slave、standby所有节点上SAP HANA相关软件的升级。OS和驱动是由硬件厂家厂家负责安装和升级的。SAP Host Agent ：主机代理，来自远端的重启/停止等对节点的操作命令通过这个模块来实施；这些操作都是对SAP HANA软件的操作。SAPCAR ：安装脚本 ，这些脚本只对SAP HANA软件起作

18、用。在其他节点（从节点和备用节点上）SAP Host Agent：SAP HANA Client：SAP HANA Database：SAP SMD Agent：2.3.3 SAP HANA一体机软件架构图2-1 SAP HANA主要软件架构示意图SAP HANA Database是整个系统的核心部分，图中红色框之内是SAP HANA Database按照功能区分的主要模块：Session Management:会话管理模块，负责与各种业务客户端软件进行连接管理的模块；Replication Server和Load Controller: 复制管理模块，负责将ERP/SAP NetWeaver

19、/第三方数据库等的数据复制到SAP HANA数据库；Transaction Manager：事务管理模块，负责对数据库事务管理，当一个事务完成后，会要求做数据持久化操作；Authorization Manager:认证管理模块，对连接到SAP HANA数据库的客户端用户进行权限管理；Metedata Manager：元数据管理模块。它会与SAP HANA Studio中的Modelling以及SAP Data Service（SAP一种ETL服务软件）相配合，对所有建立到SAP HANA数据库中，或者导入到SAP HANA数据库中的数据的元数据进行管理；SQL Parser：SQL语句解析优化

20、器；负责对于业务客户端来的SQL请求进行分析和解析，将一个SQL工作分解成多个子任务，分发给所有的节点去完成；MDX:多维表达式，对来自Excel等应用端的复杂计算进行分析和解析；SQL Script：提供类似于存储过程的复杂编程能力；Calc Engine：执行SQL计算的模块；ROW Store：行记录内存数据库；Column Store：列存储内存数据库；Page Management和 Logger：持久化保存处理模块，负责将内存数据库的记录同步或者异步的写入SSD或者HDD中3 FusionCube SAP HANA一体机系统组成3.1 系统总体架构如下是华为FusionCube S

21、AP HANA一体机的总体架构图：图3-1 华为FusionCube SAP HANA一体机总体架构华为SAP HANA一体机基于华为的融合基础设施FusionCube一体机（Huawei FusionCube Converged Infrastructure）,这是华为公司IT产品线云计算领域的旗舰产品。FusionCube遵循开放架构标准，在12U机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分布式存储引擎及云管理软件，资源可按需调配、线性扩展。计算/存储/网络融合设备：硬件设备使用E9000，支持计算、存储、交换、电源、风扇等部件的模块化设计，

22、计算、存储、网络都在E9000框内部署完成，计算和存储节点可按需灵活配置。支持丰富的交换模块，如GE,10GE,FC,FCoE,IB等 FusionStorage：使用分布式云存储技术，通过合理有序组织存储刀片服务器的本地硬盘，提供高性能高可靠的块存储业务。FusionManager：负责云平台资源管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核心，提供基于web的统一维护界面；整个系统的业务通过云管理FusionManager呈现；用户管理、集群管理、业务模板管理、虚拟机管理、桌面发放、统一硬件管理、告警、监控等功能均由FusionManager对外提供。文件系统：为实现与SAP

23、HANA数据库层的接口对接，华为适配了OCFS2集群文件系统，以及XFS本地文件系统。XFS和FusionStorage的结合使得华为可以提供基于块接口的存储，由于无需采用NFS，性能和可靠性都有提高；3.2 计算存储网络融合设备3.2.1 E9000高密度机框华为FusionCube SAP HANA的硬件采用华为公司自研的Tecal E9000（以下简称E9000）机箱产品，这是一款计算、存储、网络融合的硬件设备，提供12U空间，可安装华为E9000系列计算节点、存储节点、业务处理节点以及相应的资源扩展节点。可配置8个横插的全宽计算节点或者16个半宽计算节点，支持槽位拆分。在SAP HAN

24、A一体机中，全部使用全宽刀片节点。半宽槽位散热能力850W。全宽槽位散热能力1700W。半宽槽位最大支持2P+24DIMM的计算节点。全宽槽位最大支持4P+48DIMM的计算节点。单机箱支持32CPU/480core计算密度，最大12TB内存。背板最大交换容量15.6Tbps。4个（2对）交换槽位，支持Eth/FC/FCoE/IB等多种交换协议类型，支持直出I/O接口。FusionCube一柜最大可支持3个E9000机框；图3-1 E9000外观3.2.2 E9000高密度刀片FusionCube支持多种类型的刀片，其中在SAP HANA一体机中使用的有：2.2.2.1基于Westmere E

25、X的CH242计算刀片图3-1 CH242计算刀片主要参数：形态 全宽单槽4S刀片服务器 处理器数量 2/4 个 处理器型号 Intel Xeon Westmere E7-4800系列6核、8核、10核处理器内存插槽 32个DDR3 DIMM插槽，最大内存容量1TB 硬盘数量 8个2.5英寸SSD、SAS或SATA硬盘RAID支持 支持RAID0、1、10、5、50、6、60，1GB RAID CachePCIe扩展 支持扩展2个PCIe x16 MEZZ扣卡 支持扩展1个PCIe x8FHHL的标准卡 操作系统支持 Microsoft Windows Sever 2008/2012SSUSE

26、 Linux Enterprise ServerCitrix XenServer VMware ESX 工作温度 5-40 尺寸（WDH） 423 mm*525mm*60.46mm主要特点：超强性能：全宽槽位支持部署4个E7-4800系列CPU，32根内存，最大内存容量达1T超大存储：全宽槽位最多可配置8个2.5寸硬盘，最大硬盘容量8T，适合对性能和容量均要求较高的数据库应用灵活开放：支持标准PCIe扩展插槽，用户可灵活选择标准PCIe插卡进行业务优化2.2.2.2基于Ivybridge EX的CH242 V3计算刀片结构形状同CH242，主要不同：CH242支持的CPU是Westmere平台

27、；CH242 V3升级到Ivybridge平台，且每个CPU最大有15核。CH242只支持1个MZ512的10GE网卡；CH242 V3支持2个MZ512的10GE网卡。CH242母板上自带RAID卡；CH242 V3母板不带RAID卡，需要另外配置。2.2.2.3CH222管理刀片图3-2 CH222 管理刀片CH222刀片具有如下特点：（1）2P Intel Xeon E5-2600 V1/V2系列高性能处理器；（2）24个DIMM插槽，支持高达768G DDR3内存；（3）最大支持15个2.5英寸SSD、SAS或SATA硬盘；（4）独特热插拔设计，支持单个硬盘带电更换,可选支持 1个PC

28、Ie x16 全高3/4长标准插槽 。CH222作为管理刀片使用时，仅安装2个硬盘作为系统盘，其他硬盘位置空着。2.2.2.4CH222存储刀片参数同CH222管理刀片，仅是在实际使用时硬盘配置稍有不同。除了2个系统盘外，还安装有12或者13个硬盘。2.2.2.5CH223存储刀片图3-3 CH223 存储刀片主要参数：形态 全宽单槽2S刀片服务器 处理器数量 1/2 个 处理器型号 Intel Xeon E5-2600或Intel Xeon E5-2600 V2处理器 内存插槽 24个DDR3 DIMM插槽，最大内存容量768GB 硬盘数量 2个2.5英寸SSD、SAS或SATA硬盘RAID

29、支持 支持RAID0、1PCIe扩展 支持扩展2个PCIe x16 MEZZ扣卡(CH220/CH221)(注：MEZZ2被占用)支持扩展4个PCIe x8FHHL标准卡(CH220)或2个PCIe x16FHHL标准卡(CH221)操作系统支持 Microsoft Windows Sever 2008/2012Red Hat Enterprise LinuxSUSE Linux Enterprise ServerCitrix XenServer VMware ESX工作温度 5-40 尺寸（WDH） 423 mm*525mm*60.46mm主要特点：超强扩展：支持标准PCIe扩展插槽，最大支

30、持全宽槽位部署4个PCIe卡，每个可以插2.4TB SSD。1.5倍高内存：支持1.5倍高大内存，大内存应用性价比业界第一 3.2.3 E9000高性能交换以太网交换HANA一体机以太网交换采用CX310交换模块。CX310是E9000机框式服务器的交换控制单元，为整个系统内部各服务槽位提供数据交换功能，并集中对外提供业务接口和管理接口。物理图如下：图3-1 CX310外观其支持的功能和性能指标如下：表3-1 CX310指标项目说明面板接口数量提供1个BMC串口和1个SYS串口。提供16个上行10GE以太网光口。交换容量 1.28 Tbit/s包转发率 960Mpps Ethernet支持全双工、自动协商工作方式支持GE、10GE速率VLAN支持Access、Trunk、Hybrid方式支持default VLAN支持QinQ、增强型灵活QinQ支持MUX VLANQoS支持基于Layer2协议、Layer3协议、Layer4协议、802.1p优先级等的组合流分类支持ACL、CAR、Remark、Schedule等动作支持PQ、WRR、DRR、PQ+WRR、PQ+DRR等队列