H3C数据中心云计算解决方案技术白皮书.docx
《H3C数据中心云计算解决方案技术白皮书.docx》由会员分享，可在线阅读，更多相关《H3C数据中心云计算解决方案技术白皮书.docx（32页珍藏版）》请在冰豆网上搜索。
H3C数据中心云计算解决方案技术白皮书
H3C数据中心云计算解决方案技术白皮书
关键词：
数据中心，云计算
摘要：
根据市场的需求及业界的发展趋势，围绕“云计算”主题展开。
核心是高可用的无阻塞网络。
缩略语清单：
缩略语
英文全名
中文解释
IDC
InternetDataCenter
互联网数据中心
VRF
VirtualRouterForwarding
虚拟路由器转发
SMP
SymmetricalMulti-Processing
对称多处理
SNIA
StorageNetworkingIndustryAssociation
存储网络工业协会
TCO
TotalCostofOwnership
总拥有成本
ROI
ReturnonInvestment
投资回报
插图目录
1技术背景
2007年以来，云计算成为IT领域最令人关注的话题之一，也是当前大型企业、互联网的IT建设正在考虑和投入的重要领域。
云计算的提出，引发了新的技术变革和新的IT服务模式。
但是对大多数而言人，云还是一种还不确切的定义，什么是云，为什么需要云？
1.1云计算简介
企业的IT建设过程，以当前的基准来衡量，主要有三个阶段，如图1所示。
图1企业IT向云计算演进路线图
第一个阶段：
大集中过程。
这一过程将企业分散的数据资源、IT资源进行了物理集中，形成了规模化的数据中心基础设施。
在数据集中过程中，不断实施数据和业务的整合，大多数企业的数据中心基本完成了自身的标准化，使得既有业务的扩展和新业务的部署能够规划、可控，并以企业标准进行IT业务的实施，解决了数据业务分散时期的混乱无序问题。
在这一阶段中，很多企业在数据集中后期也开始了容灾建设，特别是在雪灾、大地震之后，企业的容灾中心建设普遍受到重视，以金融为热点行业几乎开展了全行业的容灾建设热潮，并且金融行业的大部分容灾建设的级别都非常高，面向应用级容灾（数据零丢失为目标）。
总的来说，第一阶段过程解决了企业IT分散管理和容灾的问题。
第二个阶段：
实施虚拟化的过程。
在数据集中与容灾实现之后，随着企业的快速发展，数据中心IT基础设施扩张很快，但是系统建设成本高、周期长，即使是标准化的业务模块建设（哪怕是系统的复制性建设），软硬件采购成本、调试运行成本与业务实现周期并没有显著下降。
标准化并没有给系统带来灵活性，集中的大规模IT基础设施出现了大量系统利用率不足的问题，不同的系统运行在独占的硬件资源中，效率低下而数据中心的能耗、空间问题逐步突显出来。
因此，以降低成本、提升IT运行灵活性、提升资源利用率为目的的虚拟化开始在数据中心进行部署。
虚拟化屏蔽了不同物理设备的异构性，将基于标准化接口的物理资源虚拟化成逻辑上也完全标准化和一致化的逻辑计算资源（虚拟机）和逻辑存储空间。
虚拟化可以将多台物理服务器整合成单台，每台服务器上运行多种应用的虚拟机，实现物理服务器资源利用率的提升，由于虚拟化环境可以实现计算与存储资源的逻辑化变更，特别是虚拟机的克隆，使得数据中心IT实施的灵活性大幅提升，业务部署周期可用数月缩小到一天以内。
虚拟化后，应用以VM为单元部署运行，数据中心服务器数量可大为减少且计算能效提升，使得数据中心的能耗与空间问题得到控制。
总的来说，第二阶段过程提升了企业IT架构的灵活性，数据中心资源利用率有效提高，运行成本降低。
第三个阶段：
云计算阶段。
对企业而言，数据中心的各种系统（包括软硬件与基础设施）是一大笔资源投入。
新系统（特别是硬件）在建成后一般经历3-5年即面临逐步老化与更换，而软件技术则不断面临升级的压力。
另一方面，IT的投入难以匹配业务的需求，即使虚拟化后，也难以解决不断增加的业务对资源的变化需求，在一定时期内扩展性总是有所限制。
于是企业IT产生新的期望蓝图：
IT资源能够弹性扩展、按需服务，将服务作为IT的核心，提升业务敏捷性，进一步大幅降低成本。
因此，面向服务的IT需求开始演化到云计算架构上。
云计算架构可以由企业自己构建，也可采用第三方云设施，但基本趋势是企业将逐步采取租用IT资源的方式来实现业务需要，如同水力、电力资源一样，计算、存储、网络将成为企业IT运行的一种被使用的资源，无需自己建设，可按需获得。
从企业角度，云计算解决了IT资源的动态需求和最终成本问题，使得IT部门可以专注于服务的提供和业务运营。
这三个阶段中，大集中与容灾是面向数据中心物理组件和业务模块，虚拟化是面向数据中心的计算与存储资源，云计算最终面向IT服务。
这样一个演进过程，表现出IT运营模式的逐步改变，而云计算则最终根本改变了传统IT的服务结构，它剥离了IT系统中与企业核心业务无关的因素（如IT基础设施），将IT与核心业务完全融合，使企业IT服务能力与自身业务的变化相适应。
1.2云计算技术基础
在技术变革不断发生的过程中，网络逐步从基本互联网功能转换到WEB服务时代（典型的WEB2.0时代），IT也由企业网络互通性转换到提供信息架构全面支撑企业核心业务。
技术驱动力也为云计算提供了实现的客观条件，如图2所示，在关键领域云计算技术已经就绪：
图1云计算的技术基础
标准化：
公共技术的长期发展，使得基础组件的标准化非常完善，硬件层面的互通已经没有阻碍（即使是非常封闭的大型机目前也开始支持对外直接出IP接口），大规模运营的云计算能够极大降低单位建设成本。
虚拟化与自动化：
虚拟化技术不断纵深发展，IT资源已经可以通过自动化的架构提供全局动态调度能力，自动化提升了IT架构的伸缩性和扩展性。
并行/分布式架构：
大规模的计算与数据处理系统已经在分布式、并行处理的架构上得到广泛应用，计算密集、数据密集、大型数据文件系统成为云计算的实现基础，从而要求整个基础架构具有更高的弹性与扩展性。
带宽：
大规模的数据交换需要超高带宽的支撑，网络平台在40G/100G能力下可具备更扁平化的结构，使得云计算的信息交互以最短快速路径执行。
因此，从传统WEB服务向云计算服务发展已经具备技术基础，而企业的IT从信息架构演进到弹性的IT服务也成为必然。
1.3云计算的定义和基础模型
1.3.1云计算的定义
目前，云计算没有统一的定义，这也与云计算本身特征很相似。
维基百科对云计算的定义是：
云计算是一种基于互联网的计算新方式，通过互联网上异构、自治的服务为个人和企业提供按需即取的计算。
由于资源是在互联网上，而互联网通常以云状图案来表示，因此以云来类比这种计算服务，同时云也是对底层基础设施的一种抽象概念。
云计算的资源是动态扩展且虚拟化的，通过互联网提供，终端用户不需要了解云中基础设施的细节，不必具有专业的云技术知识，也无需直接进行控制，只关注自身真正需要什么样的资源以及如何通过网络来获得相应的服务。
关于云计算的描述，在当前具有的共同特征是：
云是一种服务，类似水电一样，按需使用、灵活付费，使用者只关注服务本身。
H3C的云计算理念认为云计算是一种新的IT服务模式，支持大规模计算资源的虚拟化，提供按需计算、动态部署、灵活扩展能力。
图3给出了一个用户使用云计算的示意，用户对云资源的使用不用关注具体技术实现细节，只需关注业务的体验。
比如当前被广泛使用的搜狗拼音输入法，它其实就是一种云服务：
搜狗输入法能够以快速简单的方式为使用者提供需要的语境、备选的语素，使得文字的编排可以成为激发灵感的一个辅助工具；但是用户并不关注搜狗输入法在后台运行的数千台服务器提供的大型集群计算，这些工作都交给了ISP。
图1云计算视图
1.3.2云计算模型
对于云计算的分类，目前比较统一的方式是从以下两个维度进行划分。
1.按服务的层次。
图1云计算的服务层次
如图4所示，最底层是ITFoundation，严格来说这并不是云计算的一层，是构成云计算的IT基础设施的集合，具体表现为不同的软硬件厂商的产品与方案。
云计算服务的基础层次是IaaS（InfrastructureasaService，基础架构即服务）。
在这一层面，通过虚拟化、动态化将IT基础资源（计算、网络、存储）形成资源池。
资源池即是计算能力的集合，终端用户（企业）可以通过网络获得自己所需要的计算资源，运行自己的业务系统，这种方式使用户不必自己建设这些基础设施，而只是通过对所使用资源付费即可。
在IaaS之上是PaaS（PlatformasaService，平台即服务）层。
这一层面除了提供基础计算能力，还具备了业务的开发运行环境，对于企业或终端用户而言，这一层面的服务可以为业务创新提供快速低成本的环境。
最上层是SaaS（SoftasaService，软件即服务）。
SaaS可以说在云计算概念出现之前已经有了，而随着云计算技术的发展而得到了更好的支撑。
SaaS的软件是拿来即用的，不需要用户安装，因为SaaS真正运行在ISP的云计算中心，SaaS的软件升级与维护也无需终端用户参与，SaaS是按需使用的软件，传统软件买了一般是无法退货的，而SaaS是灵活收费的，不使用就不付费。
层次化的云计算一般也称为I-P-S云计算，各层可独立提供云服务，下一层的架构也可以为上一层云计算提供支撑。
仍以搜狗拼音为例，由大型服务器群、高速网络、存储系统等组成的IaaS架构为内部的业务开发部门提供基础服务，而内部业务开发系统在IaaS上构建了PaaS，并部署运行搜狗拼音应用系统，这样一个大型的系统对互联网用户而言，就是一个大规模SaaS应用。
2.按云的归属。
图1云的归属
如图5所示，主要分为公有云、私有云和混合云。
公有云一般属ISP构建，面向公众、企业提供公共服务，由ISP运营；私有云是指由企业自身构建的为内部提供云服务；当企业既有私有云，同时又采用公共云计算服务，这两种云之间形成一种内外数据相互流动的形态，便是混合云的模式。
2关键技术
2.1云计算的基础架构需求
从本质上来说，云计算是一种IT模式的改变，这种变化使得IT基础架构的运营专业化程度不断集中和提高从而对基础架构层面提出更高的要求。
如图6所示，云计算聚焦于高性能、虚拟化、动态性、扩展性、灵活性、高安全，简化用户的IT管理，提升IT运行效率，大幅节省成本。
图1云计算对基础架构的关注点
云计算的基础架构主要以计算（服务器）、网络、存储构成，为满足云计算的上述要求，各基础架构层面都有自身的要求。
一个云计算中心物理服务器达到数万台是一个很正常的规模。
一台物理服务器上运行的虚拟机数量是动态变化的，当前一般是4到20，某些高密度的虚拟机可以达到100:
1的虚拟比（即一台物理服务器上运行100个虚拟机），在CPU性能不断增强（主频提升、多核多路）、当前各种硬件虚拟化（CPU指令级虚拟化、内存虚拟化、桥片虚拟化、网卡虚拟化）的辅助下，物理服务器上运行的虚拟机数量会迅猛增加。
一个大型IDC中运行数十万个虚拟机是可预见的，当前的云服务IDC在业务规划时，已经在考虑这些因素。
图2密集的虚拟机群
在虚拟化云计算网络环境，超高密度的虚拟机数量引入了有别于任何以往传统意义上数据中心的业务承载问题，在表象相似的网络平台上，“服务器/虚拟机”的数量在单位空间和单位网络接口剧增，如图8所示，对基础网络的转发表项、吞吐能力、突发流量吸收提出了苛刻的要求。
图3密集的应用与性能要求
虚拟化的云中，计算资源能够按需扩展、灵活调度部署，这由虚拟机的迁移功能实现，虚拟化环境的计算资源必须在二层网络范围内实现透明化迁移（如图9所示）。
图4透明网络支持虚拟资源的调度迁移
透明环境不仅限于数据中心内部，对于多个数据中心共同提供的云计算服务，要求云计算的网络对数据中心内部、数据中心之间均实现透明化交换（如图10所示），这种服务能力可以使客户分布在云中的资源逻辑上相对集中（如在相同的一个或数个VLAN内），而不必关心具体物理位置；对云服务供应商而言，透明化网络可以在更大的范围内优化计算资源的供应，提升云计算服务的运行效率、有效节省资源和成本。
图5大规模虚拟化云计算的透明化网络承载
2.2Hadoop与集群计算
Hdoop是目前在互联网使用广泛的一种云计算支撑架构，借助于Hadoop,程序员可以轻松地编写分布式并行程序，将其运行于大型计算机集群上，完成海量数据的计算。
图11是当前广为流传的Hadoop分布式文件系统体系架构模型，这一类的集群架构将服务器按群分置不同角色群，角色协同完成大规模计算任务。
图1Hadoop分布式文件系统体系架构
这些角色包括NameNode，它在HDFS内部提供元数据服务；DataNode，它为HDFS提供存储块。
NameNode是一个通常在HDFS实例中的单独机器上运行的软件。
它负责管理文件系统名称空间和控制外部客户机的访问。
DataNode响应来自HDFS客户机的读写请求。
NameNode与每个DataNode有定期心跳（heartbeat）消息检查健康性。
分布式文件系统的设计需求对应到网络的架构上主要有：
并发吞吐性能、可伸缩性、容错需求等。
HDFS的目标就是构建在大规模廉价机器上的分布式文件系统集群，一个文件可以表示为其内容在不同位置的多个拷贝。
这样做带来了两个好处：
访问同个文件时可以从多个服务器中获取从而改善服务的伸缩性，另外就是提高了容错能力，某个副本损坏了，仍然可以从其他服务器节点获取该文件。
同时集群内部还通过心跳检测、集群的负载均衡等特性提升容错性。
传统HDFS采用一种称为rack-aware的策略来改进数据的可靠性、有效性和网络带宽的利用，典型的组网逻辑如图12所示。
图2经典的Hadoop组网结构
图12中每个交换及所接服务器被安装在数据中心的同一个机架（rack）内，该交换机称为Topofrackswitch，典型情况下每个机架内部署40台服务器（国外比较流行，国内当前达到这样密度的IDC很少），一般采用48千兆端口的交换机，传统设计中会采用4个到8个千兆上行，因此每个机架上行的带宽收敛比一般在5:
1~10:
1。
不同机架间的两台机器的通讯需要通过交换机，显然通常情况下，同一个机架内的两个节点间的带宽会比不同机架间的两台机器的带宽大。
因此Hadoop的一个假设是：
机架内部节点之间的传输速度快于机架间节点的传输速度。
通过一个称为RackAwareness的过程，Namenode决定了每个Datanode所属的rackid。
一个简单但没有优化的策略就是将副本存放在单独的机架上。
这样可以防止整个机架（非副本存放）失效的情况，并且允许读数据的时候可以从多个机架读取。
这个简单策略设置可以将副本分布在集群中，有利于组件失败情况下的负载均衡。
但是，这个简单策略加大了写的代价，因为一个写操作需要传输block到多个机架。
为了降低整体的带宽消耗和读延时，HDFS会尽量让reader读最近的副本。
如果在reader的同一个机架上有一个副本，那么就读该副本。
如果一个HDFS集群跨越多个数据中心，那么reader也将首先尝试读本地数据中心的副本。
HDFS支持数据的均衡分布处理，如果某个Datanode节点上的空闲空间低于特定的临界点，那么就会启动一个计划自动地将数据从一个Datanode搬移到空闲的Datanode。
当对某个文件的请求突然增加，那么也可能启动一个计划创建该文件新的副本，并分布到集群中以满足应用的要求。
我们可以看到，Hadoop系统在开发过程中关注了数据交换对象（计算节点）之间的距离，实际上是考虑了网络构建模型中带宽不匹配因素。
这种因素的引入，不仅编程人员需要关心，业务部署人员、网络维护人员也都要关心，在小规模环境下还能够勉强运行，但是如果要支持全互联网级的大规模应用，集群可能达到数千台、数万台，业务的部署、扩展、运行、支撑都会存在很多问题。
如图13是一种高扩展要求的集群模型，这类集群应用自身是分层架构，每一层应用都是一个大规模集群，采用传统方式构建交换网络，必将存在诸多限制，无法发挥云计算巨型计算的服务能力。
图3大规模集群架构
随着网络交换万兆技术的发展和设备成本的不断降低，目前大规模集群的构建也发展到新的阶段，需要新的网络结构来支持和运行：
●无阻塞网络架构：
满足集群环境中所有服务器的对等通信要求，任意节点之间可以达到相等带宽（当前是以千兆为主），服务器应用程序不再关注数据交互节点是在一个机架内还是在其它机架。
●大规模集群能力：
当前2千台规模的服务器集群已经在互联网行业广泛部署，随着云计算业务的开发提供，更大规模的集群（5000-1万台）将成为支持云计算的主流网络结构，无阻塞架构是这种网络的基本要求。
●足够扁平化的架构：
所谓扁平化就是极大减少组网结构层次，目前数据中心扁平化结构以两层物理网络为主流。
在还是千兆为主的服务器端口条件下，接入交换机的用户端口数一般为48个千兆，要满足无阻塞的跨机架带宽，则上行带宽需要5个万兆（当然也可以只使用40个千兆接入，4个万兆上行），而核心交换则需要高密的万兆（>120）全线速能力。
2.3无阻塞全线速网络
2.3.1概念
线速：
指的是线路数据传送的实际速率能够达到名义值，比如千兆端口能够实际吞吐量到千兆，这在交换机是比较轻松的事，但是早期的高端路由器端口如果能够达到千兆实际转发速率，那是非常了不起的（不过现在已经稀疏平常了）。
超线速：
如千兆端口能够吞吐的流量超过一千兆（一般也就超出一点点），这种交换机与标准线速设备对接后容易产生丢包甚至将标准交换机“堵死”。
在数据中心环境下极少数情况也允许满足超线速的组网，只是对交换机有特殊要求。
全线速：
交换机的所有端口能够同时达到线速转发。
这个能力也体现了交换机的性能，对于某些性能较低的设备，称为达到全线速转发，是指达到了设备的最高性能而已，有可能离该交换机的端口容量总和还远着呢。
“无阻塞”全线速：
有时候在全线速前面再定义一个“无阻塞”，其实是强化交换机的全线速能力，指的是对交换的任意大小字节的报文均能够达到全线速的能力，所有端口都以线速接收帧，并能无延迟地处理被称为“无阻塞（Nonblocking）”，之所以这样叫是因为设备内部没有等待处理的报文（没有阻塞）。
但是无阻塞有时也会遇到挑战，在很小的概率下（即实际测试中极不容易出现），确实能够构造特定测试例使得交换机产生阻塞，这是因为传统交换架构下理论上也能分析出阻塞的可能性。
2.3.2传统交换机的局限性
在“数据中心级交换机”概念出现以前（这个概念也是随着云计算发展而产生的，此前只有核心交换机、高端交换机的概念），盒式交换机一般是单芯片，机架式交换机则主要是“交换网+IO芯片”结构，比较先进的交换网一般采用crossbar，架构如图14所示。
传统高端设备以交换线卡连接crossbar高性能交换网，数据在Crossbar内部选路基于实现配置好的规则，同一数据流在内部的运转路径是确定的（HASH算法），因此存在特殊情况下在交换不同级层上会发生阻塞的现象，如图14的数据流1和2在第一级、数据流3和4在第二级的阻塞（情景有点类似于等价路由或链路捆绑的流量不完全均衡性）。
这种架构的交换网容量并不大，一般以支持10GE为主。
这种非真正意义的“无阻塞”在一般性数据中心并不会遇到挑战，但在大型互联网数据中心，随着近年来ISP业务不断丰富、业务规模不断扩大和实际带宽消耗迅猛增长，已经出现了传统交换架构在互联网数据中心难以满足性能需求的现状。
图1传统Crossbar交换架构的阻塞分析模型
2.3.3云计算核心交换平台的基本要求—无阻塞交换
到了新一代交换平台产生的时代，数据中心级核心交换平台的能力已经确定在10Tbps的级别，交换系统的架构产生了本质的变化，这种变化是为了应对云计算超高速100G、以及实现今后10T环境下的完全无阻塞所带来的挑战而变革产生的架构，也就是CLOS架构。
那么，完全无阻塞的意义就是对一个交换架构无论是理论分析还是实测，都能够达到真正的无阻塞交换（如果不能全线速，完全无阻塞也用处不大了）。
完全无阻塞的概念，也是在云计算环境下开始逐步强调的，因为云计算中心应用密度比之传统数据中心高得多，流量情况更为复杂，数据性能要求更为严格，如果在交换平台核心不能满足完全无阻塞的交换条件，瞬时引起的阻塞必然会导致网络流量异常，即使是理论上小概率的瞬时阻塞，也可能在云计算网络中反复出现。
这对大型网络来说，是存在隐患的，因为不断增长的业务和流量可能因为核心平台的隐患而有所限制（莫名其妙的情况下发现网络偶然不畅），这种潜在问题有时是无法分析清楚的，特别是已经在运行的网络。
因此，完全意义上的无阻塞交换，是云计算核心交换平台的关键而基本的要求。
新一代交换架构三级CLOS&CELL交换可支持完全无阻塞交换，是完全遵循复杂业务流要求的，能够将大规模密集流量在交换系统内部均匀交换，避免了阻塞带来的性能恶化与严重下降。
其实现基本原理如图15所示，在系统内部采用动态选路方式（线卡、交换网保存内部数据转发路径信息，如果出现路径不可用或网板、线卡故障，选路信息动态改变，这一切操作由硬件系统内完成），业务线卡接收到的数据包文，进行等长切片处理形成定长信元，每个信元加载动态选路的标记头（长度不够的信元会进行内部填充）。
图1H3C新一代CLOS架构&Cell交换实现模型
2.3.4如何构造无阻塞交换网络
云计算需要超大的计算能力和网络交换能力，通过网络来组织数千台至上万台服务器的协同计算，因此云计算的支撑网络也提出了无阻塞的方向。
首先看如何构造大规模的线速网络，如图16所示，从两个方向来扩展，在层次上，每一层的交换设备上行所有链路带宽与下行的所有链路带宽相等，在同一层次，按照下一层设备的上行端口数扩展，如此直到最高层（目前主流构造两层到三层网络结构）。
图1大规模网络扩展方式
构造线速交换网络比较简单，但是要达到无阻塞，当前的技术实现还不够彻底，因为在网络级别只能使用链路负载均衡技术实现对带宽的充分利用。
如图17所示，实现方式主要有两种。
图2链路负载均衡
Roundrobin方式：
将数据流依次向可用链路均匀转发（可以基于统计速率、也可以基于逐包方式），一般来说，当服务器之间全部使用定长报文（如1500字节）交互数据，基本就构成了一个“完全无阻塞交换网络”（是定长数据交换条件下），但是存在的问题是，同一数据流的不同报文可能经过不同网络路径到达目的地，经过网络大规模流量浪涌后会存在严重的乱序问题。
HASH方式：
使用网络设备的硬件负载均衡算法，基于数据流的二三层地址信息和四层端口号信息得到不同链路的选路信息，能够保证同一数据流经过相同路径到达目的地，避免乱序，但是不同数据流因为流量大小有差异，使得网络不同链路难以完全均衡，不过在当前技术条件下，不均衡度已经极小，十分接近完全无阻塞交换网络了
2.4云计算核心交换网络的缓存
2.4.1浪涌—云计算环境下的一个网络现象
在云计算环境下，性能无疑成为最为关注的核心要素，但是，有了超高速的交换性能，不一定表示网络能够达到理想的效果,还需要关注网络浪涌的吸收容量，我们从分析端口流量情况和网络实际流量情况入手。
1.端口流量
图20是我们进行毫秒级网络流量研究时得到的流量图，不妨称之为微观流量视图（事实上早在2000年左右，运营商的研究机构已经在622M骨干网发现了这个现象）。
在秒级、分钟级以上的宏观时间尺度下，流量A和B的采样曲线十分平滑，这是因为流量观测的累积平均效果造成的，当采样尺度缩小到毫秒级，我们发现，从端口得到的流量曲线发生了变化，最高的流量值可能达到平均流量的2-3倍（当然，也有更低的曲线值）。
图1微观的流量视图
这个问题的本质来源于交换机的线速转发特性（实际上核心、高端交换机内
升级会员 