H3C数据中心虚拟化解决方案技术白皮书.docx

1、H3C数据中心虚拟化解决方案技术白皮书1 技术背景随着社会生产力的不断发展，用户需求不断发展提高，市场也不断发展变化，谁能真正掌握市场迎合用户，谁就能够占领先机提高自己的核心竞争力。企业运营中关键资讯传递的畅通可以帮助企业充分利用关键资源，供应链、渠道管理，了解市场抓住商机，从而帮助企业维持甚至提高其竞争地位。作为网络数据存储和流通中心的企业数据中心，很显然拥有企业资讯流通最核心的地位，越来越受到企业的重视。当前各个企业/行业的基础网络已经基本完成，随着“大集中”思路越来越深入人心，各企业、行业越来越迫切的需要在原来的基础网络上新建自己的数据中心。数据中心设施的整合已经成为行业内的一个主要发展

2、趋势，利用数据中心，企业不但能集中资源和信息加强资讯的流通以及新技术的采用，还可以改善对外服务水平提高企业的市场竞争力。一个好的数据中心在具有上述好处之外甚至还可以降低拥有成本。1.1 虚拟化简介在数据大集中的趋势下，数据中心的服务器规模越来越庞大。随着服务器规模的成倍增加，硬件成本也水涨船高，同时管理众多的服务器的维护成本也随着增加。为了降低数据中心的硬件成本和管理难度，对大量的服务器进行整合成了必然的趋势。通过整合，可以将多种业务集成在同一台服务器上，直接减少服务器的数量，有效的降低服务器硬件成本和管理难度。服务器整合带来了巨大的经济效益，同时也带来了一个难题：多种业务集成在一台服务器上，

3、安全如何保证？而且不同的业务对服务器资源也有不同的需求，如何保证各个业务资源的正常运作？为了解决这些问题，虚拟化应运而生了。虚拟化指用多个物理实体创建一个逻辑实体，或者用一个物理实体创建多个逻辑实体。实体可以是计算、存储、网络或应用资源。虚拟化的实质就是“隔离”将不同的业务隔离开来，彼此不能互访，从而保证业务的安全需求；将不同的业务的资源隔离开来，从而保证业务对于服务器资源的要求。数据中心运行的应用越来越多，但很多应用都相互独立，而且在使用率低下、相关隔绝的不同环境中运行。每个应用都追求性能的不断提高，数据中心拥有多种操作系统、计算平台和存储系统。因此，IT 机构必须提高运行效率，优化数据中心

4、资源的利用率，才能将节省出来的资金用于开展新的盈利型IT 项目。另外，数据中心需要建立永续的基础设施，才能保护各种应用和服务免受各种安全攻击和干扰的危害，才能建立既可以持续改进计算机、存储和应用技术，又能支持不断变化的业务流程的灵活型基础设施。利用整合和虚拟化技术帮助数据中心将计算和存储资源从多个分立式系统转变成可以通过智能网络汇聚、分层、调配和访问的标准化组件，从而为自动化等新兴IT 战略奠定基础。数据中心资源的整合和虚拟化正在不断发展，这需要高度可扩展的永续安全数据中心网络基础。网络不但能让用户安全访问各种数据中心服务，还能根据需要实现共享数据中心组件的部署、互联和汇聚，包括各种应用、服务

5、器、设备和存储。适当规划的数据中心网络不仅能保护应用和数据完整性，提高应用可用性和性能，还能增强对不断变化的市场状况、业务重要程度和技术先进性的反应能力。1.2 网络虚拟化简介1.2.1 网络虚拟化虚拟化技术可以适用于企业网络核心或是边缘的交换机。如果把一个企业网络分隔成多个不同的子网络它们使用不同的规则和控制，用户就可以充分利用交换机的虚拟化路由功能，而不是购买及插入新的机架或者设备来实现这种分隔机制。虚拟化网络概念并不是什么新概念，因为多年来，虚拟局域网(VLAN)技术作为经实践证明切实可靠的一种方法，历来用于在一个以太网交换上或者跨多个交换机来构建安全、独立的局域网网段。而核心机架交换机

6、里面的虚拟化路由功能是可以在第三层分隔企业网络、对内外网络流量提供更多安全和控制的一种类似工具。通过VRF进行隔离在多协议标记交换(MPLS)运营商网络，虚拟路由和转发(VRF)被用于把客户流量分割成独立路由转发的几段流量，这步操作有时在同一个设备上进行。针对企业应用，精简版VRF(一种规模比较小的VRF，不需要MPLS)可以把一个交换机划分成多个虚拟化设备。1.2.2 MCE(精简版VRF)的原理根据VPN用户，将MCE路由表划分成几个独立的逻辑实体路由表(virtual route table)；然后根据不同VPN用户占用不同的路由表，并根据独立的路由协议实例在不同的路由表中生成路由项。交

7、换机转发引擎根据报文的vpn-id(如ACL或VLAN+端口)索引不同的路由表，并根据目的IP在其内进行查找，然后将报文加上VPN的标识后经过上行链路转发出去。1.3 计算虚拟化简介1.3.1 计算虚拟化的概念1. 计算虚拟化的分类计算虚拟化目前主要有3种不同的类型：虚拟主机：大拆小的思想，将一个独立的硬件服务器虚拟成多个逻辑服务器主要产品：VMWare(业界主流产品)、XEN(开源软件，也有商用产品)应用场合：提高服务器资源的利用率。虚拟对称多处理(SMP)：小并大的思想，将多个物理机器组成一个易于管理的高性能服务器。主要产品：Virtual Iron、Qlusters、VMware SMP

8、应用场合：充分利用一些便宜的性能低的机器，组合成高性能的计算工具。物理计算虚拟化：实现服务器的无状态化，服务器只被看成一个CPU+内存的资源，服务器与OS、IO设备、存储设备无关。可以实现任意组合。主要产品：CISCO VFrame、Egenera应用场合：实现在异构环境下，计算资源的快速变更与快速部署2. 虚拟主机的概念什么是虚拟主机? 就是将物理服务器、操作系统、及其应用程序 “打包”为一个档案-可移动的虚拟机(VM)。简单得讲就是一个物理服务器上运行多个虚拟机， 这些虚拟机共享底层硬件， 从应用的角度看就象是一个物理服务器， 有自己的操作系统，cpu, memory, nic, stor

9、age， 虚拟的资源。其实，也就是将物理服务器、操作系统、及其应用程序 “打包”为一个档案, 称为虚拟机(VM)，虚拟机是可移动的，可以提高服务器的利用率；同虚拟机支持操作系统的和数据的备份、实施更加灵活。1.3.2 计算虚拟化的特性1. 计算虚拟化的特性分区，在单一物理服务器上同时运行多个虚拟机隔离，在同一服务器上的虚拟机之间相互隔离封装，整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机相对于硬件独立，无需修改即可在任何服务器上运行虚拟机2. 计算虚拟化的优势虚拟化前每台主机一个操作系统软件硬件紧密地结合 在同一主机上运行多个应用程序通常会遭遇沖突系统的资源

10、利用率低硬件成本高昂而且不够灵活虚拟化后打破了操作系统和硬件的互相倚賴通过封装到到虚拟机的技术, 管理操作系统和应用程序为单一的个体強大的安全和故障隔离虚拟机是独立于硬件的, 它们能在任何硬件上运行1.3.3 计算虚拟化的架构计算虚拟化有两个基本架构，一种是寄居架构(Hosted Architecture)，另一种是裸金属架构(”Bare Metal” Architecture)。1. 寄居架构优点：简单，便于实现缺点：安装和运行应用程序依赖于主机操作系统对设备的支持举例：GSX Server, VMware Server, Workstation2. 裸金属架构优点：虚拟机不依赖于操作系统，

11、可以支持多种操作系统，多种应用，更加灵活缺点：虚拟层内核开发难度较大举例：VMWare ESX Server1.4 存储虚拟化简介1.4.1 定义虚拟存储技术将底层存储设备进行抽象化统一管理，向服务器层屏蔽存储设备硬件的特殊性，而只保留其统一的逻辑特性，从而实现了存储系统集中、统一而又方便的管理。对比一个计算机系统来说，整个存储系统中的虚拟存储部分就像计算机系统中的操作系统，对下层管理着各种特殊而具体的设备，而对上层则提供相对统一的运行环境和资源使用方式。SNIA(Storage Networking Industry Association，存储网络工业协会)对存储虚拟化是这样定义的：通过将

12、一个或多个目标(Target)服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的存储虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或服务的。1.4.2 虚拟化的方法存储的虚拟化可以在三个不同的层面上实现，包括了基于专用卷管理软件在主机服务器上实现，或者利用阵列控制器的固件(Firmware)在磁盘阵列上实现；再或者是利用专用的虚拟化引擎在存储网络上实现。具体使用哪种方法来做，应根据实际需求来决定。1)基于主机的虚拟化如果仅仅需要单个主机服务器(或单个集群)访问多个

13、磁盘阵列，就可以使用基于主机的存储虚拟化技术。此时，虚拟化的工作通过特定的软件在主机服务器上完成，而经过虚拟化的存储空间可以跨越多个异构的磁盘阵列。这种类型的虚拟化通常由主机操作系统下的逻辑卷管理软件(logical volume manager)来实现。它们在主机系统和Unix服务器上已经有多年的广泛应用，目前在Windows操作系统上也提供类似的卷管理器。2)基于存储设备的虚拟化当有多个主机服务器需要访问同一个磁盘阵列的时候，可以采用基于阵列控制器的虚拟化技术。此时虚拟化的工作是在阵列控制器上完成， 将一个阵列上的存储容量划分为多个存储空间(LUN)，供不同的主机系统访问。智能的阵列控制器

14、提供数据块级别的整合，同时还提供一些附加的功能，例如：LUN Masking、缓存、即时快照、数据复制等。配合使用不同的存储系统，这种基于存储设备的虚拟化模式可以实现性能的优化。3)基于存储网络的虚拟化以上都是一对多的访问模式，而在现实的应用环境中，很多情况下是需要多对多的访问模式的，也就是说，多个主机服务器需要访问多个异构存储设备，目的是为了优化资源利用率多个用户使用相同的资源，或者多个资源对多个进程提供服务，等等。在这种情形下，存储虚拟化的工作就一定要在存储网络上完成了。这也是构造公共存储服务设施的前提条件。1.4.3 网络虚拟化技术在存储网络层面进行虚拟化的方法已经成为虚拟化的明确方向，

15、这种虚拟化工作需要使用相应的专用虚拟化引擎来实现。目前市场上的SAN Appliances专用存储服务器，或是建立在某种专用的平台上，或是在标准的Windows、Unix和Linux服务器上配合相应的虚拟化软件而构成。在这种模式下，因为所有的数据访问操作都与SAN Appliances相关，所以必须消除它的单点故障。在实际应用中，SAN Appliance 通常都是冗余配置的。SAN Appliances 可以两种形式来控制存储的虚拟化：直接位于主机服务器和存储设备的数据通道中间(带内，In-Band)；或者位于数据通道之外(带外，Out-of-Band)，仅仅向主机服务器传送一些控制信息(M

16、etadata)，来完成物理设备和逻辑卷之间的地址映射。1)带内虚拟化如所示，带内虚拟化引擎位于主机和存储系统的数据通道中间，控制信息和用户数据都会通过它，而它会将逻辑卷分配给主机，就像一个标准的存储子系统一样。因为所有的数据访问都会通过这个引擎，它就可以实现很高的安全性。就像一个存储系统的防火墙，只有它允许的访问才能够通行，否则就会被拒绝。带内虚拟化的优点是：可以整合多种技术的存储设备，安全性高。此外，该技术不需要在主机上安装特别的虚拟化驱动程序，比带外的方式易于实施。其缺点为：当数据访问量异常大时专用的存储服务器会成为瓶颈。 目前市场上使用该技术的产品主要有，IBM的TotalStorag

17、e SVC，HP的VA、EVA系列，HDS的TagmaStore，NetApp的V-Series及H3C的IV5000。2)带外虚拟化 带外虚拟化引擎是一个数据访问必须经过的设备，通常利用Caching技术来优化性能。带外虚拟化引擎物理上不位于主机和存储系统的数据通道中间，而是通过其它的网络连接方式与主机系统通讯。于是，在每个主机服务器上，都需要安装客户端软件，或者特殊的主机适配卡驱动，这些客户端软件接收从虚拟化引擎 传来的逻辑卷结构和属性信息，以及逻辑卷和物理块之间的映射信息，在SAN上实现地址寻址。存储的配置和控制信息由虚拟化引擎负责提供。该方式的优点为：能够提供很好的访问性能，并无需对现

18、存的网络架构进行改变。其缺点是：数据的安全性难以控制。此外，这种方式的实施难度大于带内模式，因为每个主机都必须有一个客户端程序。也许就是这个原因，目前大多数的SAN Appliances都是采用带内的方式。目前市场上使用该技术的产品主要有，EMC的InVista和StoreAge的SVM。1.4.4 虚拟存储的意义总体来说，存储虚拟化可以表现出三个优势。1)存储管理的自动化与智能化在虚拟存储环境下，所有的存储资源在逻辑上被映射为一个整体，对用户来说是单一视图的透明存储，而单个存储设备的容量、性能等物理特性却被屏蔽掉了。无论后台的物理存储是什么设备，服务器及其应用系统看到的都是客户非常熟悉的存储

19、设备的逻辑映像。系统管理员不必关心自己的后台存储，只要专注于管理存储空间本身，所有的存储管理操作，如系统升级、改变RAID级别、初始化逻辑卷、建立和分配虚拟磁盘、存储空间扩容等比从前的任何存储技术都更容易，存储管理变得轻松无比。与普通的SAN相比，存储管理的复杂性大大降低了。2)提高存储效率提高存储效率主要表现在释放被束缚的容量、整体使用率达到更高的水平。虚拟化存储技术解决了这种存储空间使用上的浪费问题，它把系统中各个分散的存储空间整合起来，形成一个连续编址的逻辑存储空间，突破了单个物理磁盘的容量限制，客户几乎可以100%地使用磁盘容量，而且由于存储池扩展时能自动重新分配数据和利用高效的快照技

20、术降低容量需求，从而极大地提高了存储资源的利用率。3)减少成本，增加投资回报由于历史的原因，许多企业不得不面对各种各样的异构环境，包括不同操作平台的服务器和不同厂商不同型号的存储设备。采用存储虚拟化技术，可以支持物理磁盘空间动态扩展，这样用户现有的设备不必抛弃，可以融入系统，保障了用户的已有投资，从而降低了用户TCO(Total Cost of Ownership，总拥有成本)，实现了存储容量的动态扩展，增加了用户的ROI(Return on Investment，投资回报)。2 数据中心虚拟化解决方案2.1 方案概述2.1.1 传统的应用孤岛式的数据中心扩展性差，当新业务扩展时需要部署专门的

21、网络、计算、存储设施、形成了应用孤岛/竖井资源缺少共享，导致资源利用率低，管理成本复杂分离的环境排除了部署统一服务的可能性，每一套环境必须有分离的安全、优化、备份及容灾机制2.1.2 虚拟化方案1. 数据中心虚拟化需要满足下面的目标：降低运行成本扩展性强，新应用的快速部署提供业务的连续性保障提供对资源的安全可靠的访问通过服务器整合，可以满足：数据大集中，将多个数据中心资源集中到少量数据中心提供集中管理、规划和控制通过计算虚拟化，可以满足：改变每种应用资源孤岛模式，建立虚拟资源池，按需逻辑的分配给应用简化管理，提供灵活性，优化资源利用率，降低维护成本支持部署统一的部署策略2. 数据中心虚拟化的需

22、求目前国内数据中心的主要用户包括：政务、运营商、门户网站、兵工集团等等。这些用户对于数据中心虚拟化有明确的需求，但侧重点各有不同。政府政务中心对数据中心虚拟化的需求-“不同部门对数据中心访问的逻辑隔离”运营商共享容灾方案对虚拟化的需求-“不同客户对相同物理资源访问的逻辑隔离”ICP、门户网站对虚拟化的需求-“服务器资源和存储资源能够共享，并实现业务的快速部署 ”以兵工集团为代表的国防工业系统对虚拟化的需求-“以任务为中心的虚拟化数据中心”2.1.3 数据中心虚拟化方案架构数据中心虚拟化分为：网络网虚拟化、计算虚拟化、存储虚拟化 三个环节。数据中心网络资源虚拟化-通过数据中心内网络设备的多实例等

23、技术实现数据中心计算资源虚拟化-通过VMWare服务器虚拟机技术实现数据中心存储资源虚拟化-通过IV/IX系列存储交换机的VSAN技术实现2.2 网络虚拟化单独的实现数据中心的虚拟化是没有意义的，需要在客户机的接入侧、接入端到数据中心的整个数据路径及其数据中心内部均实现虚拟化(含计算虚拟化、存储虚拟化)，3个网络功能区域、5个层次上配合，才能实现：数据大集中环境下的，不同业务的、端到端的数据中心应用及其访问的隔离，达到具有完整意义上的业务虚拟化。端到端虚拟化中，各区域的作用：用户接入隔离：利用EAD方案保证接入用户的合法性，并请能够识别用户的访问权限。广域网隔离：利用MPLS VPN保证接入用

24、户能够正确访问相应的资源，以及业务数据交换的隔离数据中心虚拟化：通过集中策略管理，保证数据中心、服务器能为相应的合法用户提供服务2.3 计算虚拟化2.3.1 计算虚拟化方案架构当前对计算虚拟化的需求主要是“提高资源利用率”，在一台服务器中虚拟多台设备。这是“虚拟主机”类计算虚拟软机的主要应用场合。VMware通过为客户提供服务器整合和数量控制、业务连续性、测试/开发自动化、企业台式机管理等解决方案，从而实现降低成本、提高响应速度、实现零停机、灾难快速恢复等系列好处。通过虚拟架构整合服务器，可以控制x86服务器的蔓延，在一台服务器上运行多个操作系统和应用，并使新的硬件支持老的应用，数据中心撤退旧

25、的硬件。VMware虚拟基础架构使企业能够通过提高效率、增加灵活性和加快响应速度而降低IT成本。管理一个虚拟基础架构使IT能够快速将资源和业务需要连结起来，并对其进行管理。虚拟基础架构可以使x86服务器的利用率从现在的5-15%提高到60-80%，并且在数十秒的时间内完成新应用程序的资源调配，而不需要几天时间。请求响应时间也改为以分钟计算。在维护上，可以实现零停机硬件维护，不需要等待维护窗口。VMWare ESX是VMWare Infrastruture数据中心虚拟化管理套件中的一个组成部分。承上启下，对上解决与网络虚拟化对接问题，对下解决与存储服务器的虚拟化映射问题。交换机支持链路聚合协议

26、802.3ad ，可实现链路捆绑，提高链路可靠性。数据中心接入层交换机使用堆叠交换机，可以与ESX虚拟交换机实现跨设备链路聚合，进一步提高链路可靠性。管理网络独立于生产网络，提高管理性能。VMotion网络独立于生产网络和管理网络，便于虚拟机的迁移和备份。2.3.2 计算虚拟化方案VMware ESX Server的网络组件VMware ESX Server3的网络架构主要分为3个部分：Virtual Ethernet Adapters，ESX Server3虚拟以太网卡，其作用就是一个以太网卡；Virtual Switch虚拟化交换机，是ESX Server3网络架构的核心部分；Physic

27、al Ethernet Adapters，物理以太网卡，与外部物理网络连接；2.3.3 虚拟交换机Virtual Switch1. 虚拟交换机与物理交换机的差异从功能上来看，虚拟交换机就是一个二层交换机，具备二层交换机所具备一切功能特性。但由于使用场景的特殊性，所以与真正的物理交换机还是有所不同。最主要的差别就在于ESX Server的多个虚拟交换机居于同一层次的网络上，彼此之间不存在级联要求。这样居于同一层次的交换机之间不存在互通要求，因此虚拟交换机不需要支持STP协议。2. NIC TeamingNIC Teaming指的就是一个虚拟交换机与多块物理以太网卡连接的技术，其目的是为了提高系统

28、的可用性，要求支持多链路负载分担和故障保护特性。负载分担NIC Teaming的负载分担支持三种分担算法：虚拟交换机入端口确定上行链路，即根据服务器数据流进入虚拟交换机的端口ID确定采用哪条上行链路。这是缺省负载分担算法，也是使用最广泛的算法。这种算法的特点是，由于虚拟以太网卡与虚拟交换机端口的对应关系是固定的，从指定的虚拟以太网卡输出的数据流会从固定的物理以太网卡上行，除非因为该物理以太网卡出现故障而发生倒换才会改变上行数据流的方向。需要注意的是：如果一台虚拟服务器仅创建了一个虚拟以太网卡，则无法使用NIC Teaming提供的多物理以太网卡负载分担。虚拟服务器必须创建了多个虚拟以太网卡后，

29、才能使用NIC Teaming。源MAC Hash算法确定上行链路。源、目的IP地址 Hash算法确定上行链路。故障保护NIC Teaming发现故障的方式有两种：链路状态检测，仅仅能够发现直连的网络链路异常，包括：链路拔出、物理设备下电等等；但是不能发现配置导致的链路不同，例如：STP阻塞端口、VLAN配置错误等等。路径探测，由物理以太网卡定时向上发送探测报文，根据回应情况确定网络是否可达。2.4 存储虚拟化2.4.1 整体架构数据中心虚拟化解决方案利用H3C公司存储产品Neocean IV5000内置的NeoStor虚拟化数据管理引擎，能够整合异构存储环境，由统一界面进行集中存储管理，使得

30、存储空间利用率最大化，同时整合应用服务器，跨越SAN的孤岛联接，或者进行数据迁移；同时，通过存储虚拟化和SSE(Storage Service Enabler，存储服务使能)选项，将关联的存储设备整合起来，在此基础上，还可以提供与之相关的存储服务，如快照、镜像、复制等，满足用户复杂的存储服务需求。1. 存储资源整合方案支持标准开放的协议(包括SCSI、iSCSI、FC以及NFS/CIFS)，集成统一的管理平台将所有底层的存储和网络资源作为一个一体化的存储资源提供给上层的应用服务器。因此IV5000能够统一管理FC SAN、IP SAN、DAS等存储设备和资源，整合到统一的逻辑存储池中，并使用存储池的资源为应用服务器创SAN或者NAS资源，满足客户全方位的需求。2. 存储服务使能解决方案通过独特的方式实现物理设备的虚拟化，即把物理设备的虚拟化信息写入到逻辑存储池中某个空闲的存储空间，因此虚拟化的过程不会破坏磁盘已有的数据，也不需要大量的数据拷贝。SED设备支持IV5000的各种存储服务(比如镜像、复制、TimeMark等)，并且支持剥离SED作为一个普通的磁盘挂接到PC上直接使用。但是SED设备不支持容量的扩展，也不能把一个SED设备划分为更小的逻辑磁盘。因此SED设备的物理磁盘和逻辑磁盘是一一对应的关系。2.4.2 存储虚拟方案的目标与特点