H3C CAS 虚拟化平台架构.docx

1、H3C CAS 虚拟化平台架构H3C CAS 虚拟化平台架构H3C公司依托强大的研发实力、广泛的市场应用和技术理解，以客户需求为导向，为企业新一代云计算数据中心基础架构提供一体化的云计算平台解决方案，帮助用户实现快速、可靠的虚拟化数据中心和云业务应用部署。H3C CAS云平台云计算解决方案包含统一的计算资源池、统一的网络资源池、统一的存储资源池，并提供了一体化的监控和部署工具进行统一的虚拟化与云业务管理，通过简洁的管理界面，轻松地统一管理数据中心内所有的物理资源和虚拟资源，不仅能提高管理员的管控能力、简化日常例行工作，更可降低IT环境的复杂度和管理成本。CAS云计算管理平台服务器虚拟化、存储虚

2、拟化和网络虚拟化只是构成云计算基础设施的硬件资源池，在云计算环境中，最重要的一点是实现资源池的自动化，避免人力对于基础设施的过多干预。H3C CAS（Cloud Automation System）通过自动化的管理平台和手段，帮助用户实现对云硬件资源和业务流程的快速部署与自动化维护和管理。H3C CAS云计算管理平台由三个组件构成：CVK：Cloud Virtualization Kernel，虚拟化内核平台运行在基础设施层和上层客户操作系统之间的虚拟化内核软件。针对上层客户操作系统对底层硬件资源的访问，CVK用于屏蔽底层异构硬件之间的差异性，消除上层客户操作系统对硬件设备以及驱动的依赖，同时

3、增强了虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等功能。CVM：Cloud Virtualization Manager，虚拟化管理系统主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化管理，对上层应用提供自动化服务。其业务范围包括：虚拟计算、虚拟网络、虚拟存储、高可用性（HA）、动态资源调度（DRS）、虚拟机容灾与备份、虚拟机模板管理、集群文件系统、虚拟交换机策略等。CIC：Cloud Intelligence Center，云业务管理中心由一系列云基础业务模块组成，通过将基础架构资源（包括计算、存储和网络）及其相关策略整合成虚拟数据中心资源池，并允许用户

4、按需消费这些资源，从而构建安全的多租户混合云。其业务范围包括：组织（虚拟数据中心）、多租户数据和业务安全、云业务工作流、自助式服务门户、兼容OpenStack的REST API接口等。从逻辑架构上，H3C CAS云计算管理平台包括虚拟化层、自动化服务层、管理层、业务编排层、API层：虚拟化层利用CVK提供的底层虚拟化能力和上层CVM提供的管理能力，屏蔽底层物理硬件基础设施的异构性和复杂度，对外以虚拟资源池的形式呈现。自动化服务层强调业务运行的高可用性和可扩展性，并未业务提供自动的容灾备份与资源调度能力。管理层对虚拟化资源及云运营要素进行管理，如虚拟机生命周期的管理、虚拟机镜像文件和配置文件的管

5、理、多租户的安全隔离、网络策略配置的管理等。业务编排层对云计算资源进行可运营性管理，包括对虚拟资源池的编排、最终用户的自助服务门户、业务的申请、审批与开通、用户帐务的管理与报表输出等。API层为第三方云运营管理平台提供RESTful的API接口。H3C CAS虚拟化平台特点完善的虚拟机生命周期管理传统的虚拟机生命周期是指虚拟机从创建到删除所经历的各个阶段，最常见的划分为“创建、运行、终结”三个阶段。在IaaS架构中，虚拟机作为最为重要的IT基础设施，它的生命周期供贯穿于整个云业务服务的流程之中，并直接关系着云计算平台的资源利用状况。因此，为了更好的将虚拟机的生命周期管理和云业务及资源平台管理结

6、合在一起，在H3Cloud 云计算解决方案中，将虚拟机的生命周期外延为“规划、创建、运行、调整、终结”五个阶段。在云解决方案中，虚拟机生命周期的管理除了关注虚拟机正常的生命阶段以外，还需要关注虚拟机两个外延属性业务和资源。1.规划虚拟机的规划是IT架构的关键设计范畴。在这个阶段需要将业务需求转化为IT需求，并落实到业务和资源两个方面的规划设计中来。着重考虑两个方面的内容：业务梳理和评估通过对业务的梳理，评估数据中心平台各业务部门对虚拟机类型和规模的需求定义各部门组织以及给组织划分其所属的虚拟资源，包括计算资源，网络资源，存储资源以及虚拟机模板等。实际操作流程如下图所示：2.创建虚拟机的创建是虚

7、拟机实体诞生并提供给用户业务的开始。H3Cloud 云方案提供了多种方式来创建虚拟机：从模板生成，自定义参数，克隆等。虚拟机创建时需要考虑硬件资源（CPU数量（核数）&CPU调度优先级，IO资源：存储资源&IO优先级。内存大小，网络资源等）和系统和应用（操作系统等）两方面的内容。这些因素在H3C 云管理平台中虚拟机创建流程中都会有涉及，具体操作界面如下图所示：3.运行虚拟机的运行可以实现完整的传统物理机运行状态。而且依托虚拟化技术实现更加灵活的虚拟机使用模式：启动、休眠、关闭、暂停、恢复、重启。用户可以依托H3C云管理平台简单的实现上述虚拟机的状态的切换，具体如下图所示：4.调整虚拟机的调整是

8、云业务管理员根据虚拟机所承载的业务的变化需求对现有虚拟机所占资源的主动行为。这种调整可以是由于业务扩展带来的虚拟机硬件资源扩张，也可能是业务收缩后对多余资源的释放。虚拟机的调整是云计算业务资源弹性最直观的体现，也是云计算技术给政府业务开展带来敏捷性的根本所在。H3C云计算平台可以在线的调整虚拟机所占用的系统资源，实际操作如下图所示：5.终结虚拟机在云计算管理平台上被删除，即意味着虚拟机生命周期的终结。在虚拟机生命周期终结时要关注虚拟机所占用系统资源的回收。H3C云管理平台在虚拟删除后，会自动回收CPU和内存等资源，为了保证虚拟机数据安全其所占用的存储资源不会自动回收。基于VEPA的虚拟网络交换

9、服务器虚拟化技术的出现使得计算服务提供不再以主机为基础，而是以虚拟机为单位来提供，同时为了满足同一物理服务器内虚拟机之间的数据交换需求，服务器内部引入了网络功能部件虚拟交换机vSwitch（Virtual Switch），如下图所示，虚拟交换机提供了虚拟机之间、虚拟机与外部网络之间的通讯能力。IEEE的802.1标准中，正式将“虚拟交换机”命名为“Virtual Ethernet Bridge”，简称VEB，或称vSwitch。虚拟机交换网络架构vSwitch的引入，给云计算数据中心的运行带来了以下两大问题：6.网络界面的模糊主机内分布着大量的网络功能部件vSwitch，这些vSwitch的运

10、行、部署为主机操作与维护人员增加了巨大的额外工作量，在云计算数据中心通常由主机操作人员执行，这形成了专业技能支撑的不足，而网络操作人员一般只能管理物理网络设备、无法操作主机内vSwitch，这就使得大量vSwicth具备的网络功能并不能发挥作用。此外，对于服务器内部虚拟机之间的数据交换，在vSwitch内有限执行，外部网络不可见，不论在流量监管、策略控制还是安全等级都无法依赖完备的外部硬件功能实现，这就使得数据交换界面进入主机后因为vSwitch的功能、性能、管理弱化而造成了高级网络特性与服务的缺失。7.虚拟机的不可感知性物理服务器与网络的连接是通过链路状态来体现的，但是当服务器被虚拟化后，一

11、个主机内同时运行大量的虚拟机，而此前的网络面对这些虚拟机的创建与迁移、故障与恢复等运行状态完全不感知，同时对虚拟机也无法进行实时网络定位，当虚拟机迁移时网络配置也无法进行实时地跟随，虽然有些数据镜像、分析侦测技术可以局部感知虚拟机的变化，但总体而言目前的虚拟机交换网络架构无法满足虚拟化技术对网络服务提出的要求。为了解决上述问题，本次项目H3C的解决思路是将虚拟机的所有流量都引至外部接入交换机，此时因为所有的流量均经过物理交换机，因此与虚拟机相关的流量监控、访问控制策略和网络配置迁移问题均可以得到很好的解决，此方案最典型的代表是EVB标准。802.1Qbg Edge Virtual Bridgi

12、ng（EVB）是由IEEE 802.1工作组制定一个新标准，主要用于解决vSwtich的上述局限性，其核心思想是：将虚拟机产生的网络流量全部交给与服务器相连的物理交换机进行处理，即使同一台物理服务器虚拟机间的流量，也将发往外部物理交换机进行查表处理，之后再180度调头返回到物理服务器，形成了所谓的“发卡弯”转发模式，如下图所示：EVB标准具有如下的技术特点：借助发卡弯转发机制将外网交换机上的众多网络控制策略和流量监管特性引入到虚拟机网络接入层，不但简化了网卡的设计，而且充分利用了外部交换机专用ASIC芯片的处理能力、减少了虚拟网络转发对CPU的开销；充分利用外部交换机既有的控制策略特性（ACL

13、、QOS、端口安全等）实现整网端到端的策略统一部署；充分利用外部交换机的既有特性增强了虚拟机流量监管能力，如各种端口流量统计，Netstream、端口镜像等。EVB标准中定义了虚拟机与网络之间的关联标准协议，使得虚拟机在变更与迁移时通告网络及网管系统，从而可以借助此标准实现数据中心全网范围的网络配置变更自动化工作，使得大规模的虚拟机云计算服务运营部署自动化能够实现。CVM产品是H3C为数据中心云计算基础架构提供最优化的虚拟化管理解决方案，该产品通过将数据中心IT资源的整合，不仅能够达到提高服务器利用率和降低整体拥有成本的目的，而且能简化劳动密集型和资源密集型IT操作，显著提高系统管理员的工作效

14、率。下面以CVM和H3C iMC（智能管理中心）产品为例简单描述使用EVB后虚拟机的创建过程。使用EVB创建虚拟机的过程如上图所示使用EVB标准后，虚拟机创建过程可以大致分为如下五步：网络管理员将可用的网络资源通过H3C iMC的图形界面录入iMC数据库中；服务器管理员在通过CVM产品创建虚拟机之前，CVM产品会自动通过REST API接口查询iMC中可用的网络资源；服务器管理员在CVM产品上创建虚拟机，在指定虚拟机的CPU、内存、硬盘等计算参数的同时，指定步骤二中的某个网络资源；当服务器管理员将创建虚拟机的请求提交之后，CVM产品会首先创建虚拟机，其过程同市场上主流的虚拟化产品，不再赘述；虚

15、拟机创建成功后，CVM会将该虚拟机与其所使用网络资源的绑定关系通知给vSwitch；vSwitch会通过EVB标准中的VDP(VSI Discovery and Configuration Protocol)协议将虚拟机及网络资源的绑定关系通知给接入交换机；接入交换机将根据网络资源的编号向iMC发送请求，iMC收到请求后会将该网络资源对应的网络配置下发到接入交换机上，从而完成了整个虚拟机的创建过程。通过上述过程，虚拟机不但拥有了CPU、内存、硬盘等计算资源，还拥有了相应的网络资源并据此自动接入网络。虚拟机迁移过程基本与上述过程类似，稍有区别的是：如果迁移前后的接入交换机不同，系统会在迁移之前的

16、接入交换机上删除该虚拟机的相关网络配置，从而达到“网络配置跟随”的目的。通过上述的举例可以看出：EVB不仅简化了虚拟化结构，并使得网络参与虚拟化计算，变革了原来交叠不清的管理界面和模式，关联了虚拟机变化(创建、迁移、撤销、属性修改等)和网络感知，这些都是通过确定和简单的技术如Multi Channel和协议如VDP来实现的。这些技术与协议将会如同ARP、DHCP等标准的网络协议一样为云计算数据中心IT基础设施所认识和支持，成为虚拟化环境中的标准和基础协议。CVM上对虚拟交换网络的管理实现如下图所示：兼容第三方虚拟化平台的独立智能软件交换机组件H3C S1010V是H3C公司面向企业和行业数据中

17、心虚拟化环境推出的一款智能软件交换机产品，适用于VMware ESXi企业增强版环境。通过与VMware公司密切合作，H3C S1010V能够与VMware虚拟基础设施完全集成，其中，包括VMware vCenter和VMware ESXi，并替代VMware的基本虚拟交换机，为虚拟机提供功能增强型的分布式虚拟交换能力。H3C S1010V在设计上遵循OpenFlow标准体系架构，实现控制平面与转发平面分离的可编程网络技术。整个产品包括VCE、VFE和Plugin三个部分。H3C S1010V虚拟化产品系统架构VFE（Virtual Forwarding Engine，虚拟转发引擎）安装和运行

18、在ESXi服务器上，是VMware ESXi内核的一部分，能够完全取代VMware虚拟交换机的功能。从定位上看，相当于OpenFlow标准中的OpenFlow交换机，扮演数据转发平面的角色，实现虚拟网络端口的流量控制与转发。VFE接收到数据包后，首先在本地的OpenFlow流表中查找转发目的端口，如果没有匹配，则把数据包转发给VCE模块，由控制层决定转发策略和转发端口。部署在多个ESXi上的VFE组成一个跨物理主机的分布式软件虚拟交换机。当虚拟机发生迁移的时候，虚拟网卡上的网络策略能够在各个服务器上同步。VCE（Virtual Controller Engine，虚拟控制引擎）以标准的OVF（

19、Open Virtualization Format，开放虚拟化格式）虚拟机格式交付，通过VMwarevCenter提供的OVF模板部署功能安装在一台单独的虚拟机上。从定位上看，相当于OpenFlow标准中的控制器（Controller），通过WebGUI界面，实现VFE的集中管理和配置。Plugin（插件）运行在VMwarevCenter Server上的一个插件，是H3C S1010V专为VMware定制开发的第三方管理接口，主要提供端口策略组的配置界面。H3C S1010V运行在VMware ESXi管理程序中，支持标准的IEEE 802.1Qbg（EVB）协议标准和开放的OpenFlo

20、w体系架构，提供：基于端口策略组的虚拟机网络连接；网络策略随虚拟机迁移自动化感知能力；清晰化的网络与计算资源管理边界。HA高可用部署传统数据中心内的服务器高可靠性保障通常会选择依赖于集群技术的部署。而云计算平台将计算资源虚拟化以后，可以利用虚拟服务器自身虚拟化的特点实现传统物理服务器上无法实现的高可靠性。为了提升云业务系统的可靠性，在云计算平台的计算资源池建设时，可以将多个物理主机合并为一个具有共享资源池的集群。CVM HA功能会监控该集群下所有的主机和物理主机内运行的虚拟主机。当物理主机发生故障，出现宕机时，HA功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的虚拟机。当某一虚拟

21、服务器发生故障时，HA功能也会自动的将该虚拟机重新启动来恢复中断的业务。具体操作如下图所示：除了对集群中的物理服务器节点进行持续检测之外，H3C CAS HA软件模块还对运行于物理服务器节点之上的虚拟机进行持续检测。在每台服务器节点上都运行了一个LRMd（Local Resource Manager daemon，本地资源管理器守护进程），它是HA软件模块中直接操作所管理的各种资源的一个子模块，负责对本地的虚拟化资源进行状态检测，并通过shell脚本调用方式实现对资源的各种操作。当LRMd守护进程检测到本机的某台虚拟机出现通信故障时，首先将事件通知给DC，由DC统一将该虚拟机状态告知集群内所有

22、的物理服务器节点，并按照一定的策略算法，为该故障的虚拟机选择一个空闲的服务器节点，在该节点上重启该虚拟机。使用H3C CAS云计算软件HA特性进行虚拟机故障切换H3C CAS HA技术有效的解决了目前其它高可用性解决方案面临的问题：当物理服务器发生硬件故障时，所有运行于该服务器的虚拟机可以自动切换到其它的可用服务器上，相对传统的双机容错方案，H3C CAS HA可以最大程度减少因硬件故障造成的服务器故障和服务中断时间。不同于其它HA的双机热备方式，所有参与HA的物理服务器都在运行生产系统，充分利用现有硬件资源。同时，对众多的操作系统和应用程序，H3C CAS提供统一的HA解决方案，避免了针对不

23、同操作系统或者应用，采用不同的HA方案带来的额外开销和复杂性。通过H3C CAS HA，IT部门可以：为没有容错功能的应用提供冗余保护传统意义上HA实现很复杂并且价格昂贵，多用于关键性的服务或应用，而H3C CAS HA为所有的应用程序提供了高性价比的HA解决方案。为整个IT环境提供“第一条安全防线”不同于其它基于操作系统和应用的HA实现方式，H3C CAS HA为IT系统提供了更统一、更易于管理的高可用性解决方案。H3C CAS用最少的成本和最简单的管理方式为所用的应用提供了最基本的冗余保护功能。综上所述，H3C CAS HA解决方案的技术特点总结如下：1.自动侦测物理服务器和虚拟机失效H3

24、C CAS会自动的监测物理服务器和虚拟机的运行状态，如果发现服务器或虚拟机出现故障，会在其它的服务器上重新启动故障机上所有虚拟机，这个过程无需任何人为干预。2.资源预留H3C CAS永远会保证资源池里有足够的资源提供给虚拟机，当物理服务器宕机后，这部分资源可以保证虚拟机能够顺利的重新启动。3.虚拟机自动重新启动通过在其它的物理服务器上重新启动虚拟机， HA可以保护任何应用程序不会因为硬件失效而中断服务。4.智能选择物理服务器当与H3C CAS动态负载均衡功能共同使用时，H3C CAS HA可以根据资源的使用情况，为失效物理服务器上的虚拟机选择能获得最佳运行效果的物理服务器。 HA功能给企业云计

25、算平台带来的价值如下：简便的设置和启动：使用“新建集群”向导来进行初始设置，使用H3C CVM虚拟化管理平台添加主机和新的虚拟机。降低硬件成本和设置：在传统集群解决方案中，必须有重复的软硬件，而且各个组件必须正确连接和配置。使用CVM集群时，只要保证有足够的资源容纳要确保其故障切换的主机的数量，就可以便捷自动地完成主机故障切换。无论硬件和操作系统平台如何，CVM HA都通过为应用程序提供可用的、经济的高可靠性，而使其更“大众化”。DRS动态资源调整CVM提供的动态资源调整功能可以持续不断地监控计算资源池的各物理主机的利用率，并能够根据用户业务的实际需要，智能地在计算资源池各物理主机间给虚拟机分

26、配所需的计算资源。通过自动的动态分配和平衡计算资源，动态资源调整特性能够：整合服务器，降低IT成本，增强灵活性；减少停机时间，保持业务的持续性和稳定性；减少需要运行服务器的数量，提高能源的利用率。随着业务量的增长，虚拟机对计算资源需求会相应的迅速增加。此时其所在物理主机的可用资源可能就不能再满足其上承载的虚拟机的计算需要。CVM动态资源调整功能组件可以自动并持续地平衡计算资源池中的容量，可以动态的将虚拟机迁移到有更多可用计算资源的主机上，以满足虚拟机对计算资源的需求。即便大量运行SQL Server的虚拟机，只要开启了动态资源调整功能，就不必再对CPU和内存的瓶颈进行一一监测。全自动化的资源分

27、配和负载平衡功能，也可以显著地提升数据中心内计算资源的利用效率，降低数据中心的成本与运营费用。如上图所示，动态资源调整功能通过心跳机制，定时监测集群内主机的CPU利用率，并根据用户自定义的规则来判断是否需要为该主机在集群内寻找有更多可用资源的主机，以将该主机上的虚拟机迁移到另外一台具有更多合适资源的服务器上。具体操作如下图所示：除了定时检测和动态迁移之外，H3C CAS还充分考虑了虚拟机对物理服务器主机的亲和性因素，即衡量虚拟机对当前物理主机的依赖程度。例如，用户可能希望某些虚拟应用系统只允许在固定的物理主机上运行，而不允许其动态迁移。此时，只需要在H3C CAS云计算管理平台上，去勾选虚拟机

28、的自动迁移属性即可（虚拟机自动迁移属性配置）。动态资源调整技术特色总结根据业务需求自动调整资源H3C CAS动态资源调度功能将物理服务器主机资源聚合到集群中，通过监控CPU和内存等关键计算资源的利用率持续优化虚拟机跨物理主机的分发，将这些资源动态自动分发到各虚拟机中。自动平衡计算容量H3C CAS动态资源调度功能会不间断地平衡资源池内的计算容量，提高服务级别并确保每个虚拟机能随时访问相应资源，满足虚拟应用程序的高可用性。DRX动态资源扩展H3C DRX解决方案可以在云平台中实现基于用户业务负载的资源弹性扩展功能。虚拟化管理平台能够主动探测用户业务负载情况。当用户业务负载增加至超出事先设定的阈值

29、时，虚拟化管理平台自动创建或开启承载该业务的虚拟机以增加该业务的计算资源。当业务负载减少至超出事先设定的阈值时，虚拟化管理平台自动减少承载该业务的虚拟机以释放计算资源。如上图所示，H3C DRX解决方案的主要功能如下：基于动态资源扩展虚机组的负载监控用户事先设定好业务负载阀值。包括业务负载的上限和下限阀值。当用户业务增加到超出上限阀值时增加虚拟机资源；当用户业务降低到超出下限阀值时减少虚拟机资源监控运行于虚拟化平台上承载用户业务的虚拟机cpu、内存、网络等资源的实际负载状况当业务负载超出用户事先设定的阀值后给虚拟化管理平台上报资源扩展事件，以触发虚拟化管理平台自动进行资源的弹性扩展（包括资源的

30、增加和回收）资源扩展策略的设定当用户业务负载超出或者低于事先设定的上下限阀值时，以虚拟机的形式实现业务资源的弹性扩展。包括资源的增加和资源的回收动态资源扩展业务信息展示提供丰富的动态资源扩展业务的统计信息展示虚拟机的资源限额默认情况下，H3C CAS给每台物理服务器主机上的虚拟机分配数量相同的CPU、内存以及磁盘I/O资源。但是，并不是所有虚拟机工作负载天生相同，例如，SQL服务器和Web服务器的访问需求就不尽相同，因此，手动调整分配给每个虚拟机的资源就显得非常重要。H3C CAS通过资源限额方式来为虚拟机指定资源调度的优先级。有三种预设的限额分配方式：高、中、低，调度优先级权重分别为4:2:

31、1，反映到份额上的数值如下表所示：高中低优先级权重421CPU调度优先级数值20481024512CPU调度优先级百分比57.1%28.6%14.3%磁盘I/O调度优先级数值800500300磁盘I/O调度优先级百分比50.0%31.2%18.8%比如，一台物理服务器主机上分配了5个虚拟机，CPU调度优先级分别为高、中、中、低、低，那么，高优先级的虚拟机至少可以获得4/(4+2+2+1+1)=40%的CPU资源，中优先级的虚拟机至少可以获得20%的CPU资源，而低优先级的虚拟机至少可以获得10%的CPU资源。需要强调的是，虚拟机资源限额机制的真正目的是为了确保每个虚拟机对资源的调度下限，如果物

32、理服务器上没有发生虚拟机的资源抢占行为，那么，即使是低优先级的虚拟机也有可能独享该物理服务器上绝大部分的资源。当所有的虚拟机都处于满负载运行的情况下，CPU资源严格按照4:2:1的权重比例进行调度，以确保所有的虚拟机都能抢占到一定数量的资源，保证业务的可用性。一旦某个虚拟机的负载回落到权重比例之下，那么，其它的虚拟机可以抢占本属于该虚拟机的资源，以最大限度地利用物理资源的利用率，保证应用程序的运行效率。虚拟机的备份随着云平台对IT信息化系统的依赖加深，业务系统备份是必不可少的组件。相应的，在云计算平台中，针对计算资源池中虚拟机备份也至关重要。H3Cloud Virtualization Manager实现了透明的定