超融合 技术白皮书 超融合架构.docx

1、超融合 技术白皮书 超融合架构 深信服超融合架构技术白皮书 深信服科技有限公司 年201510月 版权声明 深圳市深信服电子科技有限公司版权所有，并保留对本文档及本声明的最终解释权和修改权。 本文档中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明外，其著作权或其它相关权利均属于深圳市深信服电子科技有限公司。未经深圳市深信服电子科技有限公司书面同意，任何人不得以任何方式或形式对本文档内的任何部分进行复制、摘录、备份、修改、传播、翻译成其他语言、将其全部或部分用于商业用途。 免责条款 本文档仅用于为最终用户提供信息，其内容如有更改，恕不另行通知。 深圳市深信服电子科技有

2、限公司在编写本文档的时候已尽最大努力保证其内容准确可靠，但深圳市深信服电子科技有限公司不对本文档中的遗漏、不准确、或错误导致的损失和损害承担责任。 信息反馈 如果您有任何宝贵意见，请反馈至： 信箱：广东省 深圳市 学苑大道1001号南山智园A1栋 邮编：518055 电 话：9 传 真：9 您也可以访问深信服科技网站： 获得最新技术和产品信息 缩写和约定 英文缩写 英文全称 中文解释 Hypervisor Hypervisor虚拟机管理器（和VMM同义） VMM VMM Virtual Machine Manager 虚拟机监视器 HA HighAvailability高可用性 vMotion

3、 vMotion实时迁移 DRSDistributed Resource Scheduler 分布式资源调度 RAIDRedundant Arrays of Independent Disks 磁盘阵列 IOPSInput/Output Operations Per ）操作的次数I/O每秒读写（1 2 信服超融合技术架构3 深信服超融合架构产品介绍Second VM Virtual Machine 虚拟机 SDN Software Defined Network软件定义网络 NFVNetwork Function Virtualization 网络功能虚拟化 修订记录 修订版本号 作者 日期

4、备注 2015-10肖先东 深信服超融合架构技术白皮书 1前言 . 错误!未定义书签。 未定义书签。错误!时代的变革 . IT 未定义书签。错误!白皮书总览 . 2深信服超融合技术架构 . 错误!未定义书签。 未定义书签。错误!超融合架构概述 . 未定义书签。错误!超融合架构的定义 . 未定义书签。错误!深信服超融合架构组成模块 . 未定义书签。! . 错误系统总体架构 未定义书签。! . 错误aSV计算虚拟化平台 未定义书签。!概述 错误 未定义书签。!. 错误aSV技术原理 未定义书签。!. 错误aSV的技术特性 . 未定义书签。!. 错误aSV的特色技术 . 未定义书签。!. 错误aSA

5、N存储虚拟化 未定义书签。!. 错误存储虚拟化概述 未定义书签。错误!技术原理 . aSAN 未定义书签。错误!aSAN存储数据可靠性保障 . 未定义书签。错误!aSAN功能特性 . 深信服 未定义书签。!. 网络虚拟化 错误aNet 未定义书签。! . 错误网络虚拟化概述 未定义书签。! . 错误aNET网络虚拟化技术原理 未定义书签。!. 错误aNet功能特性 . 未定义书签。错误! . 深信服aNet的特色技术3深信服超融合架构产品介绍 . 错误!未定义书签。 未定义书签。! . 错误产品概述 未定义书签。!. 错误产品定位 4深信服超融合架构带来的核心价值 . 错误!未定义书签。 未定

6、义书签。!. 错误可靠性 未定义书签。! 安全性. 错误 未定义书签。!错误. 灵活弹性 未定义书签。!. 错误 易操作性5超融合架构最佳实践 . 错误!未定义书签。 IT时代的变革 1.120 世纪 90 年代，随着 Windows 的广泛使用及 Linux 服务器操作系统的出现奠定了 x86服务器的行业标准地位，然而 x86 服务器部署的增长带来了新的 IT 基础架构和运作难题，包括：基础架构利用率低、物理基础架构成本日益攀升、IT 管理成本不断提高以及对关键应用故障和灾难保护不足等问题。随着X86 服务器性能的提升，通过将 x86 系统转变成通用的共享硬件基础架构，充分挖掘硬件的潜力，提

7、高硬件的利用效率，有效的降低硬件和运营成本，并且简化运维降低管理成本，最终帮助用户把更多的时间和成本转移到对业务的投入上。 随着云计算和虚拟化技术向构建新一代数据中心方向发展，关键以虚拟化为基础，实现管理以及业务的集中，对数据中心资源进行动态调整和分配，重点满足企业关键应用向X86 系统迁移对于资源高性能、高可靠、安全性和高可适应性上的要求，同时提高基础架构的自动化管理水平，确保满足基础设施快速适应业务的商业诉求，支持企业应用云化部署。 云计算其实并不是一种新的技术，而是在一个新理念的驱动下产生的技术组合。在云计算之前，企业部署一套服务，需要经历组网规划，容量规划，设备选型，下单，付款，发货，

8、运输，安装，部署，调试的整个完整过程。这个周期在大型项目中需要以周甚至月来计算。在引入云计算后，这整个周期缩短到以分钟来计算。 IT 业有一条摩尔定律，芯片速度容量每 18 个月提升一倍。同时， IT 行业还有一条反摩尔定律，所有无法追随摩尔定律的厂家将被淘汰。 IT 行业是快鱼吃慢鱼的行业，使用云计算可以提升 IT 设施供给效率，不使用则会拖慢产品或服务的扩张脚步，一步慢步步慢。 我们现在正处于一场几十年未见的企业级数据中心革命性转变中，究其核心，这一转变是由“软件”基础设施的崛起而驱动。虚拟机、虚拟网络和存储设备能够以高速自动化的方式分配与重新配置，不会受到非动态设置的硬件基础设施的限制，

9、在“软件定义数据中心”的模型下，用户首先考虑的是应用，根据应用的模式便可灵活的调配其所需的IT基础架构资源，也就是通过软件化的方式实现硬件资源调配。 深信服的超融合架构是软件定义数据中心下的一套非常成熟的解决方案，除满足上面所述的虚拟化，标准化和自动化诉求外，秉承深信服公司产品的优秀基因，向您提供简单易用，安全可靠的产品。 白皮书总览 1.2本书介绍的内容大致如下： 第一章、在前言部分，给您对云计算，云平台有一个概括性的认识，并对本文档的阅读给出指导。 第二章、讲述超融合架构中的主要功能模块，各个功能模块的技术细节介绍。 第三章、介绍深信服超融合架构涵盖的产品。 第三章、向您介绍深信服超融合架

10、构中的技术在为客户带来的核心价值。 第四章、分享超融合架构在客户中的实际应用场景，并给出深信服超融合 架构产品的体验途径，非常欢迎您来试用。 超融合架构概述 2.12.1.1 超融合架构的定义 超融合基础架构，是一种将计算、网络和存储等资源作为基本组成元素，根据系统需求进行选择和预定义的一种技术架构，具体实现方式上一般是指在同一套单元节点（x86服务器）中融入软件虚拟化技术（包括计算、网络、存储、安全等虚拟化），而每一套单元节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），构建统一的资源池。 深信服超融合架构组成模块 2.22.2.1 系统总体架构 深信服超融合架构图

11、深信服超融合架构在基于底层基础架构（标准的X86硬件）上将计算、存储、网络、安全软件化，通过这种软件化的方式，即计算虚拟化aSV、存储虚拟化aSAN、网络虚拟化aNet，构建了数据中心里所需的最小资源单元，通过资源池中的最小单元，提供了数据中心IT基础架构中所需的全部资源。 后续章节，会针对超融合架构中的三大功能模块：aSV、aSAN、aNet所涵盖的产品技术来做详细说明。 aSV计算虚拟化平台 2.32.3.1 概述 计算资源虚拟化技术就是将通用的 x86 服务器经过虚拟化软件，对最终用户呈现标准的虚拟机。这些虚拟机就像同一个厂家生产的系列化的产品一样，具备系列化的硬件配置，使用相同的驱动程

12、序。 虚拟机的定义： 虚拟机 (Virtual Machine) 是由虚拟化层提供的高效、独立的虚拟计算机系统，每台虚拟机都是一个完整的系统，它具有处理器、内，因此操作系统和应用程序在虚拟机中的运行BIOS存、网络设备、存储设备和方式与它们在物理服务器上的运行方式没有什么区别。 虚拟机与物理服务器相比：虚拟机不是由真实的电子元件组成，而是由一组虚拟组件（文件）组成，这些虚拟组件与物理服务器的硬件配置无关，关键与物理服务器相比，虚拟机具有以下优势: 抽象解耦 1.可在任何 X86 架构的服务器上运行； 2.上层应用操作系统不需修改即可运行； 分区隔离 1.可与其他虚拟机同时运行； 2.实现数据处

13、理、网络连接和数据存储的安全隔离； 封装移动 1.可封装于文件之中，通过简单的文件复制实现快速部署、备份及还原； 2.可便捷地将整个系统（包括虚拟硬件、操作系统和配置好的应用程序）在不同的物理服务器之间进行迁移，甚至可以在虚拟机正在运行的情况下进行迁移； 深信服的超融合架构解决方案中的计算虚拟化采用aSV虚拟化系统，通过将服务器资源虚拟化为多台虚拟机。最终用户可以在这些虚拟机上安装各种软件，挂载磁盘，调整配置，调整网络，就像普通的 x86 服务器一样使用它。 计算虚拟化是超融合的架构中必不可少的关键因素，对于最终用户，虚拟机比物理机的优势在于它可以很快速的发放，很方便的调整配置和组网。对于维护

14、人员来讲，虚拟机复用了硬件，这样硬件更少加上云平台的自动维护能力，这样整个IT系统的成本显著降低。 2.3.2 aSV技术原理 2.3.2.1 Hypervisor架构 Hypervisor是一种运行在物理服务器和操作系统之间的中间软件层,可允许多个操作系统和应用共享一套基础物理硬件，因此也可以看作是虚拟环境中的“元”操作系统，它可以协调访问服务器上的所有物理设备和虚拟机，也叫 ）。Virtual Machine Monitor虚拟机监视器（Hypervisor是所有虚拟化技术的核心。非中断地支持多工作负载迁移的能力是Hypervisor的基本功能。当服务器启动并执行Hypervisor时，它

15、会给每一台虚拟机分配适量的内存、CPU、网络和磁盘，并加载所有虚拟机的客户操作系统。 虚拟化技术架构 Hypervisor，常见的 Hypervisor 分两类： Type-I（裸金属型） 指 VMM 直接运作在裸机上,使用和管理底层的硬件资源，GuestOS 对真实硬件资源的访问都要通过 VMM 来完成，作为底层硬件的直接操作者，VMM 拥有硬件的驱动程序。裸金属虚拟化中Hypervisor直接管理调用硬件资源，不需要底层操作系统，也可以理解为Hypervisor被做成了一个很薄的操作系统。这种方案的性能处于主机虚拟化与操作系统虚拟化之间。代表是VMware ESX Server、Citri

16、x XenServer和Microsoft Hyper-V，Linux KVM。 Type-II 型（宿主型） 指 VMM 之下还有一层宿主操作系统，由于 Guest OS 对硬件的访问必须经过宿主操作系统，因而带来了额外的性能开销，但可充分利用宿主操作系统提供的设备驱动和底层服务来进行内存管理、进程调度和资源管理等。主机虚拟化中VM的应用程序调用硬件资源时需要经过:VM内核-Hypervisor-主机内核，导致性能是三种虚拟化技术中最差的。主机虚拟化技术代表是VMware Server（GSX）、Workstation和Microsoft Virtual PC、Virtual Server等

17、。 由于主机型Hypervisor的效率问题，深信服的aSV采用了裸机型Hypervisor中的Linux KVM虚拟化，即为Type-I（裸金属型）。 KVM(Kenerl-based Virtual Machine)是基于linux内核虚拟化技术，自之后就集成在linux的各个主要发行版本中。它使用linux自身的调度器进行管理，所以相对于xen，其核心源码很少。 KVM是基于硬件虚拟化扩展（Intel VT- X ）和 QEMU 的修改版，模块。KVM去加载modprobe的一个模块，可以用命令Linux kernel属于KVM 模块是不够加载了该模块后，才能进一步通过工具创建虚拟机。但

18、是仅有KVM的。因为用户无法直接控制内核去做事情，还必须有一个运行在用户空间的工，具才行。这个用户空间的工具，我们选择了已经成型的开源虚拟化软件QEMU的，比如说在x86QEMU也是一个虚拟化软件，它的特点是可虚拟不同的CPU，CPU上可虚拟一个CPUpower的CPU，并可利用它编译出可运行在power上的的一部分，并稍QEMU并可利用它编译出可运行在power上的程序。KVM使用了的关系。加改造，就成了可控制KVM的用户空间工具了。这就是KVM和QEMU 如下图： 增加了第三一个普通的linux进程有两种运行模式：内核和用户。而KVM模型中，每一个虚拟种模式：客户模式（有自己的内核和用户模

19、式）。在kvm 调度程序管理的标准进程。机都是由linux由两个部分组成：一个是管理虚拟硬件的设备驱动，该驱kvm总体来说，硬件的用户空间组PC/dev/kvm作为管理接口；另一个是模拟动使用字符设备 进程。件，这是一个稍作修改的qemu KVM优势有：同时，aSV采用 提高兼容性) 嵌入到Linux正式Kernel( 代码级资源调用（提高性能） 虚拟机就是一个进程（内存易于管理） 技术（提高扩展性）直接支持NUMA 保持开源发展模式（强大的社区支持） 2.3.2.2 aSV的Hypervisor实现 VMM (Virtual Machine Monitor)对物理资源的虚拟可以划分为三个部分

20、：CPU 虚拟化、内存虚拟化和 I/O 设备虚拟化,其中以 CPU 的虚拟化最为关键。 经典的虚拟化方法： 现代计算机体系结构一般至少有两个特权级（即用户态和核心态，x86 有四个特权级Ring0 Ring3）用来分隔系统软件和应用软件。那些只能在处理器的最高特权级（内核态）执行的指令称之为特权指令，X86 一般可读写系统关键资源的指令（即敏感指令）决大多数都是特权指令（存在若干敏感指令是非特权指令的情况）。如果执行特权指令时处理器的状态不在内核态，通常会引发一个异常而交由系统软件来处理这个非法访问（陷入）。经典的虚拟化方法就是使用“特权解除”和“陷入-模拟”的方式，即将 GuestOS 运行

21、在非特权级，而将 VMM 运行于最高特权级（完全控制系统资源）。解除了 GuestOS 的特权级后，Guest OS 的大部分指令仍可以在硬件上直接运行，只有执行到特权指令时，才会陷入到 VMM 模拟执行（陷入-模拟）。“陷入-模拟” 的本质是保证可能影响VMM 正确运行的指令由 VMM 模拟执行，大部分的非敏感指令还是照常运行。 因为 X86 指令集中有若干条指令是需要被 VMM 捕获的敏感指令，但是却不是特权指令（称为临界指令），因此“特权解除”并不能导致他们发生陷入模拟，执行它们不会发生自动的“陷入”而被 VMM 捕获，从而阻碍了指令的虚拟化，这也称之为X86 的虚拟化漏洞。 X86架构

22、虚拟化的实现方式可分为： 1、X86“全虚拟化”（指所抽象的 VM 具有完全的物理机特性，OS 在其上运行不需要任何修改）Full 派秉承无需修改直接运行的理念，对“运行时监测，捕捉后模拟”的过程进行优化。该派内部之实现又有些差别，其中以 VMWare 为代表的基于二进制翻译 (BT) 的全虚拟化为代表, 其主要思想是在执行时将 VM 上执行的 Guest OS 指令，翻译成 x86 指令集的一个子集，其中的敏感指令被替换成陷入指令。翻译过程与指令执行交叉进行，不含敏感指令的用户态程序可以不经翻译直接执行。 2、X86“半虚拟化”（指需 OS 协助的虚拟化，在其上运行的 OS 需要修改）半虚拟

23、化的基本思想是通过修改 Guest OS 的代码，将含有敏感指令的操作，替换为对 VMM的超调用 Hypercall，类似 OS 的系统调用，将控制权转移到 VMM，该技术因 VMM 项目而广为人知。该技术的优势在于 VM 的性能能接近于物理机，缺点在于需要修改 GuestOS（如：Windows 不支持修改）及增加的维护成本，关键修改 Guest OS 会导致操作系统对特定 hypervisor 的依赖性，因此很多虚拟化厂商基于 VMM 开发的虚拟化产品部分已经放弃了 Linux 半虚拟化，而专注基于硬件辅助的全虚拟化开发，来支持未经修改的操作系 统。 X86“硬件辅助虚拟化”：3、 Gue

24、st VMM 和其基本思想就是引入新的处理器运行模式和新的指令，使得运行于受控模式，原来的一些敏感指令在运行于不同的模式下，Guest OS OS 模，这样就解决了部分非特权的敏感指令的“陷入-受控模式下全部会陷入 VMM拟”难题，而且模式切换时上下文的保存恢复由硬件来完成，这样就大大提高 -模拟”时上下文切换的效率。了“陷入硬件辅助虚拟化技术为例，该技术增加了在虚拟状态下的以 Intel VT-x VMM ）操作模式。Non-root两种处理器工作模式：根（Root）操作模式和非根（操作模式下。这两 Non-root 操作模式下，而 Guest OS 运行在运作在 Root 分别运行在 Gu

25、est OS 个操作模式分别拥有自己的特权级环，VMM 和虚拟机的 Guest OS 环，也能使运行在 0 0 这两个操作模式的环。这样，既能使 VMM操作模式的Non-root Root 操作模式和运行在 0 环，避免了修改 Guest OS。 VMXON,VMXOFF ）来完成。切换是通过新增的 CPU 指令（如：转换问题，降低了虚拟化门硬件辅助虚拟化技术消除了操作系统的 ring 内核，得到了虚拟化软件厂商槛，支持任何操作系统的虚拟化而无须修改 OS 的支持。硬件辅助虚拟化技术已经逐渐消除软件虚拟化技术之间的差别，并成为未来的发展趋势。 vCPU 机制 vCPU 调度机制 对虚拟机来说，

26、不直接感知物理 CPU，虚拟机的计算单元通过 vCPU 对象来呈现。虚拟机只看到 VMM 呈现给它的 vCPU。在 VMM 中，每个 vCPU 对应一个 VMCS（Virtual-MachineControl Structure）结构，当 vcpu 被从物理 CPU 上切换下来的时候，其运行上下文会被保存在其对应的 VMCS 结构中；当 vcpu 被切换到 pcpu 上运行时，其运行上下文会从对应的 VMCS 结构中导入到物理 CPU 上。通过这种方式，实现各 vCPU 之间的独立运行。 从虚拟机系统的结构与功能划分可以看出，客户操作系统与虚拟机监视器共同构成了虚拟机系统的两级调度框架，如图所

27、示是一个多核环境下虚拟机系 上即线程或进程在 vCPU 统的两级调度框架。客户操作系统负责第 2 级调度,级上）。虚拟机监视器负责第 1 的调度（将核心线程映射到相应的虚拟 CPU 在物理处理单元上的调度。两级调度的调度策略和机制不存在即 vCPU 调度, ,vCPU 调度器负责物理处理器资源在各个虚拟机之间的分配与调度依赖关系。按照一定的策略和机制调度在物理处理单元本质上即把各个虚拟机中的 vCPU 可以调vCPU , 上可以采用任意的策略来分配物理资源满足虚拟机的不同需求。也, 度在一个或多个物理处理单元执行（分时复用或空间复用物理处理单元）可以与物理处理单元建立一对一固定的映射关系（限制访问指定的物理