云计算核心服务器虚拟化技术原理与应用.pptx

1、服务器虚拟化技术,原理与应用,内容提要,虚拟化技术简介虚拟化实现技术硬件辅助虚拟化原理KVM/QEMU实现分析容器虚拟化Libvirt简介,虚拟化简介,虚拟化(Virtualization)的本质 虚拟化是资源的逻辑表示，不受物理限制的约束。其技术本质就是由位于下层的软件模块，通过向上一层软件模块提供一个与它原先所期待的运行环境完全一致的接口和方法，抽象出一个虚拟机的软件或硬件接口，是的上层软件可以直接运行在虚拟机的环境上。虚拟化的层面 硬件层虚拟化：通过虚拟硬件抽象层来实现虚拟机，为虚拟机操作系统呈现和物理硬件相似或接近的硬件层。操作系统层虚拟化：指操作系统的内核可以提供多个互相隔离的用户态

2、实例，各自有自己独立的文件系统、网络和系统设置、库函数等等。又叫容器虚拟化。内存虚拟化：操作系统通过段式页式管理，提供用户态所有应用程序一个连续完整的内存空间，从而屏蔽物理内存细节，简化应用开发。编程语言层的虚拟化：由虚拟机runtime系统将中间代码动态翻译成硬件的机器语言执行，从而在不同硬件和操作系统上运行，例如java的JVM。,虚拟化简介,系统虚拟化,在系统虚拟化中，物理资源通常称为宿主(host)，而虚拟出来的资源称为客户(guset)，而虚拟化管理软件成为VMM,虚拟化简介,虚拟化的优点 封装性：以虚拟机为粒度的封装似的虚拟机运行环境的保存非常便捷，部署、备份和恢复都非常迅速。多实

3、例：在一个计算机上运行多个虚拟机使得硬件资源的利用率更高。通过多态硬件服务器组成的集群资源池，可以根据负载动态启用或关闭服务器。隔离：相比同一操作系统中的多任务，每个应用程序可以在自己的操作系统中独立的运行，不会影响到其他程序。硬件无关性：通过虚拟化模拟出的应用程序所需的硬件资源，从而使得应用和具体硬件关联性大大降低；通过动态迁移技术更是可以将运行状态的虚拟机无缝的迁移到其他服务器上运行。,虚拟化实现技术,系统虚拟化的实现方式 基于软件完全虚拟化：又称全虚拟化，通过软件的方式完整模拟底层硬件环境，让客户机操作系统完全觉察不到是运行在一个虚拟平台上。这样的虚拟平台可以直接运行现有的操作系统，而无

4、需对操作系统进行任何修改。具体的内容包括对处理器、内存和I/O的虚拟化处理。代表是Boches,Qemu 硬件辅助的全虚拟化：基于软件的完全虚拟化方式中，由于所有的指令执行都需要通过软件去模拟，在性能上会有一定的损失，导致虚拟机运行效率明显低于物理机。如果能把部分硬件(如物理CPU)能处理的指令直接交给硬件执行，而对于硬件不支持的操作则采用软件模拟的方式，这样就会大大提高效率。代表是基于KVM的QEMU，VMWare。半虚拟化：通过修改操作系统的代码来解决虚拟化过程中的问题来实现虚拟化。代表是Xen(Xen也支持全虚拟化),虚拟化实现技术,异质与同质虚拟化 异质虚拟化：在一种指令体系架构的宿主

5、机中虚拟另一种体系架构下的虚拟机。例如，x86虚拟arm，所有指令都需要重新翻译、模拟后执行，效率非常低下，通常不会超过10%。同质虚拟化：虚拟机和宿主机是同种指令体系架构，例如，x86虚拟x86，powerpc虚拟powerpc。同质虚拟化中很多指令可以直接在物理硬件上运行，而不需要逐条指令翻译。效率较高，现代实用级别服务器系统虚拟化都是同质虚拟化。敏感指令：同质虚拟化中，那些由于会产生冲突无法直接在物理硬件上运行的指令称作敏感指令。例如，涉及到硬件设备、内存寻址等方面的指令。同质虚拟化的实现本质就是捕获与模拟。即补获敏感指令，模拟实现其行为。,虚拟化实现技术,实现同质全虚拟化需要解决的问题

6、 CPU虚拟化：实现CPU指令的模拟；中断和异常的模拟和注入 内存虚拟化：提供所有虚拟机一个从0开始的连续物理内存空间；在各虚拟机之间有效隔离、调度以及共享内存资源。IO虚拟化：管理有限的外设资源，截获guest os对设备的访问请求，通过软件模拟的方式来模拟真实设备的效果。,硬件辅助虚拟化,硬件需求：确定机器有VTgrep vmx/proc/cpuinfo(INTEL芯片)grep svm/proc/cpuinfo(AMD芯片)确保BIOS里开启VTIntel(R)Virtualization Tech Enabled确保内核版本较新，支持KVM用uname r查看内核版本，如果在2.6.2

7、0以下的linux版本，需升级内核。,硬件辅助虚拟化,虚拟化漏洞与硬件辅助虚拟化基本原理x86 硬件支持 4 个特权级(Ring)，一般内核运行在 Ring 0，用户应用运行在 Ring 3一些关键操作指令只能在最高特权级别上执行，它们一般被称为特权指令。如果在非特权级别上试图执行特权指令，将生成一个一般保护异常非特权指令则可以在任何一个权限级别执行敏感指令是VMM 不可以轻易让客户操作系统执行的指令，如果所有敏感指令都是特权指令，就可以利用保护异常实现虚拟化当一部分敏感指令并不是特权指令，这就出现问题了。非特权指令在Ring1Ring3上是可以执行。VMM不会处理这些指令。这就是硬件架构上的

8、虚拟化漏洞,硬件辅助虚拟化,VT-x 引入两种模式，统称VMX模式根模式(VMX Root Operation):VMM 运行的模式非根模式（VMX Non-Root）：客户机所运行的模式 非根模式的下所有敏感指令的行为被重新定义，他们不经虚拟化就直接运行或通过陷入再模拟的方式运行，在根模式下所有的指令行为没有变化非根模式下敏感指令引起的“陷入”称为VM-Exit,VM-Exit 自动从非根模式转换为根模式VM-Entry 操作由VMM发起，通常是调度某个客户机运行，此时，CPU由根模式切换到非根模式VT-x 引入了VMCS，VMCS保存CPU需要的相关状态，VMCS主要提供CPU使用，CPU

9、发生VM-Exit和VM-Entry时会自动更新VMCS。VMM通过指令配置VMCS，进而影响CPU,VMCS（Virtual-Machine Control Structure）,VMCS是保存在内存中的数据，包含了虚拟CPU相关寄存器的内容和虚拟CPU相关的控制信息，每个VMCS对应一个虚拟CPU，任何时刻VMCS与物理CPU是一对一的绑定关系VMCS不同时刻可以绑定到不同的物理CPU，这种绑定关系的变化称为VMCS的迁移VT-x提供了两条指令用于VMCS的绑定和解除绑定：VMPTRLD:将指定的VMCS与执行该指令的物理CPU绑定VMCLEAR：将执行该指令的物理CPU与他的VMCS解除

10、绑定。该指令将物理CPU缓存中的VMCS结构同步到内存中，保证VMCS和新物理CPU绑定时，内存中的值是最新的VM-x提供两条指令用于VMX的打开和关闭VMXON：打开VMX操作模式VMXOFF：关闭VMX操作模式,VMCS 格式,VMREAD:读VMCS中“索引”的数据VMWRITE:写VMCS中索引指定的域VMCS数据域包括六大信息：Guest state area：虚拟机状态域Host state area：宿主机状态域VM-Execution control fileldsVM-entry contorl fileldsVM-exit control fileldsVM退出信息,VMC

11、S 块格式,VM-Entry与VM-Exit,执行基本的检查来确保VM-Entry能开始对VMCS中的宿主机状态有效性检查，以确保下一次VM-Exit发生时可以正确的从客户机环境切换到VMM环境检查VMCS中客户机状态域的有效性；根据VMCS中客户机状态域来装载处理器状态根据VMCS中VM-Entry MSR-load区域装载MSR寄存器根据VMCS中VM-Entry事件注入控制的配置，可能需要注入一个事件到客户机中,CPU首先将此次VM-Exit的原因记录到VMCS相应的信息域中，VM-Entry interruption-information字段有效位（bit31）清零CPU状态被保存到

12、VMCS客户机状态，根据设置，CPU 也可能将客户机MSR保存到VM_Exit MSR-Store区域根据VMCS中宿主机状态和VM-Exit控制域中的设置，将宿主机状态加载到CPU相应寄存器。CPU由非根模式切换到根模式，从宿主机状态域中CS:RIP指定的VM_Exit入口函数开始执行,VM-Entry的过程：,VM-Exit的过程：,内存虚拟化,X86体系内存管理架构,内存虚拟化,内存寻址与页表结构,内存虚拟化,虚拟机影子页表技术,客户机页表GVA-GPA载入硬件MMU无法访问真正物理内存影子页表GVA-HPA载入硬件MMU访问真正物理内存载入硬件MMU,TLB缓存影子页表表项 两者关系客

13、户机修改客户机页表TLB刷新INVLPG 影子页表同步客户机页表VTLB,内存虚拟化,EPT(Extended Page Table)被用于支持内存虚拟化。EPT在非根模式下将客户机物理地址（gpa）转换为宿主机物理机地址（hpa），客户机的虚拟地址（gva）到客户机的物理地址（gpa）的转换由客户机页表实现CPU同时使用两套页表（在原有的CR3控制器页表的基础上引入了EPT页表的另一次映射）两次页表转换都由CPU硬件自动完成通过VMCS的“VM-Execution控制域”中的Enable EPT 字段进行激活EPT在VM entry 时生效当 EPT 生效时，EPT base pointer

14、 指向Extended PageTable 当VM exit 时EPT失效,EPT硬件辅助技术,内存虚拟化,使用EPT硬件直接从GVA转换到HPA,KVM虚拟机简介,kernel-based Virtual Machine(KVM)，是一个开源的系统虚拟化模块，自Linux 2.6.20之后集成在Linux的各个主要发行版本中。它使用Linux自身的调度器进行管理，KVM的虚拟化需要硬件支持（如Intel VT技术或者AMD V技术)。是基于硬件的完全虚拟化kvm由两个部分组成：一个是KVM Driver，已经成为linux内核的一个模块，负责虚拟机的创建，虚拟机内存的分配，虚拟机寄存器的读写

15、以及虚拟CPU的运行等。另外是一个稍微修改过的qemu，用于模拟PC硬件的用户空间组件，提供I/O设备模型以及访问外设的途径。qemu是一种模拟处理器，现在运用最多的就是将KVM和QEMU结合起来KVM使用了QEMU的一部分，并稍加改造，就成了可控制KVM的用户空间工具了,KVM基本结构,KVM 在 Linux 内核态与用户态的实现,内核空间代码实现的功能包括以下几个方面:实现硬件辅助的虚拟化的核心功能。提供用户空间对KVM控制。对x86平台设备进行仿真。实现IO Port空间和MMIO空间的仿真。MMU虚拟化的支持。PCI-Passthrough相关的功能。,KVM 在 用户态的实现（qem

16、u）包括以下部分：实现与KVM内核接口的用户空间逻辑。各种层次和类型的硬件设备的仿真。虚拟块设备的不同磁盘Image文件格式的支持。VNC，SPICE等表示层协议的支持。Virtio设备的后端。QMP 协议的支持。,KVM 在 Linux 内核态与用户态的实现,内核空间代码实现的功能包括以下几个方面:实现硬件辅助的虚拟化的核心功能。提供用户空间对KVM控制。对x86平台设备进行仿真。实现IO Port空间和MMIO空间的仿真。MMU虚拟化的支持。PCI-Passthrough相关的功能。,KVM 在 用户态的实现（qemu）包括以下部分：实现与KVM内核接口的用户空间逻辑。各种层次和类型的硬件设备的仿真。虚拟块设备的不同磁盘Image文件格式的支持。VNC，SPICE等表示层协议的支持。Virtio设备的后端。QMP 协议的支持。,KVM/QEMU的执行路径,QEMU的设备虚拟化,设备虚拟化基本原理：1.模拟设备所具有的所有请求和响应的逻辑模块2.从操作系统的角度，模拟目标设备的软件接口，实现相应的功能3.对于真实设备硬件的内部逻辑以及同其他设备的连接，则不需要精确模拟,QEMU的设备