资源虚拟和分布式技术云计算的两大核心技术文档格式.doc
《资源虚拟和分布式技术云计算的两大核心技术文档格式.doc》由会员分享，可在线阅读，更多相关《资源虚拟和分布式技术云计算的两大核心技术文档格式.doc（8页珍藏版）》请在冰豆网上搜索。
在虚拟化技术方面，文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术，以及异构的虚拟化云计算平台的建设和应用。
在分布式技术方面，文章探讨了分布式文件系统和Key/Value存储引擎技术。
对于分布式文件系统，提出主机“瓶颈”解决方案及存储接口标准化的想法；
对于Key/Value存储引擎，提出目录化存储的解决方案。
关键词：
虚拟化；
分布式计算；
云管理平台；
Key/Value存储引擎
Abstract:
Virtualizationanddistributedparallelarchitecturearetwotypicaltechnologiesofcloudcomputing.Forvirtualizationtechnology,thisarticlediscussesthepoolofphysicalresources,resourcepoolmanagementanduse,clusterfaultlocationandmaintenance,resourcepoolgrouping,andthebuildingandapplicationofheterogeneousvirtualizationplatforms.ItalsodiscussesthedistributedfilesystemandKey/Valuestorageengineassociatedwithdistributedtechnology.A“MASTERbottleneck”storageinterfacestandardisproposedforthedistributedfilesystem,anddirectory-basedstorageisproposedfortheKey/Valuestorageengine.
Keywords:
virtualization;
distributedcomputing;
cloudcomputingmanagementplatform;
Key/ValueStorageEngine
云计算由Google提出，随后在互联网界风起“云”涌，随之而来的云计算服务和技术平台成功案例层出不穷，如Google的GFS、MapReduce、Bigtable、Chubby和AppEngine；
亚马逊的Dynamo、EC2、S3、SQS、SimpleDB和CloudFront；
微软的Azure、SQL、“.Net”和Live服务；
开源云计算平台的HDFS、HBase和Eucalyptus；
VMware的虚拟化平台等。
1云计算的核心技术
云计算主要基于资源虚拟和分布式并行架构两大核心技术，同时互联网上有大量的开源软件为用户提供支撑，如Xen、KVM、Lighttpd、Memcached、Nginx、Hadoop、Eucalytus等。
云计算技术有效地节约了云服务商的硬件投入、开发成本和维护成本。
虚拟化技术最早由VMware公司引入并在X86CPU上实现。
虚拟化平台将服务器虚拟为多个性能可配的虚拟机（VM），对整个集群系统中所有VM进行监控和管理，并根据实际资源使用情况对资源池灵活分配和调度。
分布式并行架构是云计算的另一个核心技术，用于将大量的机器整合为一台超级计算机，提供海量的数据存储和处理服务。
整合后的超级计算机通过分布式文件系统、分布式数据库和MapReduce技术，提供海量文件存储、海量结构化数据存储和统一的海量数据处理编程方法和运行环境[1-3]。
2虚拟化技术
虚拟化技术主要分为两个层面：
物理资源池化和资源池管理。
其中物理资源池化是把物理设备由大化小，将一个物理设备虚拟为多个性能可配的最小资源单位；
资源池管理是对集群中虚拟化后的最小资源单位进行管理，根据资源的使用情况和用户对资源的申请情况，按照一定的策略对资源进行灵活分配和调度，实现按需分配资源[4-7]。
2.1物理资源的池化
云计算平台如图1所示。
物理硬件设备的虚拟化对象包括服务器、存储、网络、安全等多个方面，不同的虚拟化技术从不同角度解决系统的各种问题。
云管理平台
资源管理
服务管理
租户管理
虚拟机
虚拟存储
虚拟网络
服务模板
服务实例
服务目录
租户信息
订购管理
权限管理
分布式资源
SAN/NAS
PC机
X86PC
路由器
交换机
设备管理
NAS：
网络附加存储
SAN：
存储区域网络
图1云计算平台
（1）服务器虚拟化
服务器虚拟化对服务器进行资源虚拟和池化，将一台服务器虚拟为多个同构的虚拟服务器，同时对集群中的虚拟服务器资源池进行管理。
（2）存储虚拟化
存储虚拟化主要是对传统的存储区域网络（SAN）、网络附加存储（NAS）设备进行异构，将存储资源按类型统一集中为一个大容量的存储资源，并将统一的存储资源通过分卷、分目录的权限和资源管理方法进行池化，然后将虚拟存储资源分配给各个应用，或者是直接分配给最终用户。
（3）网络虚拟化
网络虚拟化将一个物理网络节点虚拟成多个虚拟的网络设备（交换机、负载均衡器等），并进行资源管理，配合虚拟机和虚拟存储空间为应用提供云服务。
2.2资源池的管理和使用
资源池由云管理平台实现统一的管理、调度和监控，涉及云平台的合理使用和维护管理。
云管理平台共分为4个管理层面，分别为：
设备的管理、虚拟资源的管理、服务的管理和租户管理。
（1）设备管理
设备管理为云计算平台的硬件设备提供管理和告警功能，主要包括系统管理员在日常的维护工作中查询各物理设备性能情况，并对如应用服务器的CPU使用率、内存使用率、硬盘使用率、网络接口使用率、存储设备的空间使用率、IO情况等关键指标进行监控。
用户可以根据应用物理设备的实际配置，设置相应的监控阈值，系统会自动启动对相应指标的监控并报警。
（2）虚拟资源管理
虚拟资源管理为各种应用提供虚拟资源的统一管理、资源分配和灵活调度，同时还包括系统管理员在日常的维护工作中查询各个最小虚拟资源的性能情况，并对应用虚拟机的CPU使用率、内存使用率、硬盘使用率、网络接口使用率，虚拟存储（如亚马逊的EBS）的空间使用率、IO情况等关键指标进行监控。
用户可以根据虚拟资源的实际配置，设置相应的监控阈值，系统会自动启动对相应指标的监控并报警。
（3）服务管理
服务管理包括服务模板、服务实例、服务目录等管理。
服务管理在虚拟资源的基础上，快速向租户提供用户指定的操作系统、应用软件等软件资源。
（4）租户管理
租户管理对每一个租户对应的资源群进行管理，内容包括资源的种类、数量、分布情况等，同时对租户生命周期进行管理，包括租户的申请、审核、正常、暂停、注销等。
2.3集群的故障定位与维护
Google的集群维护方式给我们留下了深刻的印象，维护人员推着小推车对损坏的机器进行更换，故障定位通过定制PC的故障灯进行判断（在通用的因特网数据中心（IDC）应用中，计算资源通常使用通用PC机）。
目前所有的云平台对物理机和虚拟机的监控、告警，都是按照机器的IP地址作为机器的编号进行管理。
对于承载着虚拟机的物理机而言，其HostOS模块的IP地址对应和代表着物理机器在集群中的唯一标志。
IP地址的分配一般采用两种方式：
采用动态主机配置协议（DHCP）方式自动获取；
通过手工指定方式确定。
由于集群中机器很多，手工指定工作量非常巨大，因此通常采用DHCP的方式对IP地址进行分配。
但是维护人员在云管理平台上发现物理设备出了故障，维护人员无法通过IP地址对应到故障机器的具体物理位置，通用的PC机又没有故障灯等辅助定位手段。
定位故障机器的物理位置并更换或维护它成为一个复杂和繁琐的过程。
在的虚拟化集群中，可以采用简单而有效的方法解决此问题。
对于每一台物理机器，配置一个USB接口的KEY，KEY中保存了物理机器的位置信息，同时USBKEY与物理位置直接绑定（如绑在机架上）。
机器在启动时，会到USBKEY中读取物理位置信息，根据读取的物理位置信息，依据固定的算法和物理信息算出机器的IP地址，并在管理平台中体现。
这样，每个物理机器的IP地址就与物理位置绑定，在物理机器故障时，维护人员在云管理平台可以准确获取故障机器的IP地址和物理位置。
2.4资源池的分组与异构
对于服务器的虚拟化，由于架构不同，SUN、IBM等厂家的小型机虚拟化都采用相互独立的架构，与基于X86架构的虚拟化系统（如XEN、KVM等）无法兼容，因此造成了资源浪费。
对于服务器虚拟化的异构问题，可以从两个层面去解决：
（1）通过资源池的分组，对不同架构的服务器和小型机进行虚拟化，不同架构的资源池归于一个独立的组，针对不同的应用，分配特定的虚拟机资源。
（2）通过业务的定制和调度，将不同架构的虚拟化平台通过管理融合，实现异构虚拟机的调度。
PowerVM
VSE
XEN\KVM
IBM小型机资源池
HP小型机资源池
X86资源池
iVMM
异构资源池统一管理
iVMM：
融合的虚拟化管理器
图2异构资源池
异构资源池如图2所示。
在云计算平台中，把IBM的PowerSystems小型机集群通过IBM的PowerVM系统虚拟为基于PowerSystems架构的计算资源池，把HP的小型机集群通过HP的VSE系统虚拟为基于HP架构的计算资源池，把X86架构的计算资源通过XEN\KVM系统虚拟为基于X86的ZXVE资源池。
在业务部署时，不同的应用的可以根据自己的业务特点和操作系统特点，选择性地部署在不同的资源池上，从而实现虚拟化对各类小型机的异构。
X86架构的计算资源池、PowerSystems架构的计算资源池和HP架构的计算资源池分别受各自的虚拟化管理软件（如VMM、IVM和gWLM）管理。
在VMM、IVM和gWLM的上层，可以通过融合的虚拟化管理器（iVMM），对3个计算资源池进行统一管理。
应用功能的3个不同版本
业务调度器
OCCI扩充接口
IBM版本
HP版本
X86版本
OCCI：
OracleC++调用接口
图3跨资源平台对应用实现异构
图3所示为虚拟资源对应用实现异构的方法。
此方法的核心在于4个方面：
iVMM、业务调度器、业务系统针对不同的资源池架构提供应用功能相同的不同版本、iVMM和业务调度器之间的OCCI扩充接口。
在业务应用层面，针对业务系统，本文增加业务调度器模块。
业务调度器根据业务的繁忙程度，向iVMM申请增加或减少虚拟机资源，并调整负载均衡策略。
业务系统针对不同的资源池架构，需要准备与之对应的功能相同的不同版本。
OCCI扩充接口的工作流程为：
l业务系统的业务调度器通
升级会员 