云计算任务调度算法的研究与实现可编辑.docx

1、云计算任务调度算法的研究与实现可编辑云计算任务调度算法的研究与实现（可编辑）分类号密级 U D C 编号 10736 硕 士 学 位 论 文 云计算任务调度算法的研究与实现 研 究 生 姓 名:王登科 指导教师姓名、职称:李 忠 教授 专业 名称:计算机应 用技术 研究 方向:企业信息 化 二?一三年五月Research and Implementation of Task Scheduling Algorithm for Cloud Computing Wang Deng-ke 西北师范大学研究生学位论文作者信息 论文题目 云计算任务调度算法的研究与实现 姓 名 王登科 学 号 201021

2、0823 专业名称 计算机应用技术 答辩日期 2013-05-25 E_mail wdk_803163 通信地址邮编: 备注:目 录 摘 要I AbstractII 1 绪论1 1.1 研究背景及意义1 1.2 研究现状2 1.3 本文的主要内容及创新点 2 1.4 本文的结构安排3 2 云计算概述5 2.1 云计算的定义. 5 2.2 云计算的特征和优势. 7 2.2.1 云计算的特征. 7 2.2.2 云计算的优势. 7 2.3 云计算的分类. 8 2.3.1 按服务类型分类8 2.3.2 按服务对象分类. 10 2.4 云计算的体系结构11 2.5 云计算的关键技术13 2.6 云计算与

3、网格计算的比较14 2.7 本章小结. 15 3 云计算任务调度概述16 3.1 云计算任务调度的概念. 16 3.2 云计算任务调度的目标. 16 3.3 云计算任务调度的特点. 17 3.4 MAPREDUCE级调度. 18 3.5 本章小结. 20 4 云计算任务调度算法的设计21 4.1 粒子群算法21 4.1.1 基本原理. 21 4.1.2 算法的相关参数. 21 4.1.3 算法流程. 22 4.2 蚁群算法. 22 4.2.1 基本原理. 22 4.2.2 算法的相关参数. 24 4.2.3 算法流程. 25 4.3云任务调度问题的描述. 25 4.4云任务调度算法的设计. 2

4、7 4.4.1 离散粒子群算法. 27 4.4.2 改进的蚁群算法. 28 4.4.3 算法流程. 29 4.5 本章小结. 30 5 实验仿真 31 5.1 CLOUDSIM平台. 31 5.1.1 CloudSim简介 31 5.1.2 CloudSim体系结构31 5.1.3 CloudSim技术实现34 5.1.4 CloudSim工作方式35 5.2 仿真实验与分析. 37 5.2.1 实验一与结果分析37 5.2.2 实验二与结果分析40 5.3 本章小结. 42 6 总结与展望. 44 6.1 工作总结. 44 6.2 展望45 参考文献46 攻读硕士学位期间发表的论文50 致谢

5、 51 摘 要 云计算是由网格计算、并行计算、分布式计算发展而来,是一种新型的商业 计算模式。由于云计算商业价值巨大,且对目前 IT 运营模式的影响意义深远, 云计算己经成为国内外商业和科研机构研究的热门领域。在云计算环境中,用户 数量众多,系统要处理的任务量十分巨大,并且云计算系统结构复杂。因此为了 使云计算系统能够快速处理服务请求,满足用户的服务质量需求。在“云”中如 何对任务进行高效合理的调度,实现系统全局昀优化,成为了云计算研究的重点 与难点。 本文针对于云计算的任务调度问题,首先对云计算、云计算任务调度、粒子 群优化算法和蚁群优化算法等相关知识进行了详细的介绍。在此研究基础之上, 本

6、文提出了一种基于粒子群优化与蚁群优化的云计算任务调度算法。该调度算法 吸收了粒子群优化算法的快速收敛能力和蚁群优化算法的寻优能力,并且将计算 成本作为一个重要的考量因素,提高了云计算任务调度的速度和综合优化性能。 昀后,本文利用 CloudSim 平台模拟云环境,对基于粒子群优化与蚁群优化 的云计算任务调度算法进行了仿真实验。实验一和实验二的结果表明,该算法不 仅能够快速的找到昀优解,缩短系统处理调度问题的时间,而且能够使云计算 任务的处理时间较短、执行费用较低。 关键字:云计算;任务调度;时间;成本;粒子群优化;蚁群优化 IAbstract The concept of cloud comp

7、uting comes from the concept of grid computing, parallel computing and distributed computing. It is a new business computing modelCloud computing commercial value is huge and has a huge impact on the IT operation pattern, so cloud computing was researched by business organizations and scientific res

8、earch institution both at home and abroad. In the cloud computing environment, users are numerous, the amount of task which the system to deal with is very huge, and cloud computing system structure is very complex. So in order to make the cloud computing system is fast enough to deal with the servi

9、ce request, meet the users quality of service, how to efficiently scheduling tasks in the “cloud” so as to realize the global optimization, become the key points and difficulties of cloud computing researchBased on task scheduling problems of the cloud computing, first of all, this paper detailed in

10、troduction to cloud computing, task scheduling of cloud computing, particle swarm optimization algorithm and ant colony optimization algorithm. On this basis of the above, task scheduling algorithm based on particle swarm optimization and ant colony optimization for cloud computing PSO-ACO is presen

11、ted in this paper. The scheduling algorithm absorbs the fast convergence ability of particle swarm optimization algorithm and the optimization ability of ant colony algorithm, and considers the cost factor. The scheduling algorithm improves the speed of the cloud computing task scheduling and optimi

12、zation performanceFinally, we evaluate the task scheduling algorithm in cloud environment which was simulated by CloudSim. The result of the first experiment and the second experiment show that the scheduling algorithm can not only quickly find the optimal solution, but also minimize the processing

13、time and costs of all tasks Keywords:cloud computing; task scheduling; time;cost; particle swarm optimizationPSO; ant colony optimizationACOII 1 绪论 1.1 研究背景及意义 互联网的快速发展,用户对各种网络应用服务的需求迅猛增加。在互联网规 模和应用的增长以及规模经济需求的推动下,催生了一种新型的计算模式?云 计算。 云计算(Cloud Computing)是分布式计算、并行计算、网格计算、效用计 1 算、虚拟化、网络存储等传统计算机和网络技术发展融

14、合的商业实现 。它实现 了对共享可配置计算资源(网络、服务器、存储、应用和服务等)的方便、按需 访问;这些资源可以通过极小的管理代价或者与服务提供者的交互被快速地准备 和实现按需使用。在云计算模式下,用户只需接入网络,便可得到各种应用服务, 并按量付费,像使用公共的水、电一样方便,而无需考虑底层设施的架构、维护 以及服务应用的实现细节。 云计算具有伸缩性,可以根据访问用户数量的多少,自动增减相应的 IT 资 源(包括 CPU、存储、带宽和中间件应用等) ,使得 IT 资源的规模可以动态伸 缩,满足应用和用户规模的需要;同时具有极大的灵活性,足以适应各种开发和 部署阶段的各种类型和规模的应用程序

15、,提供者可以根据用户的需要及时部署 IT 资源。云计算可以实现新商业模式的快速创新,还可以为新一代数据中心提供动 态基础框架。云计算使 IT 资源变得更加简洁,运作更加有效,节能和环保。它 将彻底改变 IT产业的架构和运营方式。高性价比的云计算硬件市场将会抢占IT 设备的高端市场,云数据中心也会取代传统网络数据中心,绝大部分的软件将会 以服务的形式呈现。云计算服务包括基础设施即服务(Infrastructure as a Service, 2 3 IaaS) ,平台即服务(Platform as a Service,PaaS) 和软件即服务(Software as4 a Service,Saa

16、S ,几乎覆盖了整个 IT产业生态系统,商业价值巨大,影响深 远。 云计算的这些优势吸引了产业界和学术界的广泛关注。Google、IBM、 Amazon等国外公司已经实现了云计算成熟的商业应用。国内云计算发展起步较 晚,目前仍处于起步阶段,随着运营商、厂商、应用商以及科研机构对云计算研 究的深入,国内云计算也将呈快速发展趋势。 云计算资源是由数量庞大的 CPU、存储、网络等物理 IT资源虚拟而成,资 源节点众多,具有动态性和异构性。并且在云环境中,用户数量众多,系统要处 理的任务量十分巨大,海量数据处理操作平凡、复杂。加之,云计算是一种商业 1模式,云计算系统要能够为用户提供高效可靠的服务,满

17、足不同用户的服务质量 (Quality of Service,Qos)需求。在“云”中如何对任务进行高效合理的调度, 5 实现系统全局昀优化,成为了云计算研究的重点与难点 。云计算任务调度的研 究,对云计算的发展具有重要意义。 1.2 研究现状 云计算资源是由数量庞大的底层物理资源虚拟而成,任务调度面向的是虚拟 6 资源节点,调度过程复杂。在云计算环境中,任务调度是一个NP完全问题 。模 7 拟退火、遗传、蚁群、粒子群等智能优化算法非常适合于求解NP类问题 。遗传 算法、粒子群优化算法、蚁群算法、蛙跳算法已被用于求解云计算的任务调度问 8 题。Chenhong Zhao等人 运用遗传算法,在云

18、计算环境下对独立任务进行了有 9 效的调度。李建锋等人 提出了一种具有双适应度的遗传算法,在云环境下对任 务进行调度,使总的任务完成时间和平均任务完成时间同时达到较短的效果。 10 Lizheng Guo等人 提出了一种基于粒子群优化的云计算任务调度算法,该算法 11 考虑了诸多因素,优化了任务的传输时间和处理时间。刘万军等人 针对云计算 服务集群资源调度和负载平衡的优化问题,提出了一种基于粒子群优化算法的云 12 计算资源调度策略,对资源进行了有效的调度。张春艳等人 提出了一种将蚁群 按职能不同分为搜索蚁、侦察蚁和工蚁,根据预测完成时间来对云任务进行调度 13 的多态蚁群算法,有效地减少了任

19、务处理的平均完成时间。华夏渝等人 提出一 种基于蚁群优化资源分配算法,根据对潜在可用节点质量的预测,来对任务进行 14 分配,以达到对任务响应时间的优化。王永贵等人 将遗传算法融入到蚁群算法 的每一次迭代过程中,加快了算法的收敛速度,提高了任务调度的效率。骆剑平 15 等人 将任务完成时间及带宽资源作为考虑因素,提出了云计算环境中基于改进 混合蛙跳算法的资源调度方案,使资源调度达到了较好的效果。 1.3 本文的主要内容及创新点 本文主要研究云环境下的任务调度问题。主要内容介绍如下: 1.阐述了云计算的定义、特征、优势、分类、体系结构以及关键技术,并 详细介绍了云计算与网格计算的区别。 2.阐述

20、了云计算任务调度的概念、调度目标和调度的特点,详细介绍了 MapReduce编程框架。 3.通过前期对文献8?14进行研究分析,发现遗传算法、粒子群优化算法、 蚁群算法在解决云计算任务调度时都表现出了较好的效果。但是任何算法都存在 216 其优势与不足 ,例如:遗传算法虽然具有快速随机的全局搜索能力,但参数较 17 多,编程实现比较复杂,且容易陷入局部昀优 ;粒子群优化算法初期收敛速度 快,后期局部搜索能力不足,收敛速度缓慢,但同遗传算法相比,粒子群优化算 18 19 法收敛速度快,优化性能上好于遗传算法 ,并且编程易于实现,需要调整 的参数少;而蚁群算法虽具有较好的寻优能力,但初期信息素匮乏

21、,收敛速度慢 20 。本文在此研究的基础上,同时又考虑到了云计算是一种商业模式,计算成本 也是一个重要的考量因素,提出一种基于粒子群优化与蚁群优化的云计算任务调 度算法(Task Scheduling algorithm based on Particle Swarm Optimization and Ant Colony Optimization for Cloud Computing,PSO-ACO)。该算法吸收了粒子群优化 算法的快速收敛能力和蚁群算法的寻优能力,缩短了系统处理调度问题的时 间,减少了总任务完成的处理时间和计算成本,提高了云计算任务处理速度 和综合优化性能。 4.详细介绍

22、了 CloudSim云计算仿真平台的体系结构、技术实现和工作方式。 通过 CloudSim 平台模拟云环境,对所提算法进行了仿真实验。并对实验结果做 了详细的实验分析。 本文工作的主要创新点如下: 1.本文提出的任务调度算法吸收了粒子群优化算法的快速收敛能力和蚁群 算法的寻优能力。通过仿真实验一证明了该算法能够快速得到昀优解,缩短了系 统处理调度问题的时间,提高了云计算任务调度的效率。 2.本文提出的任务调度算法考虑进了计算成本因素。通过仿真实验二证明 了该算法在云环境下能够使总任务完成时间较短、总任务完成成本较低,提高了 云计算任务调度的优化性能。 1.4 本文的结构安排 本文共分为五章,主

23、要内容及具体章节安排如下: 1 绪论 介绍本文的研究背景及意义,研究现状,昀后对本文的主要内容及 创新点、文章结构安排进行了说明。 2 云计算概述 介绍云计算的定义、特征、优势、分类、体系结构及关键技 术,昀后对云计算与网格计算进行了详细的比较。 3 云计算任务调度概述 阐述云计算任务调度的概念、目标和特点,详细 介绍 MapReduce 编程框架。 34 云计算任务调度算法的设计 介绍粒子群算法、蚁群算法,详细阐述基于 粒子群优化与蚁群优化的云计算任务调度算法。 5 实验与分析 介绍 CloudSim 的体系结构、技术实现、工作方式。通过 CloudSim 平台模拟云计算环境,对本文调度算法

24、进行仿真实验,并对结果进行 对比分析。 6 总结与展望 对本文所做的工作进行了总结,指出了今后需要继续研究和 完善的方向。 42 云计算概述 云计算概念昀早由 Eric Schmidt 在 2006 年 8 月的搜索引擎大会上首次公开 提出。云计算的出现为信息技术领域带来了新的机遇和挑战,其低成本、高效率、 按需服务的信息化技术理念代表了未来的服务交付和使用方式。 2.1 云计算的定义 云计算是在 2007年第 3季度才诞生的新名词。云计算是由 Internet 规模和应 用的快速增长及规模经济的需求而催生的一种新型计算模式。 云计算对应的不是一种 IT技术,而是多种 IT技术的组合。之所以用

25、“云” 来命名,其实是一种比喻的手法。云计算在某些方面具有现实中云的特征:云一 般都比较庞大;云的规模可以动态的扩展和收缩,它的边界是模糊不清的;云在 空中飘忽不定,无法确定它的具体位置,但它却是存在于某处。并且在计算机流 程图中,人们常以一个云状图案来表示互联网,用以表示对复杂的 IT 基础设施 的一种抽象,云计算正是对庞大复杂的 IT 基础设施的一个抽象,因此选择了用 “云”来命名这种基于互联网的新型计算模式。 图2.1 云计算概念图 然而,对于到底什么是云计算,各 IT 厂商以及诸多研究机构或研究学者对 云计算的定义和认识也都各不同。目前对云计算的解释已经超过了 100种,但还 21 没

26、有一个公认的定义 。例如: IBM认为云计算是一种通过公共网络或私有网络来交付服务、软件及处理能 力的计算模式。云计算的核心是将计算服务的交付与底层技术相分离,通过虚拟 化技术将计算、存储、网络等IT基础资源虚拟化成对用户透明的统一资源池,在 用户界面之外,底层物理设备的具体实现对于用户来讲是看不见的。同时也认为 云计算是一种实现IT基础资源共享的方式,其将资源池通过公共网络或私有网络 22 连接在一起来提供IT服务 。 Google CEO Eric Schimidt博士认为云计算不同于传统的以PC为中心的计算 模式,它的计算和数据分布在大量的分布式计算机上,其计算和存储具有很强的 可扩展能

27、力。并且用户可以通过多种接入方式(如:PC、手机、iPad)接入网络 获得所需要的服务和应用,开放式是云计算的重要特征。云计算便是Google的商 1 业模式 。 中国电信对云计算的理解:云计算是一种将池化的集群计算能力,通过互联 网向内外部用户提供弹性、按需服务的互联网新业务、新技术;它是传统IT领域 和通信领域需求推动、技术进步和商业模式转换共同促进的结果。云计算的四个 主要特征是以网络为中心、以服务为提供方式、资源的池化与透明化、高扩展与 23 高可靠性 。 美国国家标准与技术研究院(NIST)对云计算的定义:云计算是一种计算 模式,这种模式通过可用、便捷的网络,按需访问可配置的计算资源

28、共享池(包 括网络、服务器、存储、应用软件及服务),并且这些资源只需投入很少的管理 24 工作或是与服务供应商进行很少的交互,便可以被快速部署和发布 。 加州大学伯克利分校的技术报告中对云计算的定义:云计算既指通过互联网 交付的服务应用,也指在数据中心提供这些服务应用的硬件设备和软件系统。前 面部分即是软件即服务(SaaS),后面部分则被称为“云”(Cloud)。简单来 25 说,云计算就是“SaaS + 效用计算(Utility Computing)” 。 网格计算之父 Lan Foster 认为云计算是一种大规模分布式计算模式。在这种 计算模式下,将抽象的、虚拟的、可动态扩展及被管理的计算

29、、存储和服务等能 力资源池化,通过网络按需交付给服务用户。该计算模式的推动力来自于规模化 26 所带来的经济性 。 Saleforce认为云计算是一种更为友好的业务运行模式。在这种模式下, 用户的应用程序运行在共享的数据中心,用户只需通过登录和个性化定制便可以 27 使用这些数据中心的应用程序 。 综合各种观点可以总结出:“云计算”的核心理念是将 IT 资源、数据和软 件应用封装为服务,并以可按需使用形式,通过网络交付给用户。 2.2 云计算的特征和优势 2.2.1 云计算的特征 目前,云计算解决方案众多,但各IT厂商的云计算都具有以下主要特征: 1.虚拟化 云计算提供商通过虚拟化技术将计算、

30、存储、网络等IT基础资源虚拟化为相 应的、对用户透明的逻辑资源池,屏蔽了底层基础设施的复杂运行。 2.弹性伸缩 云计算能够根据用户的多少,增加或者减少相应的IT资源(包括CPU、存储、 带宽和中间件应用等),使IT资源的规模可以动态伸缩,满足应用和用户规模变 化的需要。 3.快速部署 云计算能够根据需求迅速提供计算资源,并且在所提供的虚拟资源上快速部 署相关应用。 4.多租户 云计算通常为多个用户(即租户)提供服务,其通过采用一系列的机制来保 护每个租户,并使每个租户与其他租户相隔离。租户通过一个共享池来访问资源, 而不影响其他租户的使用。 5.服务支付 云计算功能往往以某种服务的形式来供用户

31、使用。 2.2.2 云计算的优势 云计算作为一种新型计算模式,具有以下几种优势: 1.IT基础设施投入成本的降低 云计算具有快速弹性伸缩能力,当用户需要更多的计算资源时,只需从云中 添加一台虚拟服务器即可,并且方便、快捷。用户无需再购买大量的服务器设备 来满足峰值处理能力需求,减少了IT设施的成本投入。 2.更低的应用软件费用和开发维护成本 云服务采用的一对多的服务模型,同在单一的企业内开发相比,开发者能够 提供更好、更便宜和更可靠的应用。用户只需要支付软件租用费用,无需进行软 件开发或购买许可。同时用户也无需再关心软硬件的维护。硬件设备的减少使得 维护费用得到降低,对那些没有预算或资源开发大规模应用的小企业尤为明显。 3.用户终端较低的配置,优越的性能表现 由