linux.docx

1、linux课 程 设 计课程名称Linux操作系统题目名称基于Openstack的云计算平台构建和性能测试专业班级13软件工程学生姓名张小蒙 张浩 王威风 柏祝林 鲍金林 张红伟 杨伟平学 号51302041034 51302041045 51302041011 51302033026 51302041041 51302041043 51302041006 指导教师王硕 二一五年六月一日目录蚌埠学院计算机科学与技术系本科课程设计成绩评定表 1附件4 分工协作说明 2一、序言 31.1背景 31.2云计算简介 31.2.1云计算概念 31.2.2 云计算发展 41.2.3 云计算特点与优势 41

2、.2.4 小结 51.3Openstack简介 51.3.1 Openstack起源 51.3.2 Openstack的发展 51.3.3 Openstack的特点和优势 61.4 搭建云平台的意义 61.5 论文的主要内容和组织结构 71.6本章小结 7第2章 平台搭建项目介绍 82.1 项目搭建实验的物理环境 82.2 Openstack系统概念架构与理解 82.2.1 Openstack五大项目 82.2.2 云计算控制中心nova 92.2.3 镜像服务Glance 102.3.4 Keystone认证服务 102.3.5 Dashboard项目Horizon 112.2.6 Swif

3、t存储 112.2.7 小结 112.3 平台搭建物理构架 112.3.1 平台的网络模式选择 112.3.2 平台的网络拓扑结构 122.3.3 小结 142.4 本章小结 14第3章 平台搭建的介绍 143.1 平台搭建的准备工作 143.1.1物理环境准备 143.1.2 系统环境准备 143.1.3 网络环境准备 153.1.4 小结 153.2 平台搭建过程简介 153.2.1 平台搭建主要内容 153.2.2 控制节点的搭建 153.2.3 计算节点的搭建 163.2.4 小结 163.3 平台搭建遇到的问题以及一些问题调研 163.3.1 虚拟工具的选择 163.3.2 Hori

4、zon虚拟环境的搭建 173.3.3 Volume卷组配置的选择 173.3.4 小结 173.4 本章小结 18第4章 云平台提供的服务 184.1 平台成果展示 184.2 平台提供的资源 20第5章 Openstack平台测试 215.1 虚拟机启动时间 215.1.1 虚拟机类型 215.1.2 虚拟机系统 225.1.3 宿主机当前的状态 235.1.4 与Eucalyptus平台的数据对比 245.1.5 小结 255.2 虚拟机之间的文件传输速度 255.2.1 测试方法 265.2.2 测试数据 265.2.3 小结 275.3 虚拟机之间的通信速率 275.3.1 测试方法

5、275.3.2 测试数据 275.3.3 与Eucalyptus平台的数据对比 285.3.4 小结 295.4 虚拟机磁盘读写速度 295.4.1 测试方法 295.4.2 虚拟机测试 295.4.3 物理机测试 305.4.4 小结 305.5 本章小结 30第6章 总结 32参考文献 32蚌埠学院计算机科学与技术系本科课程设计成绩评定表项目权重分值具体要求得分文献阅读与调查论证0.20100能独立查阅文献和从事其它调研；有收集、加工各种信息的能力设计质量0.30100设计合理、功能齐备，程序运行正常，实验数据准确可靠；有较强的实际动手能力论文撰写质量0.20100设计说明书完全符合规范化

6、要求，用A4复印纸打印成文学习态度0.20100学习态度认真，科学作风严谨，严格按要求开展各项工作，按期完成任务学术水平与创新0.10100设计有创意，有一定的学术水平或实用价值总分评语：等级： 指导教师： 年 月 日附件4 分工协作说明（以列表形式具体说明每个人所做的工作）；课题名称学生姓名学号所做的工作张小蒙51302041036算法设计、程序调试、课程设计报告撰写张 浩51302041045算法设计、程序调试、课程设计报告排版王威风51302041011算法设计、程序调试、课程设计报告撰写柏祝林51302033026算法设计、程序调试、资料查询鲍金林51302041041部分算法设计、程

7、序调试张红伟51302041043部分算法设计、程序调试、资料查询杨伟平51302041006部分算法设计、程序调试一、序言1.1背景随着云计算的火热发展，越来越多的公司，机构，个人投入到了云计算的研究之中。Openstack则是在近两年迅速发展起来的IaaS平台项目，它目前几乎超越了Eucalyptus项目成为搭建IaaS平台的首选。目前学校内部有很多老师和学生有一些实践、创新、科研等需要，但是却没有很好的计算机资源，所以在学校内部推行一个稳定的云计算平台来提供大量计算机资源，显得十分重要。此次课程设计基于Openstack技术，使用曙光刀片服务器构建云计算平台，并对云平台进行调试。对平台进

8、行性能测试，并且与基于Eucalyptus技术的瀚海星云云平台进行对比，找出各自的一些优势和劣势，以便对瀚海星云平台进行优化，使其更好的为学校实验科研服务。本文先阐述了Openstack项目技术的原理，然后介绍了搭建平台的过程，最后对平台性能进行了测试，并与Eucalyptus平台进行了对比。1.2云计算简介1.2.1云计算概念云计算就是通过互联网将数据中心的计算、存储和网络等IT基础设施，以及其上的开发平台、软件和应用等IT资源以服务的形式提供给用户。云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资

9、源切换到需要的应用上，根据需求访问计算机和存储系统。这是一种革命性的举措，打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算的应用包含这样的一种思想，把力量联合起来，给其中的每一个成员使用。 云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。IaaS：基础设施即服务，消费者通过Internet可以从完善的计算机基础设施获得服务。PaaS：平台即服务，将软件研发的平台作为一种服务，以S

10、aaS的模式提交给用户。 SaaS：软件即服务，通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。1.2.2 云计算发展在2006年Google首席执行官埃里克施密特（Eric Schmidt）在搜索引擎大会（SES San Jose 2006）首次提出“云计算”（Cloud Computing）的概念。之后全球许多大型互联网公司都参与到了云计算的发展。Amazon、Google、IBM、微软和Yahoo等是云计算的先行者。云计算领域的众多成功公司还包括Salesforce、Facebook、Youtube、Myspace等。IBM在2

11、007年11月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的云计算平台。 Google早已以发表学术论文的形式公开其云计算三大法宝：GFS、MapReduce和BigTable，并在美国、中国等高校开设如何进行云计算编程的课程。微软于2008年10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软的又一次颠覆性转型通过在互联网架构上打造新云计算平台，让Windows真正由PC延伸到“蓝天”上。亚马逊提供了亚马逊网络服务（Amazon WebServices，即AWS），亚马逊能够提供的是可以通过网络访问的存储、计算机处理

12、、信息排队和数据库管理系统接入式服务。AWS为亚马逊公司带来了超过全公司5%的收益，并且这个数据还在不断地增长。这一切都预示着云计算不再只是一个话题，而是很多产业寻求变革的一个工具，一个手段，云计算思维理念正在积极的调动相关产业的转型和脱变。1.2.3 云计算特点与优势1、方便：它对用户端的设备要求最低，使用起来很方便。2、高可靠性：“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。3、数据共享：它可以轻松实现不同设备间的数据与应用共享。4、易维护性：用户无需再在本机上进行安装应用，一旦应用改变，只需要在服务提供商进行统一维护，用户无需自

13、己维护。1.2.4 小结云计算把各种IT服务和资源统一起来提供给用户，这是一种新的互联网模式，由于其方便快捷，高可靠性等等特性预示着云计算的巨大前景，云计算现在正在飞速发展中，相信云计算将成为未来几年互联网发展的热潮之一。1.3Openstack简介1.3.1 Openstack起源OpenStack是一个美国国家航空航天局NASA和Rackspace公司合作研发的云端运算软件，以Apache许可证授权，并且是一个自由软件和开放源代码项目。研究人员在NASA的Ames研究中心开发了 OpenStack的雏形，被称作Nova，其目的是为美国的航空航天机构提供可塑性较高的云客户端。之后Racksp

14、ace涉足了该技术商业化的进程， 并最终使其成为一款独立的基础软件。 OpenStack既是一个社区，也是一个项目和一个开源软件，它提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。1.3.2 Openstack的发展Openstack经过了接近两年的发展，在发布了Austin，Bexar，Cactus，Diablo四个版本之后，于2012年四月发布了Openstack的Essex正式版本，它意味着Openstack能够帮助搭建具有生产力的公共云计算平台。在这个发展过程中，不断有各大厂商加盟，现时已

15、表示支持OpenStack项目的大型硬件厂商包括：AMD、Intel和戴尔等。微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的整合。2011年2月，思科系统正式加入OpenStack项目，重点研制OpenStack的网络服务。Ubuntu 12.04 LTS正式版本全面支持Openstack项目，为Openstack未来五年的更新都提供良好的支持。Ubuntu 12.04 LTS服务器版本也是Openstack项目的参考平台。现在的Essex版本包括了五大核心项目，云计算控制中心Nova、镜像服务Glance、认证服务Keystone和Dashb

16、oard项目Horizon，以及对象存储项目Swift。1.3.3 Openstack的特点和优势在IaaS云平台的搭建的选择中Eucalyptus是先行者，但是Openstack后来居上，现在几乎已经超越了Eucalyptus成为了云平台基础的第一选择。1、Openstack是完全开源的，开放的，采用apache 2.0许可认证。另外一个IaaS开源平台则是Eucalyptus，但是Eucalyptus幕后公司维护着部分代码，核心代码对用户并不可见，而OpenStack则是100%的开源产品。Openstack的完全开源对于云计算平台的搭建和对Openstack的二次开发以及众多研究员对Op

17、enstack本身的代码贡献和发展都有着重大的意义。2、Ubuntu的良好支持。Ubuntu系统从11.04开始便从Eucalyptus转向支持Openstack，现在Ubuntu 12.04 LTS版本中更是将Openstack作为了云基础平台。3、行业标准的支持。来自全球十多个国家的60多家领军企业，包括Cisco，Citrix，Dell， Intel以及微软都参与到了OpenStack的项目中，使得使用Openstack技术的云平台在全球不断的上线。4、Openstack发展迅速。从2010年10月21日至今，Openstack已经发布了五个版本，社区开始约三个月发布一个版本，目前是半年

18、发布一个版本。5、可扩展性。Openstack在大规模部署公有云时在可扩展性上有优势，而且也可以用于私有云，一些企业特性正在逐步完善中。1.4 搭建云平台的意义现在云计算技术正在火热的发展之中，全球各大公司都在研制开发自己的云计算平台，提供自己的云计算服务。Eucalyptus作为先行者给大家带来很多便利，但是它的不完全开源又给深入研究云技术的人带来的极大的阻碍，而Openstack的出现便给我们提供了很好地渠道。同时，在中国科大学校内部有很多的老师和学生有一些创新、实践、科研等方面的需要，但是却没有很好的计算机资源，或者成本太高，所以云平台就变得十分重要。所以，在中国科大网络信息中心，利用O

19、penstack搭建一个IaaS云计算平台，与以前利用Eucalyptus技术搭建的瀚海星云云平台相互参照对比，借鉴经验，为平台提供PaaS和SaaS服务打下基础，改造完善瀚海星云云平台，给云计算资源分配调度，监控等科研试验提供便利，使瀚海星云云平台能更好的为科大服务。1.5 论文的主要内容和组织结构本文的主要工作是搭建一个基于Openstack的云计算平台，介绍在搭建平台的过程中，遇到的问题以及为了使平台性能最优在配置时做的一些调研，并对平台做一些性能上的测试，并且Eucalyptus平台做了对比。后续章节的组织结构如下：第二章，介绍平台搭建的物理架构以及网络拓扑结构。第三章，简要介绍平台搭

20、建过程，对平台进行配置使平台性能更佳。第四章，展示平台提供的服务。第五章，对平台进行性能测试，并与Eucalyptus平台对比。第六章，论文总结，反思毕设的不足并展望未来的工作。1.6本章小结本章简要介绍云计算和Openstack的概念以及发展情况，分析了云基础平台搭建中的Openstack的优势,，并说明了此次使用Openstack技术搭建云平台的意义所在。第2章 平台搭建项目介绍2.1 项目搭建实验的物理环境云平台搭建所用服务器为曙光TC2600（10刀片）刀片服务器，每刀片两路四核CPU，CPU型号为Quad-Core AMD Opteron(tm) Processor 2378，内存为

21、32G，硬盘容量为160G，硬盘类型SATA，两块网卡，控制节点和计算节点均采用此种刀片做服务器。2.2 Openstack系统概念架构与理解2.2.1 Openstack五大项目Openstack包括了五大项目，云计算控制中心Nova、镜像服务Glance、认证服务Keystone和Dashboard项目Horizon，以及对象存储项目Swift。这五个项目是完全独立分开的，完全能搭建在不同的节点上，这也是Openstack的一大特色之一，不同于Eucalyptus采用集中式管理的方法来管理大量的计算节点，Openstack的不同服务可以分布在不同的节点上，可以说每个节点都能成为控制节点，一

22、个节点出现错误完全能用其他的节点来代替，容错率更高。这五大项目中，Nova是整个IaaS平台的控制中心，还涵括着计算服务，所有的计算请求都要通过nova-api。Glance负责镜像系统的管理。Keystone是整个平台的账户权限管理中心，负责账户，工程，服务，权限的创建，认证。Horizon是网页管理所有的虚拟机管理。Swift是一个云存储服务。（本次云平台搭建项目未涉及到存储平台的搭建，只搭建了云计算平台）2.2.2 云计算控制中心nova云计算控制中心nova是运行云计算服务的关键，架构如图2.1图2.1图2.1中的Nova的各个组件的情况如下：1、守护进程nova-api是OpenSt

23、ack Compute的中心。它为所有API查询(OpenStack API 或 EC2 API)提供端点，初始化绝大多数部署活动(比如运行实例)，以及实施一些配置和检查策略。2、nova-compute进程主要是一个创建和终止虚拟机实例的Worker守护进程。其过程相当复杂，但是基本原理很简单：从队列中接收行为，然后当更新数据库的状态时，执行一系列的系统命令执行这些行为。3、nova-volume管理映射到计算机实例的卷的创建、挂载和卸载。这些卷支持不同的接口，比如，ISCSI和AoE。4、nova-network worker也是一个守护进程，它类似于nova-compute和nova-v

24、olume。它从队列中接收网络任务，然后执行任务以操控网络，比如创建bridging interfaces或改变防火墙规则iptables rules。5、Queue提供中心hub，为守护进程传递消息。当前用RabbitMQ实现。但是理论上能是python ampqlib支持的任何AMPQ消息队列。6、SQL database存储云基础架构中的绝大多数编译时和运行时状态。这包括了可用的实例类型，在用的实例，可用的网络和项目。理论上，OpenStack Compute能支持SQL-Alchemy支持的任何数据库，但是当前广泛使用的数据库是sqlite3(仅适合测试和开发工作)，MySQL和Pos

25、tgreSQL。可以看出nova-api是Nova计算与外界交互的核心，而Nova内部计算任务都靠Queue队列通过nova-scheduler来调度，数据库存于nova database。2.2.3 镜像服务GlanceGlance镜像服务主要包括两个主要部分，glance-api和glance-registry，在（图1.1）灰色部分我们可以看到Glance主要通过glance-api和nova组件进行交互，当有从nova-api或者nova-compute传来的启动虚拟机的要求，glance-api便通过glance-registry转发请求到数据库端处。Glance就是通过这样的机制来

26、管理运作平台中的虚拟机的。Glance支持的存储后台数据库包括：1、OpenStack Object Storage即Swift。它是OpenStack中高可用的对象存储项目。 2、FileSystem。OpenStack Image Service存储虚拟机镜像的默认后端是后端文件系统。这个简单的后端会把镜像文件写到本地文件系统。 3、S3。该后端允许OpenStack Image Service存储虚拟机镜像在Amazon S3服务中。 4、HTTP。OpenStack Image Service能通过HTTP在Internet上读取可用的虚拟机镜像。这种存储方式是只读的。 2.3.4 K

27、eystone认证服务Keystone是Openstack统一管理平台的最有效手段。它包含了user（用户），tenant（租户），role（角色权限），Token（令牌），Credentials(证书)，service（服务），endpoint（具体服务位置）等等概念，通过这些管理员能够实现对Nova计算，Glance镜像服务，Horizon项目，Swift存储的统一管理。在Keystone里面有众多繁琐的概念，我们可以用一个简单的例子来说明一下。我们把tenant租户看作宾馆，而user就是去宾馆的人，role则是一个权限，可能user是一个vip，也可能是一个普通住宾馆的人，role则为

28、user分配权限，Credentials证书则相当于宾馆给user的一个房间的钥匙，service就是宾馆提供的服务，比如空调，网络，洗漱，电视等等，endpoint则指出了这些服务具体位置在哪儿，就好比空调或者电视的遥控位置，网络的网口位置等等。Keystone通过这些机制赋给每个user账户不同的权限，给每个tenant租户也可以说是每个工程分配了不同的资源，包括虚拟机数量，能使用的最大核数，能使用的最大CPU个数等，并且给这些tenant工程提供服务的具体位置来实现对云计算平台的统一认证管理。2.3.5 Dashboard项目HorizonHorizon既是一个管理员通过网页管理平台资源

29、的窗口也是用户申请使用虚拟机的接口。Horizon管理包括虚拟机的启动，关闭，重启，远程连接以及使用情况等。镜像的更新和删除。Tenant租户的资源分配。弹性IP的创建和分配。账户的创建以及删除。Horizon使得云平台的管理更加方便快捷。2.2.6 Swift存储Swift是Openstack的存储项目，它是可以单独使用在云计算平台之外的，可搭建一个用于网络云存储的平台，此次项目只搭建云计算平台，在未来的工作中会加入云存储平台的整合。2.2.7 小结本节介绍了Openstack的五大重要项目，阐述了各自的概念架构和服务原理，为后面平台搭建打下基础。2.3 平台搭建物理构架2.3.1 平台的网

30、络模式选择Openstack的网络是一块比较复杂的部分，它共有三种网络模式：Flat、FlatDHCP、VLAN模式。1、Flat模式。网络管理员指定一个子网。为虚拟机实例分配的IP地址都是从这个子网内面获取，然后在虚拟机启动时候注入虚拟机镜像。所有的系统实例都是和同一个网桥所相关的，网络管理员需要手动配置相连关系。2、FlatDHCP模式。启动一个DHCP服务器，把从一个指定的子网中获得的IP地址传递到虚拟机实例，此外网络管理员还需手动配置网桥。为虚拟机实例所分配的IP地址都是从网络管理员指定的子网中所获得的。3、VLAN网络模式。在这个模式里面，Compute为每个tenant租户创建了V

31、LAN和网桥。为了实现多台机器的安装，VLAN网络模式需要一个支持VLAN标签(IEEE 802.1Q)的路由器。每个项目获得一些只能从VLAN内部访问的私有IP地址。为了实现用户获得项目的实例，需要创建一个特殊的VPN实例（代码名为cloudpipe）。Compute为用户生成了证明书和key，使得用户可以访问VPN，同时Compute自动启动VPN。它为每个项目的所有实例提供一个私有网络段，这个私有网络段都是可以通过因特网的VPN访问的。在这个模式里面，每个项目获得它自己的VLAN，Linux网桥还有子网。在搭建云计算平台的过程中，综合了三种模式的优劣。Flat模式过于简单，而且用户在启动虚拟机实例后，内网IP需要手动注入到实例中去，并且目前为止配置注入只能够在Linux类型的操作系统上正常工作。 而对于VLAN模式需要运行一个支持VLAN标签(IEEE 802.1Q)的路由器，对每个tenant