云存储技术毕业设计.docx

云存储技术毕业设计.docx

《云存储技术毕业设计.docx》由会员分享，可在线阅读，更多相关《云存储技术毕业设计.docx（39页珍藏版）》请在冰豆网上搜索。

云存储技术毕业设计

学位论文原创性声明

本人郑重声明：

所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。

除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。

本人完全意识到本声明的法律后果由本人承担。

作者签名：

年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

本学位论文属于1、保密囗，在年解密后适用本授权书

2、不保密囗。

（请在以上相应方框内打“√”）

作者签名：

年月日

导师签名：

年月日

本科生毕业设计（论文）任务书

学生姓名：

专业班级：

通信0906班

指导教师：

许建霞工作单位：

信息工程学院

设计（论文）题目:

云环境下存储技术的研究

设计（论文）主要内容：

云计算主要是利用现有的各种资源，使用虚拟化等多种技术，构建由大量计算机组成的称之为“云”的资源池，它具有强大的资源控制和监督管理能力，能够根据用户的不同需求来动态切割和分配计算资源，用户不需要去了解云的具体构成，只需要定制需求就可以获得云计算交付的服务。

云存储伴随云计算而产生，与传统的专用存储相比，云存储增加了资源利用率，其独特的按使用付费和弹性扩展的方式提供计算资源具有显著的优势，它将成为未来最值得期待推广和应用的技术之一。

论文的主要内容包括了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究；对比多家云存储厂商的架构技术和标准接口，了解其架构的特点，最后用CloudSim软件对云计算系统进行仿真。

要求完成的主要任务:

1.查阅不少于15篇相关资料，其中英文文献不少于2篇。

2.完成开题报告。

3.了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究；

4.对比多家云存储厂商的架构技术和标准接口，了解其架构的特点。

5.用CloudSim软件对云计算系统进行仿真。

6.完成不少于20000字的论文的撰写并完成答辩的相关工作。

7.在设计中完成不少于3张1~2#图纸的描绘。

8.完成毕业设计周志。

9.完成不低于5000汉字（20000英文印刷符）的教师指定的相关文献的英译汉翻译。

必读参考资料：

[1]晏强,张晓锋,丁蕊.云存储技术研究[J].上计算机与信息技术.2012.第5期:

22-24.

[2]成静静.基于Hadoop的分布式云计算/云存储方案的研究与设计[J].数据通信,2012,第5期:

14-18.

[3]PENGYong,ZHAOWei,Securecloudstoragebasedoncryptographictechniques[J].ScienceDirect89（2009）174–180October2012,19（Suppl.2）:

182–189.

[4]JosefSpillner,JohannesMüller,AlexanderSchill.Creatingoptimalcloudstoragesystems.FutureGenerationComputerSystems29（2013）1062–1072.

指导教师签名系主任签名

院长签名（章）

武汉理工大学

本科生毕业设计（论文）开题报告

1、目的及意义（含国内外的研究现状分析）

云存储是一个以数据存储和管理为核心的云计算系统，可以认为是以数据处理、数据运算为中心的系统，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统。

云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。

在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。

云存储不是存储，而是服务。

就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。

使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。

所以严格来讲，云存储不是存储，而是一种服务。

云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

相比于传统的存储，云存储更容易扩容（包括带宽），云存储采取的架构是并行扩容，容量不够了，只要采购新的存储服务器即可，容量立即增加，几乎是没有限制的。

更易于管理，因为将大部分数据迁移到云存储上去后，所有的升级维护任务都是由云存储服务提供商来完成，云存储服务则可以很方便的在原有基础上扩展服务空间，满足需求。

成本更低廉，就目前来说，企业在数据存储上所付出的成本是相当大的，而且这个成本还在随着数据的暴增而不断增加。

IDC研究表明，从2006年到2010年，全球信息总量将增长6倍以上，从161EB增加到988EB（1EB=1024PB）。

一些新推出的磁盘阵列中已经普遍采用了750GB或1TB的SATA（SerialAdvancedTechnologyAttachment，串行高级技术附件，一种基于行业标准的串行硬件驱动器接口）硬盘。

目前已知存储密度最高的磁盘阵列可以在4U空间（1U=4.45cm）内提供高达42TB的存储容量，这在以前是根本无法想象的。

最新一代LTO-4磁带的单盒磁带存储容量也达到了1.6TB（压缩比为2∶1）。

技术的不断进步必将推动存储向更高容量发展，而重复数据删除、压缩等技术的引入，可以进一步提升存储空间的利用率。

从性能方面看，FC磁盘阵列已经逐步过渡到4GB时代，而8GBFC又在向数据中心用户招手；万兆IP存储不再是纸上谈兵；在InfiniBand领域，已经有厂商推出了40GBInfiniBand适配器产品。

2、基本内容和技术方案

与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。

各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。

云存储系统的结构模型由4层组成，如图1所示：

图1

（1）存储层

存储层是云存储最基础的部分。

存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。

云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

（2）基础管理层

是云存储最核心的部分，也是云存储中最难以实现的部分。

基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

 CDN内容分发系统、P2P数据传输技术和数据压缩技术等可以保证云存储中的数据可以更有效地存储，使用和占用更少的空间，占用更低的传输带宽，从而对外提供更高效的服务。

数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

（3）应用接口层

应用接口层是云存储最灵活多变的部分。

不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。

比如数据远程容灾和远程备份、视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。

（4）访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。

云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同。

3进度安排

第1-3周：

查阅相关文献资料，明确研究内容，了解研究相关方向

第4周：

开题报告的编写

第5-8周：

完成各种实验方案资料的整理

第9-11周：

完成原理和各种方案，并进行比较分析

第12周：

研究云存储在数据存储的一些应用并进行仿真

第13-14周：

毕业论文书写

第15-17周：

完善毕业毕业设计论文，并答辩

4指导教师意见

指导教师签名：

年月日

摘要

云计算是当前研究与应用的热点问题。

至今为止，Google、Microsoft、IBM、亚马逊等IT商业巨头都推出了自己的云计算平台，并把云计算作为其未来发展的最主要战略之一。

云存储作为云计算的底层服务，对上层服务提供重要的支持；同时，云存储可以有效的存储和管理海量数据，所以更是成为专家学者们关注的焦点。

因此，云存储的研究不但紧跟发展的趋势，同时还具有较高的应用价值。

云存储是一种架构复杂的分布式文件系统，一是其建立在云计算系统的基础设施之上，这样的基础实施是基于廉价的或虚拟化了的不可信物理硬件；二是其必须支持超大节点规模和海量数据的高效存储，这对于系统架构和模块设计的关键技术提出了巨大的挑战。

本文讨论了云存储的发展背景，给出了云存储的定义，描述了云存储的特点，提出了云存储的架构模型，系统地阐述了云存储的关键技术，对比了GFS、GPFS、HDFS、Dynamo架构的特点，并用CloudSim对云计算系统进行了仿真。

关键词：

云存储，关键技术，架构模型，HDFS，CloudSim

Abstract

Cloudcomputingisahottopicinrecentresearchandapplications．Uptonow,Google、Microsoft、IBM、Amazonandsomeotherfamouscooperationshaveproposedtheircloudcomputingapplication,andtakecloudcomputingasoneofthemostimportantstrategyinthefuture．Cloudstorageisthelowerlayerofcloudcomputingsystemwhichsupportstheserviceoftheotherlayersaboveit．Meanwhile，itisaneffectivewaytostoreandmanageheavydata．Soitfocusedevenmoreattentionsfromsomeresearchers．Therefore,theresearchofcloudstoragewillnotonlykeepupontrends,butalsohasahighapplicationvalue.

Cloudstorageisadistributedfilesystemwithcomplicatedarchitecture．Firstly，itisimplementedontopofthecloudcomputinginfrastructurewhichisbasedoncheap，virtualizedandunreliablephysicalhardware．Secondly，itshouldsupportshugeserverscale，efficientheavydatastorage．Allofthesechallengethekeytechnologiesofthesystemarchitectureandmodulesdesign．

Thisarticlediscussesthebackgroundofthedevelopmentofcloudstorage,givesthedefinitionofcloudstorage,describesthecharacteristicsofcloudstorage,proposesthemodeofcloudstoragearchitecture,exposedthekeytechnologiesofcloudstoragesystematically,comparedthefeaturesofGFS,GPFS,HDFS,Dynamoarchitecture,andsimulatedthecloudcomputingsystemwithCloudSim.

KeyWords:

cloudstorage,thekeytechnologies,themodeofcloudstoragearchitecture,HDFS,CloudSim

1绪论

近年来，随着云计算[1-2]和软件即时服务[3-5]的兴起，云存储成为信息存储领域的一个研究热点。

与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[6]。

这是一种具有很大诱惑性的存储技术，云存储可以实现存储完全虚拟化，大大简化应用环节，节省客户建设成本，同时提供更强的存储和共享功能。

云状存储中所有设备对使用者完全透明，任何地方任何被授权用户都可以通过一根接入线与云存储连接，进行空间与数据访问。

用户无需关心存储设备型号、数量、网络结构、存储协议、应用接口等，应用简单透明。

因此，云存储的研究不但紧跟发展的趋势，同时还具有较高的应用价值。

1.1云存储的兴起

迄今为止，人类对于计算机发展的需求所关心的共同问题都集中在如何进行高效的存储和存储如何促进计算的协作上。

存储与之相关计算的发展历经了以下四个的阶段[7]：

（1）集中式的应用和存储——客户机/服务器计算

在计算的初期，所有的应用软件、所有的数据和控制器都位于大型的电脑主机之上。

用户必须连接到主机，获得适当的权限后才能访问数据。

（2）存储资源共享——对等计算

无须经由服务器，将一台计算机连接到另一台计算机，导致了P2P对等计算的发展。

在P2P网络中没有主机，所有的通信不再经由主服务器，计算机平等运行，所有的数据分散存储到对等的节点上，提高了通信效率，易于进行数据的共享。

（3）存储与计算的分布式化

个人电脑能的计算和存储的资源很大一部分没有得到较好的利用，分布式计算能很好的利用这些资源。

当一台计算用于某个分布式项目时，需要在机器上安装软件，它会利用空闲的时间进行数据的存储与运算并定期传送到分布式计算网络中与该项目中的其它计算合并结果。

只要有足够的计算机参与，这种做法足以比拟更大的主机和超级计算机的处理能力，用户可以共享文件并同时在相同的文件上工作。

（4）云计算——瘦客户端下的计算与存储

随着手持设备的发展，云计算的产生使得在瘦客户端——没有多少计算力和存储空间的接入设备上，也能够进行海量数据的处理[8]。

更深入的来看存储技术的发展。

由于单机存储方案无法满足数据拓展和协作性，而产生了分布式存储系统[10]。

分布式存储系统是基于硬件的存储技术，由于其较大的成本和较差的灵活性而逐渐被大型企业放弃[9]。

云存储是一种新的分布式存储模式，具有廉价、高可靠性和安全性的优点[7,9,11,12]，成为未来最值得期待推广和应用的技术之一。

1.2云存储的发展

云存储这个概念一经提出，就得到了众多厂商的支持和关注[13]。

Amazon公司推出弹性块存储技术支持数据持久性存储；Google推出在线存储服务GDrive；内容分发网络服务提供商CDNetworks和云存储平台服务商Nirvanix结成战略伙伴关系，提供云存储和内容传送服务集成平台；EMC公司收购BerkeleyDataSystems，取得该公司的Mozy在线服务软件，并开展SaaS业务；Microsoft公司推出WindowsAzure，并在美国各地建立庞大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分。

目前有近百种云存储系统。

一些系统有明确的关注点，如存储网络电子邮件信息或者数字图片。

其它一些用来存储所有形式的数字文件。

一些云存储系统是小规模操作的，其它一些是超大集群的以至于物理设备能填满整个仓库。

尽管对于云存储来说有很多优势值得我们选择和研究，然而云存储仍面临着许多技术的难题，特别是安全性。

图1.1是因特网数据中心关于云存储所做的调研[13]，可以看出安全、控制和性能等问题是关注的焦点。

有效的控制和性能反映出用户对于云存储可用性的期待。

目前云存储研究的热点仍集中在安全性、可用性、可靠性三个方面。

云存储安全特别是用户数据的隐私问题，即服务商也不能得到用户的数据，至今没有较好的解决方案。

图1.1云存储的关注调查

2云存储的概念

2.1云存储的定义

云存储是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

云存储系统以传统的分布式存储技术为基础，利用高吞吐率网络技术为依托，一方面高效地整合管理网络存储资源，另一方面对外提供友好的接口，发布便捷的网络数据存储服务。

与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[12]。

云存储不是存储,而是服务。

使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。

云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变[13]。

2.2云存储与传统存储

相比于传统的集中存储方式，云存储系统具有以下几点优势：

（1）更容易扩容（包括带宽）

云存储的扩容过程将变得简单：

新设备仅需安装操作系统及云存储软件后，打开电源接上网络，云存储系统便能自动识别，自动把容量加入存储池中完成扩展。

相比传统的存储扩容，云存储架构采用的是并行扩容方式，即当容量不够时，采购新的存储服务器即可，扩容环节无任何限制。

（2）更易于管理

在传统存储系统管理中，管理人员需要面对不同的存储设备不同的管理界面，要了解每个存储的使用状况，工作复杂而繁重，当传硬盘或是存储服务器损坏时，读写效率会降低，数据很可能丢失；而云存储没有这个困扰，硬盘坏掉，数据会自动迁移到别的硬盘，不需要立即更换硬盘，大大减轻了管理人员的工作负担。

对云存储来说，管理人员只要在整体硬盘容量快用完时，按需采购服务器即可，通过一个统一管理界面监控每台存储服务器的使用状况，使得维护变得简单和易操作。

（3）成本更低廉

传统的存储系统对硬盘的要求近乎苛刻，必须同厂家、同容量、同型号，否则系统很容易出问题。

面对升级换代较快的IT产业，硬盘在使用2～3年后很难找到同型号产品更换。

而云存储没有这个问题，云存储系统中不同的硬盘可以一起工作，既可以实现原有硬件的利旧保护投入，又可以实现新技术、新设备的快速更新，合理搭配、可持续发展。

且云存储系统中所采用的存储及服务器设备均是性价比较高的设备。

可实现长久合作关系下，设备商采购的稳定渠道，便于实现对成本及服务质量的控制。

（4）数据更安全，服务不中断

传统存储系统会因为硬件损坏而导致服务停止，虽然可以设计全冗余的环境，但成本相对太高且工作复杂。

云存储系统则不同，它可通过将文件和数据保存在不同的存储节点，避免了单一硬件损坏带来的数据不可用。

云存储系统知道文件存放的位置，在硬件发生损坏时，云存储系统会自动将读写指令导向存放在另一台存储服务器上的文件，保持服务的继续。

另外，传统存储系统在升级时，往往需要把旧的存储设备文件备份出来后，停机换上新的存储设备，这通常会导致服务的短暂停止。

云存储并不单独依赖一台存储服务器，因此存储服务器硬件的更新、升级并不会影响存储服务的提供，系统会将旧存储服务器上的文件迁移到别的存储服务器，等新的存储服务器上线后，文件会再迁移回来。

2.3云存储与云计算

从整体来看，云计算系统可以认为是以数据处理、数据运算为中心的系统。

云计算的设计方向是将在不同地域的各种计算资源，通过虚拟化方式统一到庞大的计算资源“云”系统中来。

云系统统一调配、协调、处理来自不同客户的运算需求，通过云系统计算后对外输出运算结果。

云计算的一个核心理念就是通过不断提高“云”的处理能力，进而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力。

通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务功能。

云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。

在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。

由此可以理解，云存储是云计算系统的延伸，是配置了大容量存储空间的云计算系统，可以说云存储是云计算服务的一种，即SaaS[13]（storageasaservice，存储即服务），甚至可以说，利用云计算系统来建立存储系统，此时的云存储概念相当于一个云计算服务，它往往称之为“存储云”。

如亚马逊的S3服务，我们可以利用它来建立另外一个存储系统，S3服务本身就是云服务，所以这样的系统可以称为云存储。

2.4云存储架构模型

云存储系统的结构模型由4层组成，如图2.1所示。

（1）存储层

存储层是云存储最基础的部分。

数量庞大的云存储设备分布在不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接。

各存储设备上都安装有统一的存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、集中管理、多链路冗余管理以及硬件设备的状态监控和维护升级等。

（2）基础管理层

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。

应用接口层通过集群系统、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。

云存储系统通过集群文件操作系统实现后端存储设备的集群工作，并通过系统的控制单元和管理单元实现整个系统的管理，数据的分发、处理，处理结果的反馈。

可利用CDN内容分发系统、P2P数据传输技术和数据压缩技术等保证云存储中的数据可以更有效地存储，使用和占用更少的空间以及更低的传输带宽，从而对外提供更高效的服务。

数据加密技术实现了数据存储和传输过程中的安全性。

数据备份和容灾技术可保证云存储中的数据多份保存不会丢失，保证云存储数据自身的安全和稳定。

（3）应用接口层

应用接口层是云存储最灵活多变的部分。

不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。

任何一个授权用户通过网络接入、用户认证和权限管理接口的方式来登入云存储系统，都可以享受云存储服务。

（4）访问层

云存储运营单位不同，提供的访问类型和访问手段也不同。

云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同，比如个人空间租赁服务、运营商空间租赁服务、数据远程容灾和远程备份、视频监控应用平台、IPTV和视