【精品】云存储系统的实现毕业论文设计40论文41Word格式.docx
《【精品】云存储系统的实现毕业论文设计40论文41Word格式.docx》由会员分享，可在线阅读，更多相关《【精品】云存储系统的实现毕业论文设计40论文41Word格式.docx（54页珍藏版）》请在冰豆网上搜索。
第二章Hadoop云平台 6
2.1概述 6
2.2Hadoop介绍 6
2.3HDFS 7
2.3.1HDFS简介 7
2.3.2HDFS体系结构 8
2.3.3HDFSAPI 11
2.4MapReduce 14
第三章Hadoop与Eclipse开发环境的搭建 16
3.1概要分析环境搭建 16
3.2Windows上Hadoop云平台搭建 16
3.2.1安装JDK 16
3.2.2安装Cygwin 17
3.2.3配置Windows系统环境变量 23
3.2.4安装和配置SSHD服务 25
I
3.2.5配置Hadoop安装包 29
3.3EclipseHadoop插件开发配置 31
3.3.1Eclipse插件介绍 31
3.3.2安装Eclipse 31
3.3.3Eclipse上Hadoop插件开发配置 32
第四章实现与运行 错误！
未定义书签。
4.1程序的实现 错误！
4.1.1系统简要分析 错误！
4.1.2程序流程图 错误！
4.2部分重要代码分析 错误！
4.2.1文件下载 错误！
4.2.2文件上传 34
4.2.3HDFS上文件信息的获取 34
4.3程序的运行 34
4.3.1程序运行界面 34
4.3.2文件上传 35
总结 36
参考文献 37
谢辞 39
附录 40
云存储系统的实现
摘要：
云计算是通过网络实现资源的共享，其资源包括计算、存储、网络、服务和应用软件等，它能高效地为用户提供服务。
开源云计算平台很多，如Hadoop，AbiCloud，Eucalypyus等。
Hadoop是应用最广的云计算平台，它只需要低廉的硬件基础，且能带来高效的服务。
Hadoop还可以很方便结合Java程序实现应用开发，它有具体的插件可供嵌入Eclipse开发环境，在Eclipse应用程序上只需调用此插件内的API就可以实现云计算应用。
本项目使用Hadoop作为开发平台。
本文首先简单介绍了Hadoop云开发平台，并在Windows环境中结合Eclipse搭建了Hadoop云开发平台，然后并通过该开发环境运用Hadoop提供的API实现了文件的上传和下载。
关键词：
云计算；
存储；
Hadoop；
HDFS；
Cygwin
Theimplementationofcloudstoragesystem
Abstract:
Cloudcomputingisthroughthenetworktorealizeresourcessharing,itsresourcesincludingcomputing,storage,network,serviceandapplicationsoftware,etc.,itcanefficientlyprovideservicefortheuser.
Therearemanyopensourcecloudcomputingplatform,suchasHadoop,AbiCloud,Eucalypyus,etc.Hadoopisthemostwidelyusedcloudcomputingplatform,itonlyneedstobecheap leadtoefficientservice.HadoopcanalsobeeasilycombinedwithJavaprogramtorealizeapplicationdevelopment,it developmentenvironment,theEclipseapplicationsneedtoinvokethisAPIcanbeachievedwithintheplug-incloudcomputingapplications.ThisprojectUSESHadoopasadevelopmentplatform.
ThisarticlefirstintroducestheHadoopclouddevelopmentplatform,andcombiningwiththeEclipseintheWindowsenvironmentsetupHadoopclouddevelopmentplatform,andthenthroughthedevelopmentenvironmentusingHadoopprovidesAPIimplementsthefileuploadanddownload.
Keywords:
Cloudcomputing;
storage;
Hadoop;
HDFS;
第一章 绪论
1.1论文研究的背景
1.1.1背景
云计算是在2007年提出的一种新概念，是指基于互联网等网络，用虚拟资源的方式来共享整个网络上的资源的新型模式；
主要通过整个网络来共同管理和处理，调配计算、存储、网络、软件等资源，将IT资源优化，整合。
云计算凭借自身极具创新性的理念引起了业界广泛地关注，成为了整个IT行业最为热门的话题。
云计算概念就像名字中所包含的“云”一样牵涉大、覆盖广，可谓整个IT行业的一次史无前例的创新。
研究云计算中存在的相关问题，是具有十分重要的意义。
如今，企业的生存和发展越来越依靠数据的完整和庞大，在某种程度上说，数据已经成为一个企业的核心部分，它决定着企业的生死存亡。
而对于当今数据日趋庞大，以至到现今的大数据时代，其对数据计算的速度和对数据处理的效率变成了关键。
CPU的速度不可能在大幅度提升了。
这样人们就希望通过增加计算机数量并行运算来提升运算和数据处理速度。
云计算也就是通过互联网，利用虚拟化的方式来共享网络资源的计算模式。
用服务这样的方式来满足不同用户的各种需求。
当然这种方式必然是最低成本的。
云计算这一概念被认为是在PC以及互联网这类重大信息技术之后的另一次重大突破。
而对已进入大数据时代的现在，这样一个既能满足于高速的运算速度又能满足高效的数据处理能力的平台是必不可少的。
1.1.2目的和意义
云计算的兴起不是偶然的，而是信息技术和应用发展的必然产物，最根本的目
的是最大限度的使用整个网络上的资源。
云计算会通过对服务器的负荷程度的分析来对用户的请求进行一个优化的引导，使该服务器与空闲些的服务器进行连接，从而均衡它们之间的利用率以提高用户访问的速度。
因此我们知道，采用云计算这种方式可以帮用户的请求在服务器之
间实现负载均衡。
这种方式必然是最低成本的。
而且整个IT行业已达成基本共识，认为云计算这一概念的提出必然引起整个行业的重大变革。
在安全的问题上云计算为用户提供了一套最可靠、最安全的数据存储模式，为此对于数据丢失和病毒入侵等问题是不会困扰客户的；
在便捷的问题上云计算对用户端设备要求不是很高，使用起来也十分方便；
在数据共享的问题上云计算可以轻松实现不同设备见得数据与应用共享；
而对于发展的问题上云计算这一概念为我们使用网络资源的方式提供了无限可能。
Hadoop是一个分布式计算开源框架，它可以稳定可靠的运行在大中型集群的比较便宜的硬件设备上，为应用程序的运行提供了一组方便的接口。
其最底部是HDFS
（即HadoopDistributedFileSystem），HDFS上存储着Hadoop上所有数据节点上的数据。
普通的计算机上也可以安装Hadoop平台，极大程度地降低开发项目的成本，这也让研究项目、使用分布式系统更加简便，而且还是开源的。
总的来说，本文有以下几方面的意义：
随着现代企业的数据量日益增多，面对庞大的数据，如何对这些数据进行有效管理直接影响着企业的安全。
如果我们能利用云存储技术来解决数据问题，毫无疑问这将直接提高企业的效益。
HadoopDistributedFileSystem可以在普通的PC机上使用，可以说这在很大程度上是降低了运行分布式系统的成本。
这里通过在普通Pc机上实现云平台上的操作来证明此点。
通过对HDFS的研究和发展，我们也可以把这种技术运用到另外的集群存储技术中。
这也为IT行业今后的进一步发展提供了无限可能。
1.2国内外的进展
1.2.1国外
云计算在国外的从2007年就兴起了，知名的一些电子信息公司纷纷加入了云计算这一领域，例如：
IBM，Microsoft，Google，Sun。
随着云计算技术的慢慢成熟，他们都相继推出了相关的产品和服务。
Intel、Cisco等传统硬件厂商也开始加入云计算服务商行业。
云计算受到了整个国际资本市场的高度关注，VMware也因为其在云计算上的优势技术，成为继Google之后美国最强的云技术公司，在欧洲市场上
Salesforce是这方面得领军，发展势头强劲。
IBM于2007年8月高调推出“蓝云（BlueCloud）计划。
随之建立了云计算数据中心。
在东京建立了全新研究所，帮助用户使用云的基本服务。
迄今为止，IBM已发布一系列大型主机的相关云产品。
目的是在于减低运营成本并且能早日搭建成安全可靠的云平台。
IBM的云系统给客户提供了一种基于开放标准的可信赖的平台。
这样的一台大型的主机就可以在单一的系统中保证6，000多台虚拟机的运行、并完全提供一个多租户环境来动态的调配网上共享的资源。
谷歌与IBM合作在2007年10月向全球宣布了他们的云计划，他们把全球一些知名大学纳入了他们“云计算”计划。
Google与IBM两家公司为了降低分布式计算技术在学术研究方面的成本，已经在美国大学校园，主要包括卡耐基梅隆大学、麻省理工学院、斯坦福大学、加州大学伯克利分校及马里兰大学等，并且进一步推广了云计算。
与此同时也为这些大学提供相关云计算的技术支援。
在2008年1月30日之后，Google已经在台湾启动了“云计算学术计划”，将这种先进、快速的计算技术推广到校园。
在2009年4月，GAE的升级就已经支持Java，并且添加了一系列能满足企业业务的功能：
在那之后，Google还发布了一款Eclipse插件，可以对GoogleAppEngine的Java开发提供强力支持，之后Google继续推出了GoogleCloud
Storage和GoogleBigQuery。
而其发布的ComputeEngine云计算平台就是这个架构的基础服务，它可以让我们用谷歌的服务器来运行Linux的虚拟机，得到更强大的数据运算能力，具有延展性广、性能高、性价比高的特点。
在群雄崛起之时，微软也不逊色。
WindowsAzure被认为是在WindowsNT之后，微软中最为重要的产品。
而且WindowsAzure使用
升级会员 