基于hadoop海量数据分析系统设计与实现毕业论文.doc

基于hadoop海量数据分析系统设计与实现毕业论文.doc

《基于hadoop海量数据分析系统设计与实现毕业论文.doc》由会员分享，可在线阅读，更多相关《基于hadoop海量数据分析系统设计与实现毕业论文.doc（59页珍藏版）》请在冰豆网上搜索。

西安电子科技大学

学位论文创新性声明

秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个

人在导师指导下进行的研究工作及取得的研究成果。

尽我所知，除了文中特别加

以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研

究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用

过的材料。

与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确

的说明并表示了谢意。

申请学位论文与资料若有不实之处，本人承担一切的法律责任。

本人签名：

日期

西安电子科技大学

关于论文使用授权的说明

本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：

研究

生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。

学校有权保

留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内

容，可以允许采用影印、缩印或其它复制手段保存论文。

同时本人保证，毕业后

结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。

（保密的论文在解密后遵守此规定）

本学位论文属于保密，在

本人签名：

导师签名：

年解密后适用本授权书。

日期

日期

摘要

随着互联网的不断发展，国内大型互联网公司业务的不断复杂化，分析核心

数据成为了公司发展的关键点，但是公司内部的核心数据原始文件庞大，目前大

部分是通过人工分析得出结论，因此分析处理海量数据成为亟待解决的问题。

本文研究了海量数据处理的国内外现状，阐述了分布式MapReduce的编程思

想，介绍了Hadoop的相关技术和HDFS文件系统，分析了企业的需求，使用了

spring-mvc和hibernate等Web开发框架对系统进行了分层设计，将系统分成了展

现层、业务逻辑层、数据对象实体层、底层数据层和原始资源层。

然后对系统结

构展开设计和实现，结合实际业务设计了分布式Hadoop计算模块、数据结果存

储模块和业务系统逻辑模块三个模块，最后对各个模块进行了测试，实现海量数

据分析系统。

本文所做工作被用于大型互联网公司系统的开发。

实践表明，采用本文所设

计的系统后，提高了数据分析的效率，改变了人工计算海量数据的情况，实现了

数据分析统计的高效性和集中性。

关键词：

HadoopMapReduce数据分析

Abstract

WiththecontinuousdevelopmentoftheInternet,businessofalargedomestic

companyisgoingtobemoreandmorecomplex.Analysisofcoredatabecomesakey

pointofthedevelopmentofthecompany,buttheinternalcorerawdatafilesarehuge.

Theygettheconclusionbymanualanalysis.Therefore,analysisandprocessing

massivedatabecomeproblemstobesolved.

Inthispaper,weresearchthehomeandabroadstatusformassivedata

processing.TheMapReducedistributedprogrammingideaiselaborated.We

introducetechnologiesaboutHadoopandtheHDFSfilesystem,analysisoftheneeds

ofenterprises.Spirng-MvcandHibernatewebdevelopmentframeworkareappliedto

hierarchicaldesigninginthesystem.Thesystemisdividedintofivelayers:

view

layer，businesslogiclayer，dataobjectlayer，underlyingdatalayerandoriginal

resourcelayer.Thenweexpandthedesignandimplementationofthesystem

structure.Hadoopcalculationmodule,datastoragemoduleandbusinesssystem

modulearedesignedwithactualbusiness.Finally,eachmoduleistested,Massdata

analysissystemisfinished.

Theworkinthispapermakesuseofthedevelopmentofasystemofalarge

Internetcompany.Practiceshowsthatthesystemdesignedinthispaperimprovesthe

efficiencyofdataanalysis，itchangesthestatusofartificiallycalculatingthemass

dataandmakesthestatisticaldataanalysisefficientandcentralized.

Keyword:



Hadoop



MapReduce



DataAnalysis

目录

第一章



绪论...........................................................................................................1

1.1论文背景及意义........................................................................................1

1.2国内外研究现状........................................................................................2

1.3本文研究内容............................................................................................3

1.4章节安排....................................................................................................3

第二章

基于Hadoop的分布式技术....................................................................5

2.1分布式计算的思想....................................................................................5

2.2分布式计算的技术....................................................................................7

2.2.1Hadoop原理....................................................................................7

2.2.2Hadoop应用....................................................................................8

2.3本章小结....................................................................................................9

第三章

基于Hadoop的海量数据分析系统的目标应用..................................11

3.1目标应用的需求分析...............................................................................11

3.2目标应用的设计架构...............................................................................12

3.2.1目标应用的总体架构....................................................................12

3.2.2目标应用的流程分析....................................................................17

3.3本章小结...................................................................................................18

第四章

基于Hadoop的海量数据分析系统的设计实现..................................21

4.1总体设计...................................................................................................21

4.2数据结构设计..........................................................................................23

4.3模块详细设计...........................................................................................29

4.3.1分布式Hadoop计算模块.............................................................29

4.3.2数据结果存储模块........................................................................32

4.3.3业务系统逻辑模块.......