mapreduce博客通俗分析总结文档格式.docx
《mapreduce博客通俗分析总结文档格式.docx》由会员分享，可在线阅读，更多相关《mapreduce博客通俗分析总结文档格式.docx（13页珍藏版）》请在冰豆网上搜索。
通常作业的输入和输出都会被存储在文件系统中。
整个框架负责任务的调度和监控，以及重新执行已经失败的任务。
通常，Map/Reduce框架和分布式文件系统是运行在一组相同的节点上的，也就是说，计算节点和存储节点通常在一起。
这种配置允许框架在那些已经存好数据的节点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利用。
Map/Reduce框架由一个单独的master
JobTracker
和每个集群节点一个slave
TaskTracker共同组成。
master负责调度构成一个作业的所有任务，这些任务分布在不同的slave上，master监控它们的执行，重新执行已经失败的任务。
而slave仅负责执行由master指派的任务。
应用程序至少应该指明输入/输出的位置（路径），并通过实现合适的接口或抽象类提供map和reduce函数。
再加上其他作业的参数，就构成了作业配置（jobconfiguration）。
然后，Hadoop的
jobclient提交作业（jar包/可执行程序等）和配置信息给JobTracker，后者负责分发这些软件和配置信息给slave、调度任务并监控它们的执行，同时提供状态和诊断信息给job-client。
虽然Hadoop框架是用Java实现的，但Map/Reduce应用程序则不一定要用Java来写。
2.样例分析：
单词计数
1、WordCount源码分析
单词计数是最简单也是最能体现MapReduce思想的程序之一，该程序完整的代码可以在Hadoop安装包的src/examples目录下找到
单词计数主要完成的功能是：
统计一系列文本文件中每个单词出现的次数，如图所示：
（1）Map过程
Map过程需要继承org.apache.hadoop.mapreduce包中的Mapper类，并重写map方法
通过在map方法中添加两句把key值和value值输出到控制台的代码，可以发现map方法中的value值存储的是文本文件中的一行（以回车符作为行结束标记），而key值为该行的首字符相对于文本文件的首地址的偏移量。
然后StringTokenizer类将每一行拆分成一个个的单词，并将<
word,1>
作为map方法的结果输出，其余的工作都交由MapReduce框架处理。
其中IntWritable和Text类是Hadoop对int和string类的封装，这些类能够被串行化，以方便在分布式环境中进行数据交换。
TokenizerMapper的实现代码如下：
1
2
3
4
5
6
7
8
9
10
12
13
14
publicstaticclassTokenizerMapperextendsMapper<
Object,Text,Text,IntWritable>
{
privatefinalstaticIntWritableone=newIntWritable
（1）;
privateTextword=newText（）;
publicvoidmap（Objectkey,Textvalue,Contextcontext）throwsIOException,InterruptedException{
System.out.println（"
key="
+key.toString（））;
//添加查看key值
value="
+value.toString（））;
//添加查看value值
StringTokenizeritr=newStringTokenizer（value.toString（））;
while（itr.hasMoreTokens（））{
word.set（itr.nextToken（））;
context.write（word,one）;
}
（2）Reduce过程
Reduce过程需要继承org.apache.hadoop.mapreduce包中的Reducer类，并重写reduce方法
reduce方法的输入参数key为单个单词，而values是由各Mapper上对应单词的计数值所组成的列表，所以只要遍历values并求和，即可得到某个单词的出现总次数
IntSumReduce类的实现代码如下：
publicstaticclassIntSumReducerextendsReducer<
Text,IntWritable,Text,IntWritable>
{
privateIntWritableresult=newIntWritable（）;
publicvoidreduce（Textkey,Iterable<
IntWritable>
values,Contextcontext）throwsIOException,InterruptedException{
intsum=0;
for（IntWritableval:
values）{
sum+=val.get（）;
result.set（sum）;
context.write（key,result）;
（3）执行MapReduce任务
在MapReduce中，由Job对象负责管理和运行一个计算任务，并通过Job的一些方法对任务的参数进行相关的设置。
此处设置了使用TokenizerMapper完成Map过程和使用的IntSumReduce完成Combine和Reduce过程。
还设置了Map过程和Reduce过程的输出类型：
key的类型为Text，value的类型为IntWritable。
任务的输入和输出路径则由命令行参数指定，并由FileInputFormat和FileOutputFormat分别设定。
完成相应任务的参数设定后，即可调用job.waitForCompletion（）方法执行任务，主函数实现如下：
15
16
17
18
19
publicstaticvoidmain（String[]args）throwsException{
Configurationconf=newConfiguration（）;
String[]otherArgs=newGenericOptionsParser（conf,args）.getRemainingArgs（）;
if（otherArgs.length!
=2）{
System.err.println（"
Usage:
wordcount<
in>
<
out>
"
）;
System.exit
（2）;
Jobjob=newJob（conf,"
wordcount"
job.setJarByClass（wordCount.class）;
job.setMapperClass（TokenizerMapper.class）;
job.setCombinerClass（IntSumReducer.class）;
job.setReducerClass（IntSumReducer.class）;
job.setOutputKeyClass（Text.class）;
job.setOutputValueClass（IntWritable.class）;
FileInputFormat.addInputPath（job,newPath（otherArgs[0]））;
FileOutputFormat.setOutputPath（job,newPath（otherArgs[1]））;
System.exit（job.waitForCompletion（true）?
0:
1）;
运行结果如下：
14/12/1705:
53:
26INFOjvm.JvmMetrics:
InitializingJVMMetricswithprocessName=JobTracker,sessionId=
26INFOinput.FileInputFormat:
Totalinputpathstoprocess:
2
26INFOmapred.JobClient:
Runningjob:
job_local_0001
26INFOmapred.MapTask:
io.sort.mb=100
27INFOmapred.MapTask:
databuffer=79691776/99614720
recordbuffer=262144/327680
key=0
value=HelloWorld
key=12
value=ByeWorld
Startingflushofmapoutput
Finishedspill0
27INFOmapred.TaskRunner:
Task:
attempt_local_0001_m_000000_0isdone.Andisintheprocessofcommiting
27INFOmapred.LocalJobRunner:
Task‘attempt_local_0001_m_000000_0′done.
value=HelloHadoop
key=13
value=ByeHadoop
attempt_local_0001_m_000001_0isdone.Andisintheprocessofcommiting
Task‘attempt_local_0001_m_000001_0′done.
27INFOmapred.Merger:
Merging2sortedsegments
Downtothelastmerge-pass,with2segmentsleftoftotalsize:
73bytes
attempt_local_0001_r_000000_0isdone.Andisintheprocessofcommiting
Taskattempt_local_0001_r_000000_0isallowedtocommitnow
27INFOoutput.FileOutputCommitter:
Savedoutputoftask‘attempt_local_0001_r_000000_0′toout
reduce>
reduce
Task‘attempt_local_0001_r_000000_0′done.
27INFOmapred.JobClient:
map100%reduce100%
Jobcomplete:
Counters:
14
FileSystemCounters
FILE_BYTES_READ=17886
HDFS_BYTES_READ=52932
FILE_BYTES_WRITTEN=54239
HDFS_BYTES_WRITTEN=71431
Map-ReduceFramework
Reduceinputgroups=4
Combineoutputrecords=6
Mapinputrecords=4
Reduceshufflebytes=0
Reduceoutputrecords=4
SpilledRecords=12
Mapoutputbytes=78
Combineinputrecords=8
Mapoutputrecords=8
Reduceinputrecords=6
2、WordCount处理过程
上面给出了WordCount的设计思路和源码，但是没有深入细节，下面对WordCount进行更加详细的分析：
（1）将文件拆分成splits，由于测试用的文件较小，所以每一个文件为一个split，并将文件按行分割成<
key,value>
对，如图，这一步由Mapreduce框架自动完成，其中偏移量包括了回车所占的字符
（2）将分割好的<
对交给用户定义的map方法进行处理，生成新的<
对
（3）得到map方法输出的<
对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key值相同的value值累加，得到Mapper的最终输出结果，如图：
（4）Reduce先对从Mapper接收的数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的<
对，并作为WordCount的输出结果，如图：
3.MapReduce，你够了解吗？
MapReduce框架在幕后默默地完成了很多的事情，如果不重写map和reduce方法，会出现什么情况呢？
下面来实现一个简化的MapReduce，新建一个LazyMapReduce，该类只对任务进行必要的初始化及输入/输出路径的设置，其余的参数均保持默认
代码如下：
publicclassLazyMapReduce{
//TODOAuto-generatedmethodstub
if（otherArgs.length!
wordcount<
<
LazyMapReduce"
FileInputFormat.addInputPath（job,newPath（args[0]））;
FileOutputFormat.setOutputPath（job,newPath（args[1]））;
System.exit（job.waitForCompletion（true）?
0:
1）;
运行结果为：
14/12/1723:
04:
13INFOjvm.JvmMetrics:
14INFOinput.FileInputFormat:
14INFOmapred.JobClient:
14INFOmapred.MapTask:
15INFOmapred.JobClient:
map0%reduce0%
18INFOmapred.MapTask:
19INFOmapred.MapTask:
19INFOmapred.TaskRunner:
19INFOmapred.LocalJobRunner:
升级会员 