mapreduce学习指导及疑难解惑汇总资料下载.pdf
《mapreduce学习指导及疑难解惑汇总资料下载.pdf》由会员分享,可在线阅读,更多相关《mapreduce学习指导及疑难解惑汇总资料下载.pdf(34页珍藏版)》请在冰豆网上搜索。
所以我们可能通过一张图,了解的不够清楚和详细。
我们还需要了解里面的原理:
MapReduce工作原理讲解3.模型实现模型实现通过上面我们可能有了自己的一些看法。
但是我们可能还是认识不太清楚。
那么咱们在来看看编程模型,来进一步的了解。
MapReduce编程模型概述mapreduce编程模型4.产生问题产生问题我们看了上面的文章,这时候会有一些名词、概念进入我们的脑海。
除了map,reduce,task,job,shuffe,partition,combiner这些把我们给弄糊涂了。
/我们产生问题如下:
map的个数由谁来决定,如何计算?
reduce个数由谁来决定,如何计算?
简单来讲map由split来决定,reduce则是由partition来决定。
详细可以查看如何确定Hadoopmap和reduce的个数-map和reduce数量之间的关系是什么?
-shuffle是什么?
partition是什么?
combiner是什麽?
他们三者之间的关系是什么?
mapreduce是hadoop核心,而shuffle是mapreduce的核心,shuffle个人认为它是一个动态的过程,包含了Combiner,merge等的过程,那么这里因为讲到shuffle,很多人都讲的全面,Combiner,merge,sort几乎全都讲了,这样讲是没有错误的,但是容易给初学者造成一个假象,那就是这些过程必须都是包含的,其实这些是根据个人的需求来确定的。
彻底了解mapreduce核心Shuffle-解惑各种mapreduce问题同样关于上面的问题可以参考关于Mapper、Reducer的个人总结5.编程实现编程实现mapreduce是一种编程模型,我们认识了解,下面就需要编程实现了。
那么mapreduce都能做些什么?
下面我们可以看看MapReduce初级案例
(1):
使用MapReduce去重MapReduce初级案例
(2):
使用MapReduce数据排序MapReduce初级案例(3):
使用MapReduce实现平均成绩通过上面三个例子,也是我们验证前面所理解的内容。
同样可以参考下面内容Hadoopmapper类的阅读Hadoopreducer类的阅读http:
/Mapreduceshuffle和排序hadoop中mapreduce包及制作文档指导Hadoop开发环境搭建及map-reduce开发实例讲解视频下载如何进行Hadoop二次开发指导视频下载5.mapreduce应用应用上面是一些基本的知识,那么我们熟悉之后,其实有些地方,可以应用在其它方面。
下面可以参考:
淘宝之HBaseMapReduce实例分析MapReduce在压力测试中的应用-详细介绍:
详细介绍:
什么是Map/ReduceHadoop简介简介http:
/Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop:
1.什么是什么是Map/Reduce,看下面的各种解释:
,看下面的各种解释:
(1)MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapreduce,缺一不可,也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。
(2)Mapreduce是一种编程模型,是一种编程方法,抽象理论。
(3)下面是一个关于一个程序员是如何个妻子讲解什么是MapReduce?
文章很长请耐心的看。
我问妻子:
“你真的想要弄懂什么是MapReduce?
”她很坚定的回答说“是的”。
因此我问道:
我:
你是如何准备洋葱辣椒酱的?
(以下并非准确食谱,请勿在家尝试)妻子:
我会取一个洋葱,把它切碎,然后拌入盐和水,最后放进混合研磨机里研磨。
这样就能得到洋葱辣椒酱了。
妻子:
但这和MapReduce有什么关系?
你等一下。
让我来编一个完整的情节,这样你肯定可以在15分钟内弄懂MapReduce.妻子:
好吧。
现在,假设你想用薄荷、洋葱、番茄、辣椒、大蒜弄一瓶混合辣椒酱。
你会怎么做呢?
/妻子:
我会取薄荷叶一撮,洋葱一个,番茄一个,辣椒一根,大蒜一根,切碎后加入适量的盐和水,再放入混合研磨机里研磨,这样你就可以得到一瓶混合辣椒酱了。
没错,让我们把MapReduce的概念应用到食谱上。
Map和Reduce其实是两种操作,我来给你详细讲解下。
Map(映射):
把洋葱、番茄、辣椒和大蒜切碎,是各自作用在这些物体上的一个Map操作。
所以你给Map一个洋葱,Map就会把洋葱切碎。
同样的,你把辣椒,大蒜和番茄一一地拿给Map,你也会得到各种碎块。
所以,当你在切像洋葱这样的蔬菜时,你执行就是一个Map操作。
Map操作适用于每一种蔬菜,它会相应地生产出一种或多种碎块,在我们的例子中生产的是蔬菜块。
在Map操作中可能会出现有个洋葱坏掉了的情况,你只要把坏洋葱丢了就行了。
所以,如果出现坏洋葱了,Map操作就会过滤掉坏洋葱而不会生产出任何的坏洋葱块。
Reduce(化简):
在这一阶段,你将各种蔬菜碎都放入研磨机里进行研磨,你就可以得到一瓶辣椒酱了。
这意味要制成一瓶辣椒酱,你得研磨所有的原料。
因此,研磨机通常将map操作的蔬菜碎聚集在了一起。
所以,这就是MapReduce?
你可以说是,也可以说不是。
其实这只是MapReduce的一部分,MapReduce的强大在于分布式计算。
分布式计算?
那是什么?
请给我解释下吧。
没问题。
假设你参加了一个辣椒酱比赛并且你的食谱赢得了最佳辣椒酱奖。
得奖之后,辣椒酱食谱大受欢迎,于是你想要开始出售自制品牌的辣椒酱。
假设你每天需要生产10000瓶辣椒酱,你会怎么办呢?
我会找一个能为我大量提供原料的供应商。
是的.就是那样的。
那你能否独自完成制作呢?
也就是说,独自将原料都切碎?
/仅仅一部研磨机又是否能满足需要?
而且现在,我们还需要供应不同种类的辣椒酱,像洋葱辣椒酱、青椒辣椒酱、番茄辣椒酱等等。
当然不能了,我会雇佣更多的工人来切蔬菜。
我还需要更多的研磨机,这样我就可以更快地生产辣椒酱了。
没错,所以现在你就不得不分配工作了,你将需要几个人一起切蔬菜。
每个人都要处理满满一袋的蔬菜,而每一个人都相当于在执行一个简单的Map操作。
每一个人都将不断的从袋子里拿出蔬菜来,并且每次只对一种蔬菜进行处理,也就是将它们切碎,直到袋子空了为止。
这样,当所有的工人都切完以后,工作台(每个人工作的地方)上就有了洋葱块、番茄块、和蒜蓉等等。
但是我怎么会制造出不同种类的番茄酱呢?
现在你会看到MapReduce遗漏的阶段搅拌阶段。
MapReduce将所有输出的蔬菜碎都搅拌在了一起,这些蔬菜碎都是在以key为基础的map操作下产生的。
搅拌将自动完成,你可以假设key是一种原料的名字,就像洋葱一样。
所以全部的洋葱keys都会搅拌在一起,并转移到研磨洋葱的研磨器里。
这样,你就能得到洋葱辣椒酱了。
同样地,所有的番茄也会被转移到标记着番茄的研磨器里,并制造出番茄辣椒酱。
(4)上面都是从理论上来说明什么是MapReduce,那么咱们在MapReduce产生的过程和代码的角度来理解这个问题。
如果想统计下过去10年计算机论文出现最多的几个单词,看看大家都在研究些什么,那收集好论文后,该怎么办呢?
方法一:
我可以写一个小程序,把所有论文按顺序遍历一遍,统计每一个遇到的单词的出现次数,最后就可以知道哪几个单词最热门了。
这种方法在数据集比较小时,是非常有效的,而且实现最简单,用来解决这个问题很合适。
方法二:
写一个多线程程序,并发遍历论文。
这个问题理论上是可以高度并发的,因为统计一个文件时不会影响统计另一个文件。
当我们的机器是多核或者多处理器,方法二肯定比方法一高效。
但是写一个多线程程序要比方法一困难多了,我们必须自己同步共享数据,比如要防止两个线程重复统计文件。
方法三:
/把作业交给多个计算机去完成。
我们可以使用方法一的程序,部署到N台机器上去,然后把论文集分成N份,一台机器跑一个作业。
这个方法跑得足够快,但是部署起来很麻烦,我们要人工把程序copy到别的机器,要人工把论文集分开,最痛苦的是还要把N个运行结果进行整合(当然我们也可以再写一个程序)。
方法四:
让MapReduce来帮帮我们吧!
MapReduce本质上就是方法三,但是如何拆分文件集,如何copy程序,如何整合结果这些都是框架定义好的。
我们只要定义好这个任务(用户程序),其它都交给MapReduce。
map函数和函数和reduce函数函数map函数和reduce函数是交给用户实现的,这两个函数定义了任务本身。
map函数:
接受一个键值对(key-valuepair),产生一组中间键值对。
MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。
reduce函数:
接受一个键,以及相关的一组值,将这组值进行合并产生一组规模更小的值(通常只有一个或零个值)。
统计词频的MapReduce函数的核心代码非常简短,主要就是实现这两个函数。
map(Stringkey,Stringvalue):
/key:
documentname/value:
documentcontentsforeachwordwinvalue:
EmitIntermediate(w,1);
reduce(Stringkey,Iteratorvalues):
awordhttp:
/listofcountsintresult=0;
foreachvinvalues:
result+=ParseInt(v);
Emit(AsString(result);
在统计词频的例子里,map函数接受的键是文件名,值是文件的内容,map逐个遍历单词,每遇到一个单词w,就产生一个中间键值对,这表示单词w咱又找到了一个;
MapReduce将键相同(都是单词w)的键值对传给reduce函数,这样reduce函数接受的键就是单词w,值是一串1(最基本的实现是这样,但可以优化),个数等于键为w的键值对的个数,然后将这些“1”累加就得到单词w的出现次数。
最后这些单词的出现次数会被写到用户定义的位置,存储在底层的分布式存储系统(GFS或HDFS)。
工作原理工作原理http:
/上图是论文里给出的流程图。
一切都是从最上方的userprogram开始的,userprogram链接了MapReduce库,