在UbuntuCentos上部署Hadoop2X集群Word文件下载.docx

在UbuntuCentos上部署Hadoop2X集群Word文件下载.docx

《在UbuntuCentos上部署Hadoop2X集群Word文件下载.docx》由会员分享，可在线阅读，更多相关《在UbuntuCentos上部署Hadoop2X集群Word文件下载.docx（28页珍藏版）》请在冰豆网上搜索。

【切记】SSH中密钥文件的权限值必须都设为600sudochmod600/home/hadoop/.ssh/*六、节点间六、节点间使用使用SSH连接连接6.1将各节点的id_rsa.pub公钥拷贝到各节点的authorized_keys内，就可以实现各节点之间的无SSH密码通讯6.2测试连接关于SSH的通讯原理，这里不做详述，有兴趣的话可以看看博客http:

/介绍的很详细的样子七、安装JDK我们选择的是jdk1.6.0_30版本,安装文件名为jdk-6u30-linux-i586.bin.7.1复制jdk到安装目录我们指定的安装目录是：

/usr/local/java，先创建一个java文件夹再将bin文件拷贝进去7.2安装jdk切换到root用户下（注：

如果因忘记密码而认证失败，可以先修改root用户的密码，再执行）运行jdk-6u30-linux-i586.bin（注：

如果遇到权限问题，可以先更改jdk-6u30-linux-i586.bin权限）更改权限后再执行上一步，当看到下图情况时，说明你安装成功了。

这时在/usr/local/java目录下就多了一个jdk1.6.0_30文件夹7.3配置环境变量

（1）打开/etc/profile文件

（2）添加变量如下：

#/etc/profile:

system-wide.profilefilefortheBourneshell（sh

（1）#andBournecompatibleshells（bash

（1）,ksh

（1）,ash

（1）,.）.#setjavaenvironmentexportJAVA_HOME=/usr/local/java/jdk1.6.0_30exportJRE_HOME=/usr/local/java/jdk1.6.0_30/jreexportCLASSPATH=.:

$JAVA_HOME/lib:

$JRE_HOME/lib:

$CLASSPATHexportPATH=$JAVA_HOME/bin:

$JRE_HOME/bin:

$JAVA_HOME:

$PATH（注：

为了以后集群工作的方便，这里建议每台机器的java环境最好一致。

）一般更改/etc/profile文件后，需要重启机器才能生效。

这里介绍一种不用重启使其生效的方法（3）查看java环境变量是否配置成功八、下载解压八、下载解压Hadoop官网下载http:

/www.apache.org/dyn/closer.cgi/hadoop/core/hadoop集群中每个机器上面的配置基本相同，所以我们先在master上面进行配置部署，然后再复制到其他节点。

所以这里的安装过程相当于在每台机器上面都要执行。

【注意】：

master和slaves安装的hadoop路径要完全一样，用户和组也要完全一致解压文件到/usr路径下，并重命名tarzxvfhadoop-2.2.0_x64.tar.gz/usr/mvhadoop-2.2.0hadoop（解压命令在Ubuntu是tar-zxfxxx.tar.gz，centos是tarzxvfxxx.tar.gz）九、九、Hadoop配置文件配置文件9.1创建必要文件夹在master本地文件系统创建以下文件夹：

/dfs/name/dfs/data/tmp注意文件所属用户及用户组。

如果不在新建的用户组下面，可以使用chown命令来修改：

（chmod和chown命令的用法http:

/7个/hadoop-2.2.0/etc/hadoop/hadoop-env.sh/hadoop-2.2.0/etc/hadoop/yarn-env.sh/hadoop-2.2.0/etc/hadoop/slaves/hadoop-2.2.0/etc/hadoop/core-site.xml/hadoop-2.2.0/etc/hadoop/hdfs-site.xml/hadoop-2.2.0/etc/hadoop/mapred-site.xml/hadoop-2.2.0/etc/hadoop/yarn-site.xml以上文件有些默认不存在的，可以复制相应的.template文件获得9.3配置文件1：

hadoop-env.sh修改JAVA_HOME值（exportJAVA_HOME=/usr/jdk1.7）9.4配置文件2：

yarn-env.sh修改JAVA_HOME值（exportJAVA_HOME=/usr/jdk1.7）9.5配置文件3：

slaves（这个文件里面保存所有slave节点）写入以下内容：

slave1slave29.6配置文件4：

core-site.xmlfs.defaultFShdfs:

/master:

8020io.file.buffer.size131072hadoop.tmp.dirfile:

/home/aboutyun/tmpAbaseforothertemporarydirectories.hadoop.proxyuser.aboutyun.hosts*hadoop.proxyuser.aboutyun.groups*9.7配置文件5：

hdfs-site.xmldfs.namenode.secondary.http-addressmaster:

9001dfs.namenode.name.dirfile:

/home/aboutyun/dfs/namedfs.datanode.data.dirfile:

/home/aboutyun/dfs/datadfs.replication3dfs.webhdfs.enabledtrue9.8配置文件6：

mapred-site.xmlmapreduce.framework.nameyarnmapreduce.jobhistory.addressmaster:

10020mapreduce.jobhistory.webapp.addressmaster:

198889.9配置文件7：

yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addressmaster:

8032yarn.resourcemanager.scheduler.addressmaster:

8030yarn.resourcemanager.resource-tracker.addressmaster:

8031yarn.resourcemanager.admin.addressmaster:

8033yarn.resourcemanager.webapp.addressmaster:

80889.10将配置文件复制到其他节点上面配置完毕，我们基本上完成了90%了剩下就是复制。

我们也可以把整个hadoop复制过去（注意slaves文件不一样）

【注意】拷贝配置文件的时候修改文件所有者sudochownhadoopmapred-site.xml【记得】最后检查一下cathadoop-env.shcatyarn-env.shcatslavescatcore-site.xmlcathdfs-site.xmlcatmapred-site.xmlcatyarn-site.xml9.11在每台服务器内配置环境变量exportPATH=$PATH:

/usr/local/hadoop/bin/exportPATH=$PATH:

/usr/local/hadoop/sbin/十、启动十、启动Hadoop10.1格式化namenodehdfsnamenodeformat或则hadoopnamenodeformat10.2启动hdfsstart-dfs.sh此时在master上面运行的进程有：

namenodesecondarynamenodeslave节点上面运行的进程有：

datanode10.3启动yarnstart-yarn.sh我们看到如下效果：

master有如下进程：

slave1有如下进程此时hadoop集群已全部配置完成！

十一、查看十一、查看Hadoop的的Web管理窗口管理窗口11.1ResourceManager介绍：

运行在主节点master上网址：

http:

8088/配置文件：

yarn-site.xmlyarn.resourcemanager.webapp.addressmaster:

8088【注】如果没有配置hosts，master将无法解析要么你直接输入IP替代master，要么你就配置一下hosts，都很简单Hosts文件地址C:

WindowsSystem32driversetc修改完后，正常的时候你会在浏览器里看到如下图11.2HDFS集群状态网址：

50070/11.3NodeManager介绍：

运行在从节点上网址：

/slave1:

8042/11.4JobHistoryServer启动：

mr-jobhistory-daemon.shstarthistoryserver网址：

19888/配置：

mapreduce.jobhistory.webapp.address十二、运行实例十二、运行实例WordCount12.1找到examples例子在/hadoop/share/hadoop/mapreduce下找到hadoop-mapreduce-examples-2.2.0.jar12.2运行前的准备工作我们需要需要做一下运行需要的工作，比如输入输出路径，上传什么文件等。

先在HDFS创建几个数据目录：

hadoopfs-mkdir-p/data/wordcounthadoopfs-mkdir-p/output/新建文件inputWordvi/usr/inputWord新建完毕，查看内容：

cat/usr/inputWord目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，任务的结果输出到/output/wordcount目录中。

将本地文件上传到HDFS中：

hadoopfs-put/usr/inputWord/data/wordcount/查看上传后的文件情况hadoopfs-ls/data/wordcount查看文件的内容hadoopfs-text/data/wordcount/inputWord12.3运行WordCount例子hadoopjar/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount/data/wordcount/output/wordcount可以看到控制台输出程序运行的信息：

aboutyunmaster:

$hadoopjar/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount/data/wordcount/output/wordcount14/05/1410:

33:

33INFOclient.RMProxy:

ConnectingtoResourceManageratmaster/172.16.77.15:

803214/05/1410:

34INFOinput.FileInputFormat:

Totalinputpathstoprocess:

114/05/1410:

34INFOmapreduce.JobSubmitter:

numberofsplits:

34INFOConfiguration.deprecation:

user.nameisdeprecated.Instead,usemapreduce.job.user.name14/05/1410:

mapred.jarisdeprecated.Instead,usemapreduce.job.jar14/05/1410:

mapred.output.value.classisdeprecated.Instead,usemapreduce.job.output.value.class14/05/1410:

bine.classisdeprecated.Instead,usebine.class14/05/1410:

mapreduce.map.classisdeprecated.Instead,usemapreduce.job.map.class14/05/1410:

mapred.job.nameisdeprecated.Instead,usemapreduce.job.name14/05/1410:

mapreduce.reduce.classisdeprecated.Instead,usemapreduce.job.reduce.class14/05/1410:

mapred.input.dirisdeprecated.Instead,usemapreduce.input.fileinputformat.inputdir14/05/1410:

mapred.output.dirisdeprecated.Instead,usemapreduce.output.fileoutputformat.outputdir14/05/1410:

mapred.map.tasksisdeprecated.Instead,usemapreduce.job.maps14/05/1410:

mapred.output.key.classisdeprecated.Instead,usemapreduce.job.output.key.class14/05/1410:

mapred.working.dirisdeprecated.Instead,usemapreduce.job.working.dir14/05/1410:

35INFOmapreduce.JobSubmitter:

Submittingtokensforjob:

job_1400084979891_000414/05/1410:

36INFOimpl.YarnClientImpl:

Submittedapplicationapplication_1400084979891_0004toResourceManageratmaster/172.16.77.15:

36INFOmapreduce.Job:

Theurltotrackthejob:

8088/proxy/application_1400084979891_0004/14/05/1410:

Runningjob:

45INFOmapreduce.Job:

Jobjob_1400084979891_0004runninginubermode:

false14/05/1410:

map0%reduce0%14/05/1410:

34:

10INFOmapreduce.Job:

map100%reduce0%14/05/1410:

19INFOmapreduce.Job:

map100%reduce100%14/05/1410:

Jobjob_1400084979891_0004completedsuccessfully14/05/1410:

20INFOmapreduce.Job:

Counters:

43FileSystemCountersFILE:

Numberofbytesread=81FILE:

Numberofbyteswritten=158693FILE:

Numberofreadoperations=0FILE:

Numberoflargereadoperations=0FILE:

Numberofwriteoperations=0HDFS:

Numberofbytesread=175HDFS:

Numberofbyteswritten=51HDFS:

Numberofreadoperations=6HDFS:

Numberoflargereadoperations=0HDFS:

Numberofwriteoperations=2JobCountersLaunchedmaptasks=1Launchedreducetasks=1Data-localmaptasks=1Totaltimespentbyallmapsinoccupiedslots（ms）=23099Totaltimespentbyallreducesinoccupiedslots（ms）=6768Map-ReduceFrameworkMapinputrecords=5Mapoutputrecords=10Mapoutputbytes=106Mapoutputmaterializedbytes=81Inputsplitbytes=108Combineinputrecords=10Combineoutputrecords=6Reduceinputgroups=6Reduceshufflebytes=81Reduceinputrecords=6Reduceoutputrecords=6SpilledRecords=12ShuffledMaps=1FailedShuffles=0MergedMapoutputs=1GCtimeelapsed（ms）=377CPUtimespent（ms）=11190Physicalmemory（bytes）snapshot=284524544Virtualmemory（bytes）snapshot=2000748544Totalcommittedheapusa