hadoop安装步骤.docx
《hadoop安装步骤.docx》由会员分享，可在线阅读，更多相关《hadoop安装步骤.docx（12页珍藏版）》请在冰豆网上搜索。
hadoop安装步骤
环境配置：
虚拟机：
vmwareworkstation12
系统：
ubuntu16.04LTS（推荐使用原版，不要用kylin）
节点：
192.168.159.132master
192.168.159.134node1
192.168.159.137node2
jdk-8u101-Linux-x64.gz（Java ）
hadoop-2.7.3.tar.gz（Hadoop包）
安装步骤：
1、安装虚拟机系统，并进行准备工作（可安装一个然后克隆）
2.修改各个虚拟机的hostname和host
3.创建用户组和用户
4、配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。
5.安装jdk和配置环境变量，检查是否配置成功
6、配置ssh，实现节点间的无密码登录sshnode1/2指令验证时候成功
7、master配置hadoop，并将hadoop文件传输到node节点
8、配置环境变量，并启动hadoop，检查是否安装成功，执行wordcount检查是否成功。
1.安装虚拟机
在VM上安装下载好的Ubuntu的系统，具体过程自行XX。
可以安装完一个以后克隆，但是本人安装过程中遇到很多问题，经常需要删除虚拟机，重新安装，而被克隆的虚拟机不能删除，所以本人就用了很长时候，一个一个安装。
一共3台虚拟机：
分配情况和IP地址如下：
（注：
查看ip地址的指令 ifconfig）
安装虚拟机时可以设置静态IP，因为过程中常常遇到网络连接问题,ifconfig找不到IPV4地址。
当然，也可以不设，默认分配。
参考
192.168.159.132master
192.168.159.134node1
192.168.159.137node2
2.修改虚拟机的hostname和hosts文件
以master上机器为例，打开终端，执行如下的操作，把hostname修改成master，hosts修改成如下所示的样子：
#修改hostname的指令：
sudogedit/etc/hostname
#修改hosts指令：
sudogedit/etc/hosts
#将以下内容添加到hosts中
192.168.159.132master192.168.159.134node1192.168.159.137node2
如下图所示:
同样地，在node1和node2机器上做相似的操作，分别更改主机名为node1和node2，然后把hosts文件更改和master一样。
3.创建用户和用户组（三台机器上都要操作）
1.创建hadoop用户组
sudoaddgrouphadoop
2.创建hadoop用户
sudoadduser-ingrouphadoophadoop
3.给hadoop用户添加权限，打开/etc/sudoers文件
sudogedit/etc/sudoers
按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限
在root ALL=（ALL:
ALL） ALL下添加hadoop ALL=（ALL:
ALL） ALL
4.检验各个主机之间能否连通
分别以刚刚创建的hadoop用户重新登录系统，以后的操作都以hadoop用户登录。
ping+主机名
分别在各个主机上执行上述指令，看是否能与其他主机连通。
出现下图代表能够连通：
如果都成功ping通，进行下面的操作。
5.安装jdk和配置环境变量
分别在每台主机上安装jdk，并配置环境变量。
（嫌麻烦的前面可以安装完jdk后再克隆）
1）下载jdk安装包（自行XX），并将安装包拖入到虚拟机当中
2）通过cd命令进入到安装包的当前目录，利用如下命令进行解压缩。
tar-zxvfjdk.....（安装包名称）
3）利用如下命令将解压后的文件夹移到/usr目录下
#注意，这样移动到/usr以后就没有jdk1.8...这个目录了，是将这个目录下的所有文件全部移动到/usr/java下，mvjdk1.8...（文件夹名称）/usr/java
4）配置环境变量
sudogedit/etc/profile
在末尾加上四行：
[plain] viewplain copy print?
1.#java
2.export JAVA_HOME=/usr/java
3.export JRE_HOME=/usr/java/jre
4.export CLASSPATH=$JAVA_HOME/lib
5.export PATH=:
$PATH:
$JAVA_HOME/bin:
$JRE_HOME/bin
输入如下命令使配置生效：
source/etc/profile
查看配置是否成功，
出现如上信息说明Java配置成功。
6.配置SSH，实现节点间的无密码登录
本人在这一步经常出错，莫名其妙的错误，网上也找不到资料。
需要自己多实验几次。
下面的1.2.3在所有主机上都要做
1..安装ssh
[plain] viewplain copy print?
1.sudo apt-get install openssh-server
已有ssh或者安装成功了的输入命令
[plain] viewplain copy print?
1.ps -e | grep ssh
验证SSH是否成功安装输入
[plain] viewplain copy print?
1.ssh localhost
出现以下提示说明安装成功
3.生成密钥Pair
ssh-keygen -t rsa
输入之后一直选择enter即可。
生成的秘钥位于~/.ssh文件夹下。
可用cd命令进入查看。
4.在master上，导入authorized_keys
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
5.远程无密码登录（把master上的authorized_keys拷贝到其他主机的相应目录下）
#进入master的.ssh目录,执行复制操作
scpauthorized_keyshadoop@node1:
~/.ssh/
scpauthorized_keyshadoop@node2:
~/.ssh/
修改各台主机上authorized_keys文件的权限：
所有机器上，均执行命令：
chmod600.ssh/authorized_keys
完成之后，在master上执行下面操作，检查免密码登录是否成功。
sshnode1（node2）
7.master配置hadoop,然后将master的hadoop文件传送给node节点
1）解包移动
[plain] viewplain copy print?
1.#解压hadoop包
2.tar -zxvf hadoop...
3.#将安装包移到/usr目录下
4.mv hadoop... /usr/hadoop
2）新建文件夹
[plain] viewplain copy print?
1.#在/usr/hadoop目录下新建如下目录（root）
2.mkdir /dfs
3.mkdir /dfs/name
4.mkdir /dfs/data
5.mkdir /tmp
3）配置文件：
hadoop-env.sh（文件都在/usr/hadoop/etc/hadoop中）
修改JAVA_HOME值（exportJAVA_HOME=/usr/java）
4）配置文件：
yarn-env.sh
修改JAVA_HOME值（exportJAVA_HOME=/usr/java）
5）配置文件：
slaves
将内容修改为：
node1
node2
6）配置文件：
core-site.xml
[html] viewplain copy print?
1.
2.
3. fs.defaultFS
4. hdfs:
//master:
9000
5.
6.
7. io.file.buffer.size
8. 131072
9.
10.
11. hadoop.tmp.dir
12. file:
/usr/hadoop/tmp
13. Abase for other temporary directories.
14.
15.
7）配置文件：
hdfs-site.xml
[html] viewplain copy print?
1.
2.
3. dfs.namenode.secondary.http-address
4. master:
9001
5.
6.
7. dfs.namenode.name.dir
8. file:
/usr/hadoop/dfs/name
9.
10.
11. dfs.datanode.data.dir
12. file:
/usr/hadoop/dfs/data
13.
14.
15. dfs.replication
16. 2
17.
18.
19. dfs.webhdfs.enabled
20. true
21.
22.
8）配置文件：
mapred-site.xml
先创建然后编辑
cpetc/hadoop/mapred-site.xml.templateetc/hadoop/mapred-site.xml
geditetc/hadoop/mapred-site.xml
[html] viewplain copy print?
1.
2.
3. mapreduce.framework.name
4. yarn
5.
6.
7. mapreduce.jobhistory.address
8. master:
10020
9.
10.
11. mapreduce.jobhistory.webapp.address
12. master:
19888
13.
14.
9）配置文件：
yarn-site.xml
[html] viewplain copy print?
1.
2.
3. yarn.nodemanager.aux-services
4. mapreduce_shuffle
5.
6.
7.yarn.nodemanager.aux-services.mapreduce.shuffle.class
8. org.apache.hadoop.mapred.ShuffleHandler
9.
10.
11. yarn.resourcemanager.address
12. master:
8032
13.
14.
15. yarn.resourcemanager.scheduler.address
16. master:
8030
17.
18.
19. yarn.resourcemanager.resource-tracker.address
20. master:
8031
21.
22.
23. yarn.resourcemanager.admin.address
24. master:
8033
25.
26.
27. yarn.resourcemanager.webapp.address
28. master:
8088
29.
30.
10）将hadoop传输到node1和node2usr/hadoop目录,（如果传输时报错说：
权限拒绝，先把文件传送到非/usr目录下，然后在node上把这个文件再移动到/usr/hadoop）
scp-r/usr/hadoophadoop@node1:
/usr/hadoop
7、配置环境变量，并启动hadoop，检查是否安装成功
1）配置环境变量
#编辑/etc/profile
sudogedit/etc/profile#以上已经添加过java的环境变量,在后边添加就可以
1.#hadoop
2.export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.2
3.export PATH=$PATH:
$HADOOP_HOME/sbin
4.export PATH=$PATH:
$HADOOP_HOME/bin
执行
source/etc/profile
使文件生效。
2）启动hadoop,进入hadoop安装目录
bin/hdfsnamenode-format
sbin/start-all.sh
3）启动后分别在master,node下输入jps查看进程
看到下面的结果，则表示成功。
Master:
node:
8.向hadoop集群系统提交第一个mapreduce任务（wordcount）
进入本地hadoop目录（/usr/hadoop）
1、 bin/hdfs dfs -mkdir-p/data/input在虚拟分布式文件系统上创建一个测试目录/data/input
2、 hdfs dfs -putREADME.txt /data/input 将当前目录下的README.txt 文件复制到虚拟分布式文件系统中
3、 bin/hdfsdfs-ls/data/input 查看文件系统中是否存在我们所复制的文件
如图操作：
3、 运行如下命令向hadoop提交单词统计任务
进入jar文件目录，执行下面的指令。
hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jarwordcount/data/input/data/output/result
查看result，结果在result下面的part-r-00000中
hdfs dfs -cat /data/output/result/part-r-00000
升级会员 