1CentOS下搭建hadoop伪分布式.docx

1、1CentOS下搭建hadoop伪分布式CentOS下搭建hadoop伪分布式1打开配置好JDK的CentOS7，输入 mkdir /usr/local/hadoop 创建一个hadoop的文件夹2将hadoop的tar包放到刚创建好的目录3进入hadoop目录，输入 tar -zxvf hadoop-2.7.3.tar.gz 解压tar包4.输入 java -version 检查JDK是否配置成功，自己配置，不要用系统自带的openJDK5.输入 ssh-keygen -t dsa -P -f /.ssh/id_dsa 创建一个无密码的公钥，-t是类型的意思，dsa是生成的密钥类型，-P是密

2、码，表示无密码，-f后是密要生成后保存的位置6.输入 cat /.ssh/id_dsa.pub /.ssh/authorized_keys 将公钥id_dsa.pub添加进keys，这样就可以实现无密登陆ssh7.输入 ssh localhost 验证，第一次登陆有询问，输入 yes ，登陆成功且不需要密码8.输入 vi /etc/hostname 修改主机名9.将localhost.localdomain修改为localhost，保存并退出10创建3个之后要用到的文件夹，分别如下：mkdir /usr/local/hadoop/tmp mkdir -p /usr/local/hadoop/h

3、dfs/name mkdir /usr/local/hadoop/hdfs/data11.输入 vi /.bash_profile 修改环境变量，这个和之前配JDK那个不同，profile是超级用户所有，这个是每个用户独立所有的，就在 目录下，是隐藏文件，可以用 ll -a 查看12.根据hadoop的解压位置，配置环境变量如下所示13按ESC切换到命令模式，然后输入 :wq! 保存并退出14.输入 source /.bash_profile 使环境变量生效，将source简写为 . 也可以15进入hadoop解压后的 /etc/hadoop 目录，里面存放的是hadoop的配置文件，接下来要

4、修改这里面一些配置文件16.有2个.sh文件，需要指定一下JAVA的目录，首先输入 vi hadoop-env.sh 修改配置文件 17.将原有的JAVA_HOME注释掉，根据自己的JDK安装位置，精确配置JAVA_HOME如下18.按ESC，输入 :wq! 保存并退出，这里和之后的保存并退出就不再截图19.输入 vi yarn-env.sh 修改配置文件20.在如下位置添加 export JAVA_HOME=/usr/local/java/jdk1.8.0_102 指定JAVA_HOME，保存并退出21.输入 vi core-site.xml 修改配置文件22.在configuration标

5、签中，添加如下内容，保存并退出，注意这里配置的hdfs:localhost:9000是不能在网页访问的，可以在本机访问，等配好并启动hadoop后，可以输入 hadoop fs -ls hdfs:localhost:9000 命令进行访问，查看hdfs的文件目录及文件 fs.defaultFS hdfs:/localhost:9000 HDFS的URI hadoop.tmp.dir /usr/local/hadoop/tmp namenode上本地的hadoop临时文件夹 23输入 vi hdfs-site.xml 修改配置文件24在configuration标签中，添加如下内容，保存并退出

6、dfs.namenode.name.dir file:/usr/local/hadoop/hdfs/name namenode上存储hdfs名字空间元数据 dfs.datanode.data.dir file:/usr/local/hadoop/hdfs/data datanode上数据块的物理存储位置 dfs.replication 1 副本个数，默认是3,应小于datanode机器数量 25. 输入 cp mapred-site.xml.template mapred-site.xml 将mapred-site.xml.template文件复制到当前目录，并重命名为mapred-site.

7、xml26.输入 vi mapred-site.xml 修改配置文件27.在configuration标签中，添加如下内容，保存并退出 mapreduce.framework.name yarn 指定mapreduce使用yarn框架 28输入 vi yarn-site.xml 修改配置文件29. 在configuration标签中，添加如下内容，保存并退出 yarn.nodemanager.aux-services mapreduce_shuffle NodeManager上运行的附属服务。 需配置成mapreduce_shuffle，才可运行MapReduce程序 30.进入hadoop的

8、bin目录，输入 ./hdfs namenode -format 格式化namenode，第一次使用需格式化一次，之后就不用再格式化，如果改一些配置文件了，可能还需要再次格式化31.格式化完成32.进入hadoop的sbin目录，输入 ./start-all.sh 启动hadoop33.输入 yes ，这里是因为防火墙没有关，有一些警告34输入 jps 查看当前java的进程，该命令是JDK1.5开始有的，作用是列出当前java进程的PID和Java主类名，除了JPS，有5个进程都是hadoop启动的进程，启动成功35虚拟机内打开网页，输入localhost:8088，查看hadoop进程管理界面36.虚拟机内打开网页，输入localhost:50070，查看hdfs的界面37.能访问8088和50070两个端口看到如上两个界面，说明hadoop搭建完成，接下来通过本地web访问这两个端口，IP输入虚拟机的IP38.如上所示，访问失败，这是因为没有关闭虚拟机的防火墙，输入 systemctl stop firewalld.service 关闭防火墙，39.若想重启后，防火墙不再开启，输入 systemctl disable firewalld.service40.继续在本地网页访问hadoop的8088和50070端口，访问成功