Centos7安装和配置hadoop273的流程和总结Word下载.docx
《Centos7安装和配置hadoop273的流程和总结Word下载.docx》由会员分享，可在线阅读，更多相关《Centos7安装和配置hadoop273的流程和总结Word下载.docx（13页珍藏版）》请在冰豆网上搜索。
version三、安装过程
提示：
先创建一台虚拟机,安装好centos7系统，使用VMware的克隆功能，克隆另外两台虚拟机。
这样可以节省时间。
虚拟机设置
当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP地址和主机名）修改/etc/hosts文件内容为：
1、vi/etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）
2、more/etc/hosts查看
3、重启后，hosts生效。
命令：
rebootnow
SSH免密码登录
我全程用的都是root用户，没有另外创建用户。
每台服务器都生成公钥，再合并到authorized_keys。
1）CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，
2）#RSAAuthenticationyes
3）#PubkeyAuthenticationyes
4）输入命令，ssh-keygen-trsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，
5）合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目录，通过SSH命令合并，（~/.ssh/是省略的写法，要根据实际路径来确定）
6）cat>
>
authorized_keys
7）sshcat~/.ssh/>
8）ssh.cat~/.ssh/>
9）把master服务器的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录
scp-r/root/.ssh/authorized_keys:
/root/.ssh/
scp-r/root/.ssh/known_hosts:
/root/.ssh/
10）完成后，ssh、ssh或者（ssh、ssh）就不需要输入密码直接登录到其他节点上。
SecureCRT连接虚拟机
1、在VMware中把三台虚拟机启动，如下图所示：
2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。
Fiel->
QuickConnection
Protocol:
ssh2前提条件是在中实现了ssh免密码登录
Hostname:
连接的主机名
Username:
root连接主机的用户名
Connect
依次连接好三台虚拟机
3、结果如下：
4、上传windows系统中的文件到虚拟机中
定位到要上传文件的目录下，输入命令：
rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。
文件就上传到当前服务器的当前目录下。
rz命令如果没有安装，使用这个命令安装：
yum
install
lrzsz
安装JDK
需要JDK7，由于我的CentOS自带了OpenJDK，所以要先卸载，然后解压下载的JDK并配置变量即可。
1）在/home目录下创建java目录，然后使用rz命令，上传“”到/home/java目录下，
2）解压，输入命令，tar-zxvf
3）编辑/etc/profile
exportJAVA_HOME=/home/java/CLASSPATH=.:
$JAVA_HOME/jre/lib/:
$JAVA_HOME/lib/:
$JAVA_HOME/lib/
exportPATH=$PATH:
$JAVA_HOME/bin
4）使配置生效，输入命令，source/etc/profile
5）输入命令，java-version，完成
安装
提要
1）secureCRT上传“，放到/home/hadoop目录下
2）只在master服务器解压，再复制到slave服务器（scp命令传输）
3）解压，输入命令，tar-xzvf在/home/hadoop目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name（文件中会用到）
配置文件
1、/home/hadoop/目录下的
<
configuration>
property>
name>
value>
/property>
/home/hadoop/tmp<
/value>
<
131702<
/configuration>
2、配置/home/hadoop/目录下的
/name>
1<
:
50090<
true<
3、配置/home/hadoop/目录下的
yarn<
final>
/final>
50030<
10020<
19888<
9001<
4、配置/home/hadoop/目录下的
mapreduce_shuffle<
8032<
8030<
8031<
8033<
8088<
2048<
的值一定要注意，在最后的helloworld程序运行时，会提示内存太小，（hadoop运行到:
Runningjob后停止运行）我把它从1024改成了2048
5、配置/home/hadoop/目录下、的JAVA_HOME
取消注释，设置为exportJAVA_HOME=/home/java/、配置/home/hadoop/目录下的slaves，删除默认的localhost，增加2个slave节点:
7、将master服务器上配置好的Hadoop复制到各个节点对应位置上，通过scp传送
scp-r/home/hadoop
scp-r/home/hadoop启动hadoop
在master服务器启动hadoop，各从节点会自动启动，进入/home/hadoop/目录，hadoop的启动和停止都在master服务器上执行。
1）初始化，在目录下输入命令，bin/hdfsnamenode–format
2）启动命令
sbin/
3）输入命令，jps，可以看到相关信息
master上看到
slave上
4）停止命令，依次执行：
sbin/、sbin/
至此，hadoop配置完成了。
四、Hadoop入门之HelloWorld程序
摘要：
初步接触Hadoop，必不可少的就是运行属于Hadoop的Helloworld程序——wordcount，统计文件中各单词的数目。
安装好的Hadoop集群上已有相应的程序。
我们来验证一下。
准备数据
在/home/hadoop下创建file文件夹，里面生成,,,四个文件
然后把数据put到HDFS里
进入所在文件夹，使用pwd输出当前目录的路径
在/home/hadoop/目录下执行命令：
bin/hadoopjarshare/hadoop/mapreduce/wordcount/input/output2
INFO:
Jobjob__0001completedsuccessfully
意味着运行成功，否则就要根据出错信息或者日志排错。
其中，/output2是执行结果输出目录（因为之前已经存在了output文件夹了），到此，HelloWorld就顺利执行了，你可以用hadoopfs-cat
/output2/part-r-*命令来查看结果.
结果如下：
查看之前的文件内容，对比上图的结果。
五、引用来源
从安装到配置再到成功运行hadoop的wordcount程序，借鉴了来自以下网页中的智慧，根据实际情况稍做修改。
在此表示感谢！
1、CentOS7安装完整流程-OPEN开发经验库、CentOS下SSH远程登录服务器详解
、ssh连接失败，排错经验
、CentOS7安装完整步骤
、CentOS上JDK的安装与环境变量的配置
、分布式安装HADOOP笔记
、hadoop自带例子程序wordcount详解
、CentOS7中安装，能够正常启动，但datanode的数目为0的解决方法
、集群配置虚拟主机及部署Hadoop集群碰到的问题
、Hadoop在master查看livenodes为0解决方案
、hadoop环境报failedonconnectionexception
、hadoop节点nodemanager启动失败原因小结~
、Hadoop实战之三~HelloWorld
、CentOS安装jdk的三种方法
、利用SecureCRT上传、下载文件（使用sz与rz命令），超实用！
、vi编辑文件的命令
、Linux文件与目录管理
六．总结
完成这次实验花费了很长时间，从网上查找大量的信息，一步一步的实现，中途出现很多bug，大部分是配置文件出错。
还有就是对Linux基本命令不熟悉，每遇到一个命令都要到网上去查看它的用法。
到最后配置hadoop的时候，一直不能发现数据节点，虽然进程启动了。
最后发现是hosts文件的问题，解决方案见引用来源的第10条。
最后执行wordcount遇到内存不足的问题，解决方案就是把文件中的的值改成2048，大于程序运行所需要内存就行。
这次实验能够成功，很开心自己能坚持完成。
中途有几次找不到原因，差点不想做了。
在这里感谢帮助我的关**、章**同学，郑学长，以及感谢网络的分享精神，向他们致敬！
回顾整个过程，我有几点小体会：
1、网上的文章有很多，需要仔细甄别，不能直接拿来就用，出现问题的时候，要到网上去查找原因。
2、出现错误时，从出错信息，日志里面找原因。
3、先思考再动手实践，再思考，再实践。
知其然知其所以然。
4、不轻言放弃
5、遇到不能解决的问题，不要怕麻烦周围的同学，多一个人能多一点思路。
避免进入死胡同，浪费时间。
6、做完实验要做总结，做笔记。
升级会员 