hadoop安装配置文档Word文件下载.docx

1、rootMaster hadoop# passwd hadoop （为hadoop用户创建密码）linux系统中，对用户的权限设计完善。root用户拥有最高权限，普通用户（如hadoop）权限较低。涉及系统的操作，用hadoop用户可能无法执行，这就需要在hadoop用户和root用户之间进行切换。从root用户切换到hadoop用户的命令为：su hadoop，不需要输入密码直接切换。从hadoop用户切换到root用户的命令为：su root，需要输入密码，验证后才能切换。普通用户要获取root的权限，也可以不su root，而是在命令前加上sudo字符，具体用法，可参考互联网。1.2 网

2、络配置下面的例子我们将以Master机器为例，即主机名为Master.Hadoop，IP为192.168.1.2进行一些主机名配置的相关操作。其他的Slave机器以此为依据进行修改。1）修改当前机器名称 假定我们发现我们的机器的主机名不是我们想要的，通过对/etc/sysconfig/network文件修改其中HOSTNAME后面的值，改成我们规划的名称。通过上面的命令我们从中找到进行修改，查看内容如下：其他机器也变为对应的机器名称Slave1.Hadoop和Slave2.Hadoop2）修改当前机器IP 假定我们的机器连IP在当时安装机器时都没有配置好，那此时我们需要对ifcfg-eth0文

3、件进行配置，该文件位于/etc/sysconfig/network-scripts文件夹下。查看/etc/sysconfig/network-scripts/ifcfg-eth0内容，如果IP不与环境说明的不符合，就行修改。如果上图中IP与规划不相符，用下面命令进行修改：vim /etc/sysconfig/network-scripts/ifcgf-eth0修改完之后可以用ifconfig进行查看。3）配置hosts文件（必须） /etc/hosts这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应HostName和IP用的。当用户在进行网络连接时，首先查找该文件

4、，寻找对应主机名（或域名）对应的IP地址。我们要测试两台机器之间知否连通，一般用ping 机器的IP，如果想用ping 机器的主机名发现找不见该名称的机器，解决的办法就是修改这个文件，通过把LAN内的各主机的IP地址和HostName的一一对应写入这个文件的时候，就可以解决问题。例如：机器为Master.Hadoop:对机器为Salve1.Hadoop:192.168.1.3用命令ping记性连接测试。测试结果如下：从上图中的值，直接对IP地址进行测试，能够ping通，但是对主机名进行测试，发现没有ping通，提示unknown host未知主机，这时查看的文件内容。发现里面没有192.168

5、.1.3 Slave1.Hadoop内容，故而本机器是无法对机器的主机名为Slave1.Hadoop 解析。在进行Hadoop集群配置中，需要在文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，而且还可以通过主机名进行通信。所以在所有的机器上的文件末尾中都要添加如下内容：192.168.1.2 Master.Hadoop192.168.1.3 Slave1.Hadoop192.168.1.4 Slave2.Hadoop192.168.1.5 Slave3.Hadoop用以下命令进行添加：vim /etc/hosts添加结果如下：现在我们

6、在进行对机器为的主机名进行ping通测试，看是否能测试成功。从上图中我们已经能用主机名进行ping通了，说明我们刚才添加的内容，在局域网内能进行DNS解析了，那么现在剩下的事儿就是在其余的Slave机器上进行相同的配置。然后进行测试。（备注：当设置SSH无密码验证后，可以scp进行复制，然后把原来的hosts文件执行覆盖即可。）用下面命令进行修改当前机器的主机名（备注：修改系统文件一般用root用户）1.3所需软件1）JDK软件 jdk-8u5-linux-i586.rpm 可以去官网上下载2）Hadoop软件 hadoop-2.2.0.tar.gz 可以去官网上下载2、SSH无密码验证配置H

7、adoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用 无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到 NameNode。由于是对hadoop用户进行无密码验证，所以该过程主要部分用“hadoop”身份进行。图片中hadoopMaster 代表此时操作用户为hadoop，rootMaste

8、r 代表操作用户为root，可仔细参考图片。2.1 安装和启动SSH协议在Hadoop集群（第1期）安装CentOS6.0时，我们选择了一些基本安装包，所以我们需要两个服务：ssh和rsync已经安装了。可以通过下面命令查看结果显示如下：rpm qa | grep opensshrpm qa | grep rsync假设没有安装ssh和rsync，可以通过下面命令进行安装。yum install ssh 安装SSH协议yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）service sshd restart 启动服务确保所有的

9、服务器都安装，上面命令执行完毕，各台机器之间可以通过密码验证相互登。2.2 配置Master无密码登录所有Salve1）SSH无密码原理 Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过 SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用 私钥解密，并将解密数回传给Sla

10、ve，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。2）Master机器上生成密码对 在Master节点上执行以下命令：ssh-keygen t rsa P 这条命是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在/home/hadoop/.ssh目录下。/home/hadoop/下是否有.ssh文件夹，且文件下是否有两个刚生产的无密码密钥对。接着在Master节点上做如下配置，把id_rsa.pub追加到授权的

11、key里面去。cat /.ssh/id_rsa.pub /.ssh/authorized_keys在验证前，需要做两件事儿。第一件事儿是修改文件authorized_keys权限（权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能），另一件事儿是用root用户设置/etc/ssh/sshd_config的内容。使其无密码登录有效。 （1）修改文件chmod 600 /.ssh/authorized_keys备注：如果不进行设置，在验证时，扔提示你输入密码，在这里花费了将近半天时间来查找原因。在网上查到了几篇不错的文章，把作为Hadoop集群_第5期副刊_JDK和SSH无密码

12、配置来帮助额外学习之用。（2）设置SSH配置 用root用户登录服务器修改SSH配置文件的下列内容。RSAAuthentication yes # 启用 RSA 认证PubkeyAuthentication yes # 启用公钥私钥配对认证方式AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）设置完之后记得重启SSH服务，才能使刚才设置有效。service sshd restart退出root登录，使用hadoop普通用户验证是否成功。ssh localhost从上图中得知无密码登录本级已经设置完毕，接下来的事儿是把公钥复制所

13、有的Slave机器上。使用下面的命令格式进行复制公钥：scp /.ssh/id_rsa.pub 远程用户名远程服务器IP:/scp /.ssh/id_rsa.pub hadoop192.168.1.3:上面的命令是复制文件id_rsa.pub到服务器IP为的用户为hadoop下面。下面就针对IP为的Slave1.Hadoop的节点进行配置。（1）把Master.Hadoop上的公钥复制到Slave1.Hadoop上从上图中我们得知，已经把文件传过去了，因为并没有建立起无密码连接，所以在连接时，仍然要提示输入输入 Slave1.Hadoop服务器用户hadoop的密码。为了确保确实已经把文件传过去了，用SecureCRT登录 Slave1.Hadoop:192.168.1.3服务器，查看下是否存在这个文件。从上面得知我们已经成功把公钥复制过去了。（2）在下创建文件夹 这一步并不是必须的，如果在Slave1.Hadoop的