hadoop121与habase分布式搭建Word文档格式.docx

1、TYPE=EthernetUUID=088c53ce-94c9-4c48-86fc-109d817c3ff3NM_CONTROLLED=yesDNS1=61.139.2.69DNS2=8.8.8.8IPV6INIT=yesIPV6_AUTOCONF=yes重启网络配置Service network restart静止使用IP6service ip6tables stop #停止IPV6服务chkconfig ip6tables off #禁止IPV6开机启动配置网络主机名vi /etc/sysconfig/network #编辑配置文件Vi /etc/hosts 4、安装wgetyum -y

2、install wget5、安装JDK输入命令 java -version 查看是否默认已经安装jdk如果默认已经安装jdk，则卸载自带版本 Rpm -qa | grep jdk 查看默认版本 yum remove java-1.6.0-openjdk-devel-1.6.0.0-1.45.1.11.1.el6.x86_64 （删除java-1.6.0-openjdk-devel-1.6.0.0-1.45.1.11.1.el6.x86_64）在home下创建java目录 Mkdir /home/java进入/home/java Cd /home/java下载jdk Wget 解压jdk tar

3、 zxvf jdk-7u60-linux-x64.tar.gz配置jdk环境变量 Vi /etc/profile 新增如下内容： #set java environment export JAVA_HOME=/home/java/jdk1.7.0_60 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$PATH重启/etc/profile Source /etc/profile6、配置master和s

4、lave机器名IP作用master10.20.200.217Namenode、master、jobtrackerslave1Datanode、slave、tasktrackerSlave2修改各服务器的/etc/hosts配置vi /etc/hosts内容为： 10.20.200.217 master master10.20.200.217 slave1 slave110.20.200.217 slave2 slave2修改各服务器/etc/sysconfig/network vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=master（mast

5、er为各服务器名称master/slave1/slave2）7、配置无密码ssh查看有没有安装openssh-clients Rpm -qa | grep openssh-clients如果没有就安装 yum -y install openssh-clients创建hadoop文件夹 Mkdir /usr/hadoop把hadoop文件夹下配置ssh无密码登陆 ssh-keygen -t rsa -f /.ssh/id_rsa这里会提示输入pass phrase，一定不要输入任何字符，回车即可 cat /.ssh/id_rsa.pub /.ssh/authorized_keys测试ssh ss

6、h localhost如果还是提示需要输入密码,请修改：chmod 600 /.ssh/authorized_keys还可以用rsa认证方式：使用root 登陆所有机器后，所有的机器都创建hadoop 用户。使用以下命令：useradd hadoop -创建hadoop用户passwd hadoop -设置hadoop用户密码把/home/hadoop 中hadoop文件夹授权给hadoop账号，首先到/home目录命令：cd /home授权命令：chown-Rhadoop.hadoophadoop/ 用root账户登陆所有节点，修改linux系统安全配置。命令: vi /etc/selinu

7、x/config按键盘小写 i 进行编辑，设置SELINUX=disabled按键盘Esc 退出编辑，输入命令：:wq保存退出文件 用hadoop账号登陆master，进入hadoop文件夹，命令:cd /hadoop生成其无密码秘钥对，命令：ssh-keygen -t rsa -P 对/home/hadoop/.ssh的.ssh文件夹授权，命令：chmod 755 /.ssh在master节点进入.ssh目录，命令：cd .ssh执行把id_rsa.pub追加到授权key里面命令：cat /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/autho

8、rized_keys用root账号登陆master节点，进入.ssh目录，命令：cd /home/hadoop/.ssh安全设置，会让RSA功能生效，命令：chmod 644 /home/hadoop/.ssh/authorized_keys（备注：如果不进行设置，在验证时，仍提示你输入密码。）用root用户登录master修改SSH配置文件/etc/ssh/sshd_config的下列内容。RSAAuthentication yes # 启用RSA 认证PubkeyAuthentication yes # 启用公钥私钥配对认证方式AuthorizedKeysFile .ssh/authori

9、zed_keys # 公钥文件路径（和上面生成的文件同）命令：vi /etc/ssh/sshd_config按键盘小写的 i 进入编辑，对照上面的配置进行编辑，编辑完成后按键盘 Esc 退出编辑，然后数据命令：wq 退出保存文件重启 ssh,使其配置生效 ，命令：service sshd restart验证是否是无密码登陆，命令：su hadoopcd /home/hadoopssh localhost效果如下图：把公钥从master节点复制所有的Slave机器上，复制到192.168.1.27命令：scp /home/hadoop/.ssh/id_rsa.pub hadoop192.168.

10、1.27:/home/hadoop/.ssh/复制到192.168.1.26命令：scp /home/hadoop/.ssh/id_rsa.pub hadoop192.168.1.26:复制到192.168.1.25命令：scp /home/hadoop/.ssh/id_rsa.pub hadoop192.168.1.25:用hadoop账号登陆各slave节点把Master.Hadoop的公钥追加到各个slave.Hadoop的授权文件authorized_keys中去，命令：追加并修改文件权限，命令：chmod 644 /home/hadoop/.ssh/authorized_keys把所

11、有节点下的/home/hadoop/.ssh目录下的id_rsa.pub文件删除掉。rm /home/hadoop/.ssh/id_rsa.pub -rf退出所有slave节点hadoop登陆，命令：exit用root用户在各个slave节点上修改SSH配置文件用hadoop账号所有slave节点，进入hadoop文件夹，命令:把所有slave数据节点的秘钥分别（注意：要一个配置完成后，删除拷贝到master节点上的id_rsa.pub文件后，再继续下一个）拷贝到master节点，命令：scp /home/hadoop/.ssh/id_rsa.pub hadoop192.168.1.28:/h

12、ome/hadoop/用hadoop账号登陆master节点，把slave数据节点的秘钥追加到master的授权key里面，命令：cat /home/hadoop/ id_rsa.pub 删除id_rsa.pub文件，直到把所有slave数据节点的秘钥追加到master节点为止：删除id_rsa.pub文件命令：rm /home/hadoop/id_rsa.pub8、安装hadoop进入hadoop文件夹Cd /usr/hadoop下载hadoop解压hadooptar zxvf hadoop-1.2.1.tar.gz配置hadoop环境变量vi /etc/profile# set hadoo

13、p pathexport HADOOP_HOME=/usr/hadoop/hadoop-1.2.1export PATH=$PATH:$HADOOP_HOME/bin重新执行配置文件，命令：source /etc/profile创建hadoop运行时的临时目录Mkdir /usr/hadoop/hadoop-1.2.1/tmp进入hadoop/conf目录 Cd /user/hadoop/hadoop-1.2.1/conf修改/user/hadoop/hadoop-1.2.1/conf/hadoop-env.sh vi /usr/hadoop/ hadoop-1.2.1/conf/hadoop

14、-env.sh添加JAVA_HOME,命令:# set java environmentexport JAVA_HOME=/home/java/jdk1.7.0_60修改修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号core-site.xml： fs.default.namevaluehdfs:/hadoop.cd.test:9000/propertyhadoop.tmp.dir/usr/hadoop/tmp备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉

15、，必须重新执行format才行，否则会出错。修改hdfs-site.xml: dfs.replication2dfs.support.appendtruedfs.permissionsfalsedfs.datanode.max.xcievers4096replication第一项设定了文件系统备份的个数，默认为3，salve少于3台就会报错，第二项允许对文件的append操作，是为HBase设置的，第三项关闭权限检查，方便以后的远程的hadoop-eclipse插件访问hdfs，第四项设置DataNode同时可供访问的文件数上限，由于HBase需要同时操作大量的文件，该项至少要设置为4096。

16、修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。mapred-site.xml：mapred.job.trackerhadoop.cd.test:9001 /home/conan/zoo/zk1/myid新建myid文件Echo “1” /usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5/data/myid修改配置文件，命令; vi zookeeper-3.4.5/conf/zoo.cfgdataDir=/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5

17、/datadataLogDir=/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5/logsserver.1=10.20.200.217:2888:3888 server.2=10.20.200.217:3888dataDir默认在/tmp下，系统重启会导致数据丢失。后面的三行在文件的末尾，每行描述一个节点。 然后将配置好的Zookeeper分发到server.1/2/3上的/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeprt-3.4.5下，并在每一个节点的dataDir，即/usr/hadoop/hadoo

18、p-1.2.1/zookeeper/data下创建一个myid文件，其中包含一个该节点对应的数字，即server.1/2/3中.后面的数字，该数字应该在1-255之间。把master节点配置好的zookeeper拷贝到所有slave节点，命令：scp -r /usr/hadoop/hadoop-1.2.1/zookeeper/* hadoop192.168.1.27:/usr/hadoop/hadoop-1.2.1/zookeeper/scp -r /usr/hadoop/hadoop-1.2.1/zookeeper/* hadoop192.168.1.26:在各个slave节点的启动zookeeper，命令：./zookeeper-3.4.5/bin/zkServer.sh start 查看各个slave节点zookeeper状态，命令：./zookeeper-3.4.3/bin/zkServer.sh status 停止zookeeper，命令：./zookeeper-3.4.5/bin/zkServer.sh stop10、安装hbase登陆master服务器，创建hbase目录 Cd /usr/hadoop/hadoop-1.2.1 mkdir hbase进入hbase