个人学习搭建ZookeeperHadoopHBase集群文档Word文档格式.docx

1、3.3. Hadoop 233.3.1. Hadoop安装 243.3.2. Hadoop配置（不完整，仅有基本参数说明，日后需要补充） 243.4. Hbase 323.4.1. Hbase安装 323.4.2. Hbase配置（不完整，仅有基本参数说明，日后需要补充） 334. 服务启停 384.1. Zookeeper 384.1.1. Zookeeper启动 384.1.2. Zookeeper停止 384.2. Hadoop 384.2.1. 前提条件 384.2.2. 初始化 394.2.3. hadoop启动 394.2.4. hadoop停止 404.3. Hbase 414.

2、3.1. 前提条件 414.3.2. Hbase启动 414.3.3. Hbase停止 425. 使用 435.1. Hadoop操作命令使用 435.1.1. 显示文件列表 435.1.2. 增加文件目录 435.1.3. 查看所有目录 435.1.4. 用put将文件从本地文件复制到HDFS中去 435.1.5. 从HDFS中取回文件 435.1.6. 删除文件 435.1.7. 杀掉任务 445.1.8. 查看任务 445.2. Hadoop监控页面使用 445.2.1. 查看namenode 445.2.2. 查看datanode（未做过，日后需验证并修改） 445.3. Hbase

3、Shell使用 445.3.1. 创建表 445.3.2. 显示所有表 455.3.3. 关闭shell 455.3.4. 查看表结构 455.3.5. 修改表结构 455.3.6. 删除一个列簇 465.3.7. 增加一个列簇 465.3.8. 删除表，先disable再进行删除 465.3.9. 查询表是否存在 465.3.10. 判断表是否enable 465.3.11. 判断表是否disable 465.3.12. 表中插入数据 465.3.13. 全表扫描 475.3.14. rowkey范围查找 475.3.15. 删除一行数据 475.3.16. 获取表一个id的数据 475.3

4、.17. 更新一条记录 475.3.18. 通过timestamp来获取一个版本的数据 475.3.19. 通过VERSIONS来获取多个版本的数据 485.3.20. 删除表某一id一个版本的一个字段 485.3.21. 删除表某一id所有版本的一个字段 485.3.22. 删除整行数据 485.3.23. 查询表中有多少行 485.3.24. 给表某一id增加一个字段并使用counter实现递增 485.3.25. 清空表 485.3.26. 查询服务器状态 495.3.27. 执行脚本文件 495.4. Hbase监控页面使用 495.4.1. 查看Master Server 495.4

5、.2. 查看Region Server 496. 运行状态检测及维护 506.1. Zookeeper 506.1.1. 进程查看 506.1.2. 进程异常维护 506.1.3. 进程状态查看 506.2. Hadoop 506.2.1. 进程查看 506.2.2. Namenode状态 516.3. Hbase 516.3.1. 进程查看 516.3.2. 进程异常维护 527. 动态扩展节点（暂未做过，需要核实并修改） 537.1. 动态扩展datanode 537.1.1. 增加节点 537.1.2. 删除节点 557.2. HBASE动态扩展regionserver 567.2.1.

6、 增加节点 567.2.2. 删除节点 58引言编写目的系统介绍总体说明SDFS产品的虚拟存储服务是以HBASE未存储介质的，所以这里个人学习了HBASE的安装部署。软件版本1） hadoop-2.7.12） hbase-1.1.13） zookeeper-3.4.54） jdk-8u45网络与部署结构主机JPS查看结果磁盘大小内存大小服务名称附属组件描述DRM006（192.168.56.136）QuorumPeerMain zookeeper40G1GJournalNode hadoopNameNode DataNode DFSZKFailoverController HRegionSer

7、ver hbaseThriftServer DRM007（192.168.56.137）QuorumPeerMain NameNode DataNode DFSZKFailoverController NodeManager HRegionServer ThriftServer DRM008（192.168.56.138）DataNode HRegionServer HMaster 此Hbase集群、Hadoop集群、zookeeper集群搭建在个人的虚拟机中，由于本人的电脑配置较低（8G内存、500G硬盘），所以只启动三台虚拟机（CentOS6.2）进行混搭而成的。Hbase集群中有1个HM

8、aster和3个RegionServer。最优是3台HMaster，一主2备，主机宕机，2备中自动产生新的主备，有充分的时间恢复原主机。集群中RegionServer的数量取决于数据量。Hadoop集群中有2个NameNode和3个DataNode。最优3个。DataNode的数量取决于主机挂载的磁盘容量、数据量和副本数。Zookeeper集群3台，由于Zookeeper集群需要奇数台，3台是最少的具备高可用的配置，一台宕机不影响使用。其他组件，比如安徽所使用的iDFS，北京实验室所使用的Tez，我个人都没有使用，由于是初次接触hadoop及hbase，所以，暂时没有使用这些可以提高性能的组件

9、（个人也不太了解）。注意：集群各机器必须保证网络稳定，否则会因为网速或带宽降低导致集群中某些节点失效。虚拟机信息 本人电脑有线IP:172.21.140.137，由于是动态获取的，有可能会变动。从开始到目前编写文档，已搭建的虚拟机信息如下虚拟机IPRoot口令主用户22对外端口系统内存大小用途192.168.56.129zjg22222SUSE1160G2G单机版测试用192.168.56.13030130CentOS6.26G512M130、131、132一起的第一次集群搭建，按照安徽的e3base文档进行搭建192.168.56.13130131同上192.168.56.132301321

10、92.168.56.1333013320G133、134、135一起的第二次集群搭建，比对实验室的配置所搭建192.168.56.13430134192.168.56.13530135192.168.56.13630136130、131、132一起的第三次集群搭建，失败192.168.56.13730137130、131、132一起的第三次集群搭建192.168.56.13830138192.168.56.13930139备用由于个人在第一次搭建时，发觉还没有启用hbase，磁盘就占用满了，在进行虚拟机扩展时，格式化新添加的磁盘总是失败，所以暂时不使用了。这个以后可以启动单独作为zookeep

11、er集群。第二次搭建时，经验还是少，所以启动hadoop的namenode失败，不过，原因已经找到，修改配置及重新进行格式化，且扩展下这三台的内存大小，能正常使用，目前未修改，保留着第二次失败的状态。第三次搭建是为了编写文档，需要重新搭建，所以并没有在第二次的虚拟机组进行搭建，又重新弄了三台虚拟机来。将来个人弄个16G内存，及大一点的磁盘，就可以同时开启6台虚拟机，进行生产线最小集群的机组部署实验了。目前开启136-138这三台，本机电脑打开其他软件，8G内存的使用率为70%-80%之间。CPU使用率一般，基本无压力，主要瓶颈还是在内存这里。SDFS产品的组件还有一套分布式内存库DMDB，我想

12、如果在虚拟机上启动这个DMDB，同时运行SDFS，可能会比较吃力点，这点日后待补充。对于虚拟机对外端口，由于目前只是基于个人的测试练习用，所以并没有设置所部署的集群的对外端口，只设置了虚拟机对外连接的端口。软件安装目录软件目录内容路径JavaJAVA_HOME/usr/javaHADOOP_HOME/home/zjg/hadoopHADOOP日志目录/home/zjg/hadoop/xx/logsHADOOP数据目录/home/zjg/hadoop/xx/tmpHADOOP进程号目录/home/zjg/hadoop/xx/pidsHADOOP配置目录/home/zjg/hadoop/etc/h

13、adoopJournalnode信息目录/home/zjg/hadoop/xx/jnHBASE_HOME/home/zjg/hbaseHBASE日志目录/home/zjg/hbase/xx/logsHBASE数据目录/home/zjg/hbase/xx/pidsHBASE进程号目录/home/zjg/hbase/xx/tmpHBASE配置目录/home/zjg/hbase/confZOOKEEPER_HOME/home/zjg/zookeeperZOOKEEPER日志执行zookeeper的当前路径下的zookeeper.out文件ZOOKEEPER数据目录/home/zjg/zookeepe

14、r/dataZOOKEEPER配置目录/home/zjg/zookeeper/conf系统安装部署系统配置添加主机名1. 首先切换到root用户下，命令为：$ su -2. 打开/etc/hosts文件，命令为：$ vi /etc/hosts3. 添加如下主机内容：192.168.56.130 DRM000192.168.56.131 DRM001192.168.56.132 DRM002192.168.56.133 DRM003192.168.56.134 DRM004192.168.56.135 DRM005192.168.56.136 DRM006192.168.56.137 DRM00

15、7192.168.56.138 DRM008192.168.56.139 DRM0094. 检验使用ping命令，例如 ping DRM000我通过DRM006对DRM000进行ping操作，虽然没有ping成功，但是可以看到主机名称与IP相对应了。Ping不同的原因：DRM000没开机，或者不在网络，或者屏蔽了Ping命令。我这里是没开启DRM000虚拟机。防火墙设置由于是分布式集群，通过设置的服务端口在不同的主机进行通讯，这里我个人觉得需要将所涉及的端口添加到防火墙的安全域中，不过，此环境是基于练手及测试的，加上所参考的部署文档也是讲防火墙进行了永不启动的状态，我这里也采用这个方式，将防火

16、墙设置为开机不启动。可能实际运行的环境有对应的安全机制做保护吧？不了解1.根用户切换$ su - 2.使用chkconfig将防火墙设置为不启动$ chkconfig iptables off3.查看防火墙状态$ service iptables startus4.若当前没有关闭防火墙，则可以手动关闭,因为当前只是修改了启动项，并没有对当前已开启的防火墙进行关闭操作，所以，如果暂时不想重启，又想关闭防火墙的话，执行$ service iptables stopselinux设置selinux是一种安全模式下的linux用户管理系统，有许多的限制，我是基于前辈们的部署文档，自己这么理解的，而这种

17、限制有可能影响到分布式的操作。所以，对于分布式集群的主机，需要关闭selinux模式。1.切换根用户2.打开/etc/selinux/config配置文件$ vi /etc/selinux/config3.修改SELINUX的值SELINUX=disabled4.保存退出该文件:wq5.重启系统$reboot6.重启后，查看selinux状态$ sestatus -v说明：个人不了解selinux，分不清它的不同模式，所以，虽然看了手动切换的命令，但是，在实际的部署中，我直接关闭它的启动状态，并重启电脑了。所以这里没写手动关闭selinux的操作。时区由于SDFS所使用的分布式内存库，这个组件

18、是必须要东八区才能进行安装的，而且，分布式的hadoophbasezookeeper也需要保证集群的所以主机的时间一致性。参考的部署文档中提及NTP（Network Time Protocol，网络时间协议）,没有弄过，暂时先不写这个。2.将东八区（亚洲，上海）的时间文件替换当前的时区文件$ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime3.查看时区$ data -R保证部署的各集群所使用的用户及组是同一个目前所有的用户是zjg,口令zjg，组为zjg。更改系统资源配置1. 使用ulimit a用于查看系统进程所占用的资源，命令：$ ul

19、imit -a红框中的四个参数值需要注意的。因为是分布式系统，存在大量多文件、多用户并发操作，且栈的大小的大量并发操作的瓶颈，所以需要调整来保证分布式系统在Linux下的有效操作执行。data seg size 要求大于等于1048576 open files 要求大于等于1024 stack size 要求大于等于131072max user processes 要求大于等于10240Data seg size是无限制的，所以不用担心，而其他三项需要修改，直接执行ulimit命令，会在当前环境下暂时修改，但是重新启动系统后，又会恢复原来的（暂时没找ulimit所读取的信息来自哪里，以下步骤是

20、一种修改方式）2. 切换到根用户3. 打开/etc/bash_profile文件$ vi /etc/bash_profile4. 添加三条ulimit执行命令#ulimitulimit -n 65535ulimit -s 131072ulimit -u 102405.保存退出6.执行source，使配置起效$ source /etc/profile7.检验效果执行ulimit -a 发现的确修改了。8.重启检验效果执行reboot重启电脑$ reboot待重启后，执行ulimit -a，发现起效。所有集群所在的主机，都需要这个部分的操作。SSH无密码访问配置HBASE、HDFS和ZOOKEEP

21、ER，hbase集群、hadoop集群之间需要无密码访问，因此集群之前需要完成集群对应主从节点之间的SSH无密码访问配置。可以通过一次生成ssh密钥多个拷贝的方式实现集群间所有主机之间用户的无密码访问。具体操作方式如下1. 使用zjg用户登录任意一台主机，如192.168.56.136（主机名为DRM006，执行ssh-keygen -t rsa -P “”命令（-P 后面是一对单引号或者双引号），看到提示就回车，然后会在/home/zjg/.ssh下生成一对公钥（id_rsa.pub）和密钥（id_rsa）文件。2. 执行cat /.ssh/id_rsa.pub /.ssh/authoriz

22、ed_keys命令，建立本机该用户之间的无密码登陆。3. 执行chmod 600 /.ssh/authorized_keys命令，设置authorized_keys文件权限，这步重要，有时操作还需要密码的时候，往往是这个文件无权限所导致的。4. 完成配置后，对本机进行测试，首次连接需要输入密码，之后直接可以建立连接不在需要输密码，这样表示设置成功。5. 然后通过for i in seq 7 8; do scp -r /.ssh DRM00$i:/ ; done因为我操作的主机是DRM006,往DRM007DRM008两台进行复制的，所以seq中只写了7、8两台的结尾序号。6. 拷贝完成后，进行

23、集群主机间无密码访问验证。通过ssh +主机名进行验证。不需要密码直接可以访问说明配置成功。7. 记得退出已登陆的主机，可以ifconfig来确定目前所在的主机是那一台，使用who来查看还有那些终端连接着该主机。JAVA安装JAVA主要设置三个全局变量JAVA_HOME，CLASSPATH，PATH。我这里使用的是jdk-8u45-linux-x64.gz的tar包，不是bin的执行包，所以需要手动解压。1. 切换root用户2. 查看/usr/java是否存在$ ll /usr/java如过有的话，则需要进一步确认该主机的环境。3.解压java的tar包$ tar xvf /home/zjg

24、/packet/jdk-8u45-linux-x64.gz -C /usr/5.java文件夹重命名，因为解压后的java目录名称不单单是java,而是“jdk1.8.0_45”，所以需要修改下$ mv /usr/jdk1.8.0_45/ /usr/java6.打开/etc/profile文件$ vi /etc/profile7.添加java的全局变量#jdkexport JAVA_HOME=/usr/java/export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$JAVA_HOME/bin:$JAV

25、A_HOME/jre/bin:$PATH:$HOME/bin8.保存退出/etc/profile文件9.让配置即时生效10.检验是否安装成功$ java -version添加环境变量在zjg用户下，使用vi打开/.bash_profile文件，添加如下环境变量export LANG=zh_CN.GB18030export PS1=hu$#hadoopexport HADOOP_HOME=/home/zjg/hadoopexport PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH#Hbaseexport HBASE_HOME=/home/zjg/hbaseexport PATH=$HBASE_HOME/bin:#zookeeperexport ZOOKEEPER_HOME=/home/zjg/zookeeperalias zkServerStart=$ZOOKEEPER_HOME/bin/zkServer.sh startalias zkServerStatus=$ZOOKEEPER_HOME/bin/zkServer.sh statusalias zkServerStop=$ZOOKEEPE