Cloudera大数据平台环境搭建CDH傻瓜式说明书Word下载.docx

1、1.9.其他安装与配置（所有节点）101.10.配置NTP服务101.11.安装oracle JDK1.8 （所有节点）121.12.Mysql安装（主节点）132.安装CM152.1.传包，解包152.2.创建数据库152.3.创建用户162.4.制作本地YUM源162.5.拷贝jar包172.6.修改cloudera-scm-agent配置172.7.启动CM Server和Agent182.8.访问CM183.安装CDH183.1.登录后界面183.2.选择CM版本193.3.指定主机203.4.选择CDH版本213.4.1.出现 “主机运行状态不良”错误223.5.检查主机正确性233

2、.6.选择安装的服务233.7.角色分配243.8.数据库设置243.8.1.测试连接报错：253.9.群集设置263.10.开始安装283.11.安装完成293.11.1.警告信息：294.常见错误314.1.初始化数据库错误：314.2.未能连接到 Host Monitor32模板发布部门：技术研发管理部过程与质量管理部第32页/共32页模板编号：SD-TEM-01-2013111. 基础环境1.1. 软件环境本文将介绍Centos7.4 离线安装CDH和Cloudera Manager过程，软件版本如下：NO.软件名称1.操作系统Centos7.4 64 位2.JDKjdk-8u151-

3、linux-x643.Clouder Manager5.13.14.CDH5.数据库Mysql 5.76.JDBCmysql-connector-java-5.1.43.jar1.2. 配置规划本次安装共5台服务器，服务器配置及用途如下：机器名称内网IP配置用途node168172.16.3.1688C/32Gb/1TB主，CM，MysqlDBnode169172.16.3.169从node170172.16.3.170node171172.16.3.171node172172.16.3.1721.3. 所需要的软件资源1） JDK环境：JDK版本：1.8.0_151 jdk-8u151-li

4、nux-x64.rpm下载地址：2） CM包：CM版本：5.13.1 cloudera-manager-centos7-cm5.13.1_x86_64.tar.gzhttp:/archive-3） CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel； CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json4） JDBC连接jar包：jar包版本：5.1.43， mysql-connector-java-5.1.43.jar/central.maven.org/maven2/m

5、ysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar 1.4. 修改机器名（所有节点）1） 修改机器名称# hostnamectl set-hostname xxx /设置机器名#hostname / 查看本机名这种方式，在Centos7中可以永久性改变主机名称。2） 每个节点机器，都要配置hosts# vi /etc/hosts内容都改为：127.0.0.1 localhost /建议保留此行172.16.3.168 node168172.16.3.169 node169172.16.3.170 node170172

6、.16.3.171 node171172.16.3.172 node1721.5. 设置防火墙（所有节点）注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。防火墙常用命令：# firewall-cmd -state（查询防火墙状态） #systemctl stop firewalld.service （关闭防火墙） #systemctl start firewalld.service （开启防火墙）#systemctl disable firewalld.service （禁止firewall开机启动）设置防火墙策略，在所有节点执行下面脚本（执行前要启动防火墙）：/集群机

7、器间可以相互访问firewall-cmd -permanent -add-rich-rule=rule family=ipv4 source address=172.16.3.168 port protocol=tcp port=0-65535 accept172.16.3.169172.16.3.170172.16.3.171172.16.3.172/设置可以访问的端口firewall-cmd -permanent -add-port=0-65535/tcpfirewall-cmd -reload注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来方便，安装

8、完毕后可以根据需要设置防火墙策略，保证集群安全。1.6. 配置免密码登录SSH将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）在主节点上执行：#cd /进入到 根目录# ssh-keygen -t rsa 一路回车，生成无密码的密钥对。把公钥拷贝至node169服务器上：# scp /root/.ssh/id_rsa.pub rootnode169: /输入node169机器上root用户密码拷备成功登录到node169服务器上：然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，

9、如果没有可以新建）：# cat id_rsa.pub /.ssh/authorized_keys如果提示下面信息，则需要创建./ssh目录：-bash: /root/.ssh/authorized_keys: No such file or directory/创建/.ssh目录,再追加公钥内容# mkdir /.ssh并设置authorized_keys的访问权限：# chmod 600 /.ssh/authorized_keys测试：在node168点上执行ssh node169，正常情况下，不需要密码就能直接登陆进去了。在node168节点出现下面表示成功登录node169节点：以同样的

10、方式将公钥拷贝至其他节点服务器上。 1.7. 关闭SELINUX（所有节点）关闭linux SELINUX安全内核# setenforce 0 （临时生效）修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）# vi /etc/selinux/config内容增加：SELINUX=disabled 重启后生效：# reboot查看SELINUX 是否关闭：#sestatus（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）1.8. 修改Linux内核参数（所有节点）为避免安装过程中出现的异常问题，首先调整Linux内核参数。1） 设置swappiness，控制换出运行时内存的相对权重，Cloudera 建议将 swappiness 设置为 10：/查看swappiness# cat /proc/sys/vm/swappiness/永久性