Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书【精选】.docx
《Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书【精选】.docx》由会员分享,可在线阅读,更多相关《Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书【精选】.docx(41页珍藏版)》请在冰豆网上搜索。
![Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书【精选】.docx](https://file1.bdocx.com/fileroot1/2022-10/1/60140498-8df8-41ad-b2c9-179dbe385d14/60140498-8df8-41ad-b2c9-179dbe385d141.gif)
Cloudera大数据平台环境搭建
(CDH5.13.1版)
版本
v1.0
作者
郭维忠
发布日期
2018-03-10
目录
Cloudera大数据平台环境搭建
(CDH5.13.1版)
1.基础环境
1.1.软件环境
1.2.配置规划
1.3.所需要的软件资源
1.4.修改机器名(所有节点)
1.5.设置防火墙(所有节点)
1.6.配置免密码登录SSH
1.7.关闭SELINUX(所有节点)
1.8.修改Linux内核参数(所有节点)
1.9.其他安装与配置(所有节点)
1.10.配置NTP服务
1.11.安装oracleJDK1.8(所有节点)
1.12.Mysql安装(主节点)
2.安装CM
2.1.传包,解包
2.2.创建数据库
2.3.创建用户
2.4.制作本地YUM源
2.5.拷贝jar包
2.6.修改cloudera-scm-agent配置
2.7.启动CMServer和Agent
2.8.访问CM
3.安装CDH
3.1.登录后界面
3.2.选择CM版本
3.3.指定主机
3.4.选择CDH版本
3.4.1.出现“主机运行状态不良”错误
3.5.检查主机正确性
3.6.选择安装的服务
3.7.角色分配
3.8.数据库设置
3.8.1.测试连接报错:
3.9.群集设置
3.10.开始安装
3.11.安装完成
3.11.1.警告信息:
4.常见错误
4.1.初始化数据库错误:
4.2.未能连接到HostMonitor
1.基础环境
1.1.软件环境
本文将介绍Centos7.4离线安装CDH和ClouderaManager过程,软件版本如下:
NO.
软件名称
版本
1.
操作系统
Centos7.4 64 位
2.
JDK
jdk-8u151-linux-x64
3.
ClouderManager
5.13.1
4.
CDH
5.13.1
5.
数据库
Mysql5.7
6.
JDBC
mysql-connector-java-5.1.43.jar
1.2.配置规划
本次安装共5台服务器,服务器配置及用途如下:
NO.
机器名称
内网IP
配置
用途
1.
node168
172.16.3.168
8C/32Gb/1TB
主,CM,MysqlDB
2.
node169
172.16.3.169
8C/32Gb/1TB
从
3.
node170
172.16.3.170
8C/32Gb/1TB
从
4.
node171
172.16.3.171
8C/32Gb/1TB
从
5.
node172
172.16.3.172
8C/32Gb/1TB
从
1.3.所需要的软件资源
1)JDK环境:
JDK版本:
1.8.0_151
jdk-8u151-linux-x64.rpm
下载地址:
2)CM包:
CM版本:
5.13.1
cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz
下载地址:
http:
//archive-
3)CDH包
CDH版本:
5.13.1,
CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel;
CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1;
manifest.json
下载地址:
http:
//archive-
http:
//archive-
http:
//archive-
4)JDBC连接jar包:
jar包版本:
5.1.43,
mysql-connector-java-5.1.43.jar
下载地址:
http:
//central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar
1.4.修改机器名(所有节点)
1)修改机器名称
# hostnamectlset-hostnamexxx //设置机器名
#hostname // 查看本机名
这种方式,在Centos7中可以永久性改变主机名称。
2)每个节点机器,都要配置hosts
# vi/etc/hosts
内容都改为:
127.0.0.1 localhost //建议保留此行
172.16.3.168node168
172.16.3.169node169
172.16.3.170node170
172.16.3.171node171
172.16.3.172node172
1.5.设置防火墙(所有节点)
注:
为了简便,可以先关闭防所有节点火墙,安装完成后,再按照下面步骤设置。
防火墙常用命令:
#firewall-cmd --state(查询防火墙状态)
#systemctlstopfirewalld.service (关闭防火墙)
#systemctlstartfirewalld.service (开启防火墙)
#systemctldisablefirewalld.service (禁止firewall开机启动)
设置防火墙策略,在所有节点执行下面脚本(执行前要启动防火墙):
//集群机器间可以相互访问
firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='172.16.3.168'portprotocol='tcp'port='0-65535'accept"
firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='172.16.3.169'portprotocol='tcp'port='0-65535'accept"
firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='172.16.3.170'portprotocol='tcp'port='0-65535'accept"
firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='172.16.3.171'portprotocol='tcp'port='0-65535'accept"
firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='172.16.3.172'portprotocol='tcp'port='0-65535'accept"
//设置可以访问的端口
firewall-cmd--permanent--add-port=0-65535/tcp
firewall-cmd--reload
注意:
需要在所有的节点上执行,因为涉及到的端口太多了,临时开放所有端口是为了安装起来方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。
1.6.配置免密码登录SSH
将子节点设置为从主节点ssh无密码登陆(主节点访问从节点需要无密码互通,否则后面会出现问题)
在主节点上执行:
#cd~//进入到根目录
#ssh-keygen-trsa
一路回车,生成无密码的密钥对。
把公钥拷贝至node169服务器上 :
#scp/root/.ssh/id_rsa.pubroot@node169:
~ //输入node169机器上root用户密码拷备成功
登录到node169服务器上:
然后在node169服务器上,把公钥的内容追加到authorized_keys文件末尾(这个文件也在隐藏文件夹.ssh下,如果没有可以新建):
#catid_rsa.pub>>~/.ssh/authorized_keys
如果提示下面信息,则需要创建./ssh目录:
-bash:
/root/.ssh/authorized_keys:
Nosuchfileordirectory
//创建/.ssh目录,再追加公钥内容
#mkdir~/.ssh
#catid_rsa.pub>>~/.ssh/authorized_keys
并设置authorized_keys的访问权限:
# chmod600~/.ssh/authorized_keys
测试:
在node168点上执行sshnode169,正常情况下,不需要密码就能直接登陆进去了。
在node168节点出现下面表示成功登录node169节点:
以同样的方式将公钥拷贝至其他节点服务器上。
1.7.关闭SELINUX(所有节点)
关闭linuxSELINUX安全内核
#setenforce0(临时生效)
修改/etc/selinux/config下的SELINUX=disabled(重启后永久生效)
#vi/etc/selinux/config
内容增加:
SELINUX=disabled
重启后生效:
#reboot
查看SELINUX 是否关闭:
#sestatus
(在Centos7中遇到SELINUX无法关闭的问题,重新启动机器恢复正常)
1.8.修改Linux内核参数(所有节点)
为避免安装过程中出现的异常问题,首先调整Linux内核参数。
1)设置swappiness,控制换出运行时内存的相对权重,Cloudera建议将swappiness设置为10:
//查看swappiness
#cat/proc/sys/vm/swappiness
//永久性修改,执行下面两条命令
#sysctl-wvm.swappiness=10
#echovm.swappiness=10>>/etc/sysctl.conf
2)关闭透明大页面:
自CentOS6版本开始引入了TransparentHugePages(THP),从CentOS7版本开始,该特性默认就会启用。
尽管THP的本意是为提升内存的性能,不过某些数据库厂商还是建议直接关闭THP,否则可能会导致性能出现下降。
首先查看透明大页是否启用,[always]never表示已启用,always[neve