Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx
《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx》由会员分享,可在线阅读,更多相关《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx(22页珍藏版)》请在冰豆网上搜索。
Cloudera大数据平台环境搭建CDH5131傻瓜式说明书
Cloudera大数据平台环境搭建
(版)
版本
作者
郭维忠
发布日期
2018-03-10
1.基础环境
1.1.软件环境
本文将介绍离线安装CDH和ClouderaManager过程,软件版本如下:
NO.
软件名称
版本
1.
操作系统
64位
2.
JDK
jdk-8u151-linux-x64
3.
ClouderManager
4.
5.
数据库
Mysql
6.
JDBC
1.2.配置规划
本次安装共5台服务器,服务器配置及用途如下:
NO.
机器名称
内网IP
配置
用途
1.
node168
8C/32Gb/1TB
主,CM,MysqlDB
2.
node169
8C/32Gb/1TB
从
3.
node170
8C/32Gb/1TB
从
4.
node171
8C/32Gb/1TB
从
5.
node172
8C/32Gb/1TB
从
1.3.所需要的软件资源
1)JDK环境:
JDK版本:
2)下载地址:
包:
CM版本:
3)下载地址:
包
CDH版本:
,
;
;
下载地址:
4)连接jar包:
jar包版本:
,
下载地址:
1.4.修改机器名(所有节点)
1)修改机器名称
#hostnamectlset-hostnamexxx
2)
sh/root@node169:
~
sh下,如果没有可以新建):
#cat>>~/.ssh/authorized_keys
如果提示下面信息,则需要创建./ssh目录:
-bash:
/root/.ssh/authorized_keys:
Nosuchfileordirectory
sh目录,再追加公钥内容
#mkdir~/.ssh
#cat>>~/.ssh/authorized_keys
并设置authorized_keys的访问权限:
#chmod600~/.ssh/authorized_keys
测试:
在node168点上执行sshnode169,正常情况下,不需要密码就能直接登陆进去了。
在node168节点出现下面表示成功登录node169节点:
以同样的方式将公钥拷贝至其他节点服务器上。
1.5.关闭SELINUX(所有节点)
关闭linuxSELINUX安全内核
#setenforce0(临时生效)
修改/etc/selinux/config下的SELINUX=disabled(重启后永久生效)
#vi/etc/selinux/config
内容增加:
SELINUX=disabled
重启后生效:
#reboot
查看SELINUX是否关闭:
#sestatus
(在Centos7中遇到SELINUX无法关闭的问题,重新启动机器恢复正常)
1.6.修改Linux内核参数(所有节点)
为避免安装过程中出现的异常问题,首先调整Linux内核参数。
1)设置swappiness,控制换出运行时内存的相对权重,Cloudera建议将swappiness设置为10:
1)
2)
3)
4)
5)
6)
7)
1)
2)
3)
4)
toroot@localhostidentifiedby'root'withgrantoption;
grantallon*.*toroot@"%"Identifiedby"root";
flushprivileges;
exit;
此问题原因:
有些网上说是由文件句柄数限制引起,所以按照网上说明进行了修改:
在主节点上,修改/opt/文件:
//查看文件句柄数,显示1024,显然太小
#ulimit-n
1024
//修改限制
#vi/etc/security/
//在文件后加入下面内容:
*softnofile100000
*hardnofile100000
此步骤需要重启机器生效,可以设置完后再重启。
注:
按照上面过程操作,但问题依然存在,后来通过用节中“主机运行状态不良”故障问题解决办法,问题得到解决。