1、Cloudera大数据平台环境搭建CDH5131傻瓜式说明书Cloudera大数据平台环境搭建(版)版本作者郭维忠发布日期2018-03-101.基础环境1.1.软件环境本文将介绍 离线安装CDH和Cloudera Manager过程,软件版本如下:NO.软件名称版本1.操作系统 64 位2.JDKjdk-8u151-linux-x643.Clouder Manager4.5.数据库Mysql 6.JDBC1.2.配置规划本次安装共5台服务器,服务器配置及用途如下:NO.机器名称内网IP配置用途1.node1688C/32Gb/1TB主,CM,MysqlDB2.node1698C/32Gb/1
2、TB从3.node1708C/32Gb/1TB从4.node1718C/32Gb/1TB从5.node1728C/32Gb/1TB从1.3.所需要的软件资源1)JDK环境:JDK版本: 2)下载地址:包:CM版本: 3)下载地址:包CDH版本:,; ; 下载地址:4)连接jar包:jar包版本:, 下载地址: 1.4.修改机器名(所有节点)1)修改机器名称# hostnamectl set-hostname xxx 2)sh/ rootnode169: sh下,如果没有可以新建):# cat /.ssh/authorized_keys如果提示下面信息,则需要创建./ssh目录:-bash: /
3、root/.ssh/authorized_keys: No such file or directorysh目录,再追加公钥内容# mkdir /.ssh# cat /.ssh/authorized_keys并设置authorized_keys的访问权限:# chmod 600 /.ssh/authorized_keys测试:在node168点上执行ssh node169,正常情况下,不需要密码就能直接登陆进去了。在node168节点出现下面表示成功登录node169节点:以同样的方式将公钥拷贝至其他节点服务器上。 1.5.关闭SELINUX(所有节点)关闭linux SELINUX安全内核#
4、 setenforce 0 (临时生效)修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)# vi /etc/selinux/config内容增加:SELINUX=disabled 重启后生效:# reboot查看SELINUX 是否关闭:#sestatus (在Centos7中遇到SELINUX无法关闭的问题,重新启动机器恢复正常)1.6.修改Linux内核参数(所有节点)为避免安装过程中出现的异常问题,首先调整Linux内核参数。1)设置swappiness,控制换出运行时内存的相对权重,Cloudera 建议将 swappiness
5、设置为 10:1)2)3)4)5)6)7)1)2)3)4) to rootlocalhost identified by root with grant option;grant all on *.* to root% Identified by root;flush privileges;exit;此问题原因:有些网上说是由文件句柄数限制引起,所以按照网上说明进行了修改:在主节点上,修改/opt/文件:/查看文件句柄数,显示1024,显然太小# ulimit -n 1024/修改限制#vi /etc/security/ /在文件后加入下面内容:* soft nofile 100000* hard nofile 100000此步骤需要重启机器生效,可以设置完后再重启。 注:按照上面过程操作,但问题依然存在,后来通过用节中 “主机运行状态不良”故障问题解决办法,问题得到解决。
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1