Centos6离线搭建安装配置Cloudera Manager593超详细Word下载.docx

1、1.Cloudera Manager安装包a）cm5.9.3-centos6.tar.gzb）CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel c）CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha1 d）manifest.jsone）cloudera-manager-installer.bin2.其他还需要准备的安装包：a）JDK1.8安装包我这里用的是jdk1.8.0_65，rpm包b）Mysql5.6.x也是rpm包c）mysql-connector-java-5.1.44.jar 3. 安装包可以先上传到Linux服务器只需要上传到

2、主节点（cloudera-scm-server所在的服务器）就行，上传目录随意，后面会再进行操作一、大数据平台集群环境准备 注意1.以下所有步骤如无特别说明都是要在所有服务器上都执行一遍2.亲测，以下所有的准备工作都要做，没有的话的话后面出现各种问题还得再补上1.配置静态IPvim /etc/sysconfig/network-scripts/ifcfg-eth0内容如下:DEVICE=eth0HWADDR=00:50:56:93:24:7ETYPE=EthernetUUID=8ca9d801-a91a-4365-8b08-d54c6c3050d0ONBOOT=yesNM_CONTROLLED

3、=yesBOOTPROTO=staticIPADDR=192.168.60.56NETMASK=255.255.255.0GATEWAY=192.168.60.1DNS1=202.96.209.5DNS2=202.96.209.133重启网卡驱动service network restart2. 修改主机名3台服务器分别修改为vim /etc/sysconfig/network# 修改为以下内容NETWORKING=yesHOSTNAME=3. hosts文件主机名与IP地址映射另外你的电脑最好也添加一下，路径是：C:WindowsSystem32driversetchostsvim /etc

4、/hosts# 添加以下内容192.168.60.54 cm01192.168.60.55 cm02192.168.60.56 cm034. 禁用IPV6命令行执行以下命令# 禁用IPv6echo /etc/modprobe.d/dist.confalias net-pf-10 offalias ipv6 off# 查看是否追加成功tail /etc/modprobe.d/dist.conf5. 关闭防火墙# 关闭防火墙service iptables stop# 永久性关闭防火墙chkconfig iptables off# 查看防火墙状态：service iptables status生产

5、上根据实际情况进行设置6. 禁用Selinux重启机器才会生效，这里先不重启vim /etc/sysconfig/selinux# 修改配置项：SELINUX=disabled7. 卸载系统自带的JDKrpm -qa|grep java# xxx yyy zzz为你要卸载的插件，插件之间以空格隔开rpm -e -nodeps xxx yyy zzz8. 设置文件打开数目和用户最大进程数# 查看文件打开数目ulimit -a# 查看用户最大进程数ulimit -u# 设置用户最大进程数vim /etc/security/limits.conf# 结尾添加以下内容* soft nofile 327

6、68* hard nofile 1048576* soft nproc 65536* hard nproc unlimited* soft memlock unlimited* hard memlock unlimited9. 统一时区为东八区（GMT+0800）cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 10. Linux操作系统系统语言采用英文版# 查看操作系统系统语言echo $LANG# 修改操作系统系统语言vim /etc/sysconfig/i18nLANG=en_US.UTF-8用中文的话后面使用Oozie的时候会发生乱

7、码11. 关闭透明大页面# 临时关闭透明大页面（立即生效）echo never /sys/kernel/mm/redhat_transparent_hugepage/defrag /sys/kernel/mm/redhat_transparent_hugepage/enabled# 永久关闭透明大页面（重启生效）echo /etc/rc.local# 关闭大透明页面 /sys/kernel/mm/redhat_transparent_hugepage/defrag /sys/kernel/mm/redhat_transparent_hugepage/enabled# 查看是否已经关闭cat /

8、sys/kernel/mm/redhat_transparent_hugepage/defragcat /sys/kernel/mm/redhat_transparent_hugepage/enabled12. 修改swappiness# 临时修改sysctl -w vm.swappiness=1# 永久修改vm.swappiness=1 /etc/sysctl.conf13. 安装JDK1.8# 安装JDKrpm -ivh jdk-8u65-linux-x64.rpm1. 配置JAVA_HOME#修改环境变量vim /etc/profile# 末尾追加以下内容export JAVA_HOME

9、=/usr/java/defaultexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# 查看是否安装成功java -version 2. 重新加载环境变量使配置生效source /etc/profile# 查看是否配置成功echo $JAVA_HOME14. 重启服务器reboot二、配置ssh无密钥访问1. 生成密钥# 生成密钥ssh-keygen -t rsa# 执行后一路回车2. 复制公钥cd /.ssh/cp id_rsa.pub autho

10、rized_keys# 下面的命令是把其他主机的公钥复制到本机ssh-copy-id -i cm01ssh-copy-id -i cm02ssh-copy-id -i cm033. 测试连接ssh cm01ssh cm02ssh cm03注意此步执行完以后最好三个服务器的客户端连接全部关了重新连接，因为ssh cm0x命令执行完后如果没有返回来的话会造成不同客户端连接窗口混乱三、开启NTP服务Centos6默认安装ntp服务1. 所有服务器屏蔽默认server# 修改ntp配置文件vim /etc/ntp.conf# 屏蔽默认server 将配置文件里下面的内容注释掉#server 0.cen

11、tos.pool.ntp.org iburst#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.centos.pool.ntp.org iburst2. 配置ntp主服务器我这里是服务器#添加如下内容server 127.127.1.0fudge 127.127.1.0 stratum 103. 配置ntp从服务器# 同步的时间server 4. 启动所有服务器上的服务# 启动ntp服务器service ntpd start# 设置开机启动ntp服务器chkconfig ntpd

12、on5. 验证ntp服务器是否开启# 验证ntp服务器是否开启ntpq -p主服务器：从服务器：- 注意NTP服务器默认是5到10分钟从主服务器更新一次时间四、配置yum源1. 配置网络yum源为阿里云源三台服务器都需要配置 1. 备份原来的配置mkdir -p /etc/yum.repos.d/bakmv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak2. 下载新的CentOS-Base.repo 到/etc/yum.repos.d/wget -O /etc/yum.repos.d/CentOS-Base.repo 3. 生成缓存yum makeca

13、che2. 搭建本地yum源只在服务器上配置就行 1. 开启HTTP服务# 安装httpd服务（如果已安装跳过）yum install httpd# 启动httpd服务service httpd start# 设置开机启动chkconfig httpd on 2. 浏览器验证是否启动成功输入地址: httpd服务默认80端口，浏览器访问如果是80端口的话可以不输入端口号3. 将安装包放在指定的目录并解压 # 所有安装包都放在/opt/software/cloudera目录下mkdir -p /opt/software/cloudera/CDH-5.9.3mkdir -p /opt/softwa

14、re/cloudera/cmmv CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel /opt/software/cloudera/CDH-5.9.3mv CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha1 /opt/software/cloudera/CDH-5.9.3mv manifest.json /opt/software/cloudera/CDH-5.9.3tar -zxf cm5.9.3-centos6.tar.gz -C /opt/software/cloudera# 其实这个放哪儿都行mv cloudera-manager-

15、installer.bin /opt/software/cloudera# http服务添加安装包的软链接ln -s /opt/software/cloudera/cm /var/www/html/cmln -s /opt/software/cloudera/CDH-5.9.3/ /var/www/html/cdh4. 添加ClouderaManager和parcel源vim /etc/yum.repos.d/cloudera-manager.repo# 添加如下内容cloudera-managername=Cloudera Manager, Version 5.9.3baseurl=gpgc

16、heck=0vim /etc/yum.repos.d/cm.repocmname=cmenabled=1五、安装Mysql数据库这里Mysql安装在服务器Mysql版本这里是5.6.x。5.7.x的安装与此不一样，如果你是5.7的话这部分看其他的教程1. 安装Mysql 1. 解压tar包，并添加执行权限# 解压tar包tar xvf MySQL-5.6.38-1.el6.x86_64.rpm-bundle.tar -C /opt/software/mysql/cd /opt/software/mysql/# 添加执行权限chmod u+x *.rpm 2. 安装MySQL-shared-co

17、mpat替换系统自带的mysql-libs# 先查看一下是否有系统自带的mysql插件，我这里是有的rpm -qa | grep -i mysql# 先安装MySQL-shared-compatrpm -ivh MySQL-shared-compat-5.6.38-1.el6.x86_64.rpm# 再卸载mysql-libsyum remove mysql-libs 3. 安装mysql# 安装MySQL-serverrpm -ivh MySQL-server-5.6.38-1.el6.x86_64.rpm # 安装MySQL-clientrpm -ivh MySQL-client-5.6.

18、38-1.el6.x86_64.rpm 2. 配置Mysql安装完以后Mysql生成一个随机密码保存在/root/.mysql_secret# 启动Mysqlservice mysql start# 不用再配置开机启动了，安装包已经设置Mysql开机启动# 查看Mysql密码more /.mysql_secret# 进行Mysql的基本配置/usr/bin/mysql_secure_installation -user=mysql3.开启远程登陆# 命令行登陆Mysqlmysql -uroot -p123123# 添加远程登陆权限Grant all privileges on *.* to r

19、oot% identified by 123123 with grant option;# 重新加载权限flush privileges;本地通过Navicat远程连接Mysql:4. 将Mysql驱动包放入Java 共享目录三台服务器都要做#重命令Mysql驱动包，把版本号去掉mv mysql-connector-java-5.1.44-bin.jar mysql-connector-java.jar# 将jar包移到java共享目录下mv mysql-connector-java.jar /usr/share/java/# 将Mysql驱动包分发到另外两台服务器scp /usr/share

20、/java/mysql-connector-java.jar rootcm01:/usr/share/javascp /usr/share/java/mysql-connector-java.jar rootcm03:5. 创建数据库及用户并添加权限create database if not exists amon default charset utf8 collate utf8_general_ci;create database if not exists rman default charset utf8 collate utf8_general_ci;create database

21、 if not exists nav default charset utf8 collate utf8_general_ci;create database if not exists navms default charset utf8 collate utf8_general_ci;create database if not exists hue default charset utf8 collate utf8_general_ci;create database if not exists sentry default charset utf8 collate utf8_gener

22、al_ci;create database if not exists hive;create database if not exists oozie;grant all on hive.* to hivegrant all on oozie.* to ooziegrant all on hue.* to huegrant all on amon.* to amongrant all on rman.* to rmangrant all on nav.* to navgrant all on navms.* to navmsgrant all on sentry.* to sentry六、安

23、装Cloudera Manager此部分只在上执行1. 安装Cloudera Manager# cloudera-manager-installer.bin可以在任意目录下，它会去yum上查找相应的安装文件# 给cloudera-manager-installer.bin添加执行权限chmod u+x cloudera-manager-installer.bin # 安装./cloudera-manager-installer.bin -skip_repo_package=1正常情况下Next、Next、Yes、Next、Yes即安装成功，会有如下提示信息表示安装成功了其他教程里说还需要创建c

24、loudera-scm用户这里是不用的，执行这个安装程序的时候会自动创建安装成功界面此时会在系统会添加两个服务：cloudera-scm-server这个是Cloudera Manager的服务cloudera-scm-server-db这个是Cloudera Manager内嵌的数据库服务# 查看添加的Cloudera服务rpm -qa | grep cloudera# 查看服务运行状态service cloudera-scm-server statusservice cloudera-scm-server-db status2. 配置Mysql数据库为Cloudera Manager配置外

25、部的数据库需要对此外部数据库进行一些配置 1. ClouderaManager官网对Mysql配置的翻译，大致意思是：a）需要配置Mysql的搜索引擎为InnoDBb）Mysql安装好以后默认分配的缓冲区和内存比较小，ClouderaManager会非常频繁地连接Mysql需要配置一下,具体根据你集群的大小配置最大连接数c）二进制日志对于ClouderaManager不是必须的，但是对Mysql有好处，这个你随意然后下面给了一个f配置的例子mysqldtransaction-isolation = READ-COMMITTED# Disabling symbolic-links is recommended to prevent assorted sec