CDH集群安装步骤.docx
《CDH集群安装步骤.docx》由会员分享,可在线阅读,更多相关《CDH集群安装步骤.docx(10页珍藏版)》请在冰豆网上搜索。
![CDH集群安装步骤.docx](https://file1.bdocx.com/fileroot1/2022-11/28/49557bc7-b31d-456b-8d54-66eb8d291813/49557bc7-b31d-456b-8d54-66eb8d2918131.gif)
CDH集群安装步骤
环境准备
192.168.200.41cpu:
2.6GHZ*2,ram:
16G,rom:
500Ghostname:
hadoop1
192.168.200.42cpu:
2.6GHZ*2,ram:
16G,rom:
500Ghostname:
hadoop2
192.168.200.43cpu:
2.6GHZ*2,ram:
16G,rom:
500Ghostname:
hadoop3
192.168.200.44cpu:
2.6GHZ*2,ram:
16G,rom:
500Ghostname:
hadoop4
192.168.200.45cpu:
2.6GHZ*2,ram:
16G,rom:
500Ghostname:
hadoop5
root/iscs2016
关闭防火墙:
chkconfigiptablesoff,重启生效
关闭SELINUX:
使用getenforce命令查看是否关闭,关闭前显示为enforcing。
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
修改5台机器网络设置
重启网络:
servicenetworkrestart
检查IP是否修改:
ifconfig
检查能否联网:
设置机器名:
vi/etc/sysconfig/network,每台分别对应一个机器名,以此类推
设置HOST文件:
vi/etc/hosts
对网络设置进行重启:
sudo/etc/init.d/networkrestart
互ping验证是否设置正确:
所有节点增加用户adduseriscs
设置密码:
passwdiscs(iscs2016)
所有节点设置iscs用户无密码sudo到root权限:
1、给文件赋予写权限chmodu+w/etc/sudoers
2、增加一行
3、给文件删除写权限给文件赋予写权限chmodu-w/etc/sudoers
4、OK
NTP时间同步
SSH无密码验证设置(用户iscs):
1、在每个节点中使用ssh-keygen-trsa生成私钥和公钥;连续点击回车即可
2、在5个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3、authorized_keys_hadoop4、authorized_keys_hadoop5
3、以第一个节点hadoop1为例,把其他四个节点的公钥使用scpauthorized_keys_hadoop2iscs@hadoop1:
/home/iscs/.ssh命令传送到hadoop1节点的/home/iscs/.ssh文件夹中
4、把五个节点的公钥信息保存到authorized_key文件中,
使用catauthorized_keys_hadoop1>>authorized_keys命令
5、 把该文件分发到其他四个从节点上
使用scpauthorized_keysiscs@hadoop2:
/home/iscs/.ssh把密码文件分发出去
6、测试ssh免密码登录是否生效
7、设置ntp时间同步
1)安装NTP(每个节点)
yuminstallntp
2)配置NTP
Vim/etc/ntp.conf
Mater配置(选用复旦大学ntp服务器)
Slave配置(每个slave节点):
3)开启ntp服务
/bin/systemctlstartntpd.service
4)查看同步效果
ntpstat
所有节点设置httpd启动:
开机启动:
sudochkconfighttpdon
手动启动:
sudoservicehttpdstart
安装依赖包:
yum-yinstallpostgresql-server
yum-yinstallpostgresql
yum-yinstallhttpd
yum-yinstallperl
yum-yinstallbind-utils
yum-yinstalllibxslt
yum-yinstallcyrus-sasl-gssapi
yum-yinstallredhat-lsb
yum-yinstallcyrus-sasl-plain
yum-yinstallportmap
yum-yinstallfuse
yum-yinstallfuse-libs
yum-yinstallncyum-yinstallpython-setuptools
yuminstallopenssh-clients
ClouderaManager安装
下载ClouderaManager安装软件
这里选择ClouderaManager最新版5.0.1
下载ClouderaManager所需要的rpm包
将上述软件与报上传至Linux环境,我这里上传到/root/p01/cdhrpm(注:
路径随意)
在此路径下:
执行:
yumlocalinstall--nogpgcheck *.rpm(安装rpm包)
执行:
chmodu+xcloudera-manager-installer.bin(给下载的bin文件权限)
执行:
./cloudera-manager-installer.bin(大约十分钟左右,按提示选择即可)
安装好后,执行jps-l,查看服务是否启动
浏览器输入192.168.200.41:
7180,进入manager界面(具体IP视个人而定,端口为7180,初始用户名密码均为admin)
ClouderaManager文件配置及本地源配置
配置config.ini文件
修改主机名(只针对mater节点,slave节点server_host指定为master的IP)
vi/etc/cloudera-scm-agent/config.ini
修改前为:
localhost 修改后为:
localhost.localdomain
本地源配置
Parcel的可以从如下网址获得,下载.parcel文件和manifest.json文件:
因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
注意:
Parcel文件对应不同的系统版本
CentOS6.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CentOS5.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcel
l 把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
l 新建文件命名为:
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l 打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
servicecloudera-scm-agent
Ignoringnon-compliantparcelmanifest
exportJAVA_HOME=/usr/java/jdk1.6.0_31
exportPATH=$JAVA_HOME/bin:
$PATH
exportCLASSPATH=.:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
如果页面找不到主机,修改vi/etc/cloudera-scm-agent/config.ini,server_host修改为master的IP,重启servicecloudera-scm-agentrestart即可
、
Password:
iscs2016
Kafka:
HeapSizeofBroker
修改server.properties中的brokerid
Find/-namemeta.properties
rpm-ivh*.rpm--nodeps--force