云帆大数据培训lesson11笔记.docx

云帆大数据培训lesson11笔记.docx

《云帆大数据培训lesson11笔记.docx》由会员分享，可在线阅读，更多相关《云帆大数据培训lesson11笔记.docx（9页珍藏版）》请在冰豆网上搜索。

云帆大数据培训lesson11笔记

启动集群

在cent01

start-dfs.sh

mr-jobhistory-daemon.shstarthistoryserver

在cent02

start-yarn.sh

在cent03

yarn-daemon.shstartproxyserver

也就是说，要在启动dfs以后，等待一会，再启动yarn

Proxyserver部署到了130，我们的是cent03

因为运行了climinicuster导致系统的namespace不对了，需要重新格式化

1.删除三台机器上的data目录，重新建立目录结构

rm-rfdata

mkdir-pdata/tmp

mkdir-pdata/dfs/nn/edits

mkdir-pdata/dfs/nn/name

mkdir-pdata/dfs/snn/edits

mkdir-pdata/dfs/snn/name

2.格式化namenode

hdfsnamenode–format

Hdfs-site.xml,卸载和增加节点

dfs.hosts

dfs.hosts.exclude

在cent01上面生成dfs-hosts.exclude文件

把cent03加入到该文件中

hdfsdfsadmin-refreshNodes

yarn.resourcemanager.nodes.include-path

yarn.resourcemanager.nodes.exclude-path

在resourcemanager的node（cent02）上面修改yarn-site.xml文件

yarn.resourcemanager.nodes.exclude-path

/home/grid/hadoop/etc/hadoop/rm-hosts.exclude

增加exclude文件

刷新node

还需要在NameNode的server上刷新Node

hdfsdfsadmin–refreshNodes

需要在resourceManager的server上修改yarn-sitexml文件，去掉exclude内容

在cent03上重启nodemanager之后

需要在resourceManager的server上刷新nodes

yarnrmadmin–refreshNodes

ZKFC:

ZooKeeperFailoverController