Hadoop集群部署2X版本文档格式.docx
《Hadoop集群部署2X版本文档格式.docx》由会员分享,可在线阅读,更多相关《Hadoop集群部署2X版本文档格式.docx(20页珍藏版)》请在冰豆网上搜索。
1.2修改/etc/hosts文件,增加集群机器的ip和hostname的映射关系:
以下步骤在master、slave服务器上都需要执行。
红色部分以实际情况为准
vi/etc/hosts
添加:
192.168.0.201NameN
192.168.0.202DataN1
192.168.0.203DataN2
1.3关闭SELinux
vi/etc/sysconfig/selinux
修改:
#SELINUX=enforcing
SELINUX=disabled
保存。
命令行输入:
setenforce0
getenforce查看状态是否是:
Permissive
1.4关闭防火墙
chkconfigiptablesoff
serviceiptablesstop
1.5设置ssh
su-apps
ssh-keygen-tdsa
(再按3次回车,生成密钥)
cd.ssh
如本机也要实现ssh,直接在.ssh上catid_dsa.pub>
>
authorized_keys
chmod600/home/apps/.ssh/authorized_keys
chmod700/home/apps/.ssh
chmod700/home/apps
$scpauthorized_keysDataN1:
/home/apps/.ssh/
$scpauthorized_keysDataN2:
验证:
sshDataN1
sshDataN2
第一次需要输入yes,确认把信息记录到konwn_host里。
注意:
经常配置后会发现还是需要输入密码,这一般是.ssh、authorized_key的权限问题。
在RedHat中,authorized_key设置600,.ssh、apps等父级目录设置为700
1.6JDK安装配置:
先卸载RedHat自带安装的jdk:
yumremovejava
下载相应版本的JDK,放到虚拟机上目录:
/usr/jdk64下(实际上这里是32位的),解压:
mkdir/usr/jdk64
cd/usr/jdk64
tar-zxvfjdk-7u67-linux-i586.tar.gz
修改/etc/profile,在最后面添加如下内容:
exportJAVA_HOME=/usr/jdk64/jdk1.7.0_71
exportCLASS_PATH=.:
$CLASS_PATH:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
#留位置给后面其他的变量
exportPATH=$PATH:
$JAVA_HOME/bin:
$JAVA_HOME/jre/bin
source/etc/profile
java-version
如果显示出来的版本是我们刚刚配置的1.7.0_67,则说明成功。
2Hadoop安装配置
(本点除了有特殊说明,否则只需要在master机器上执行)
准备好安装包:
hadoop-2.4.1.tar.gz
创建几个后面需要用到的目录:
cd/data/hadoop
mkdirname
mkdirdata
上面两个目录需要手动到各个slave机器上执行。
mkdir-phadoop-2.4.1/var
把下载好的Hadoop安装包hadoop-2.4.1.tar.gz放到/home/apps目录,解压:
tar-zxvfhadoop-2.4.1.tar.gz
配置Hadoop,一共有7个文件需要配置,2.4.1版本中这些文件路径是:
/home/apps/hadoop-2.4.1/etc/hadoop
hadoop-env.sh
yarn-env.sh
slaves
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
1、hadoop-env.sh
#Thejavaimplementationtouse.
exportJAVA_HOME=/usr/jdk64/jdk1.7.0_67
2、yarn-env.sh
#someJavaparameters
3、slaves
写下所有slave:
DataN1
DataN2
4、core-site.xml
添加如下内容:
<
configuration>
<
property>
name>
fs.defaultFS<
/name>
value>
hdfs:
//NameN:
49000<
/value>
/property>
io.file.buffer.size<
131072<
hadoop.tmp.dir<
file:
/home/apps/hadoop-2.4.1/var<
description>
Abaseforothertemporarydirectories.<
/description>
hadoop.proxyuser.hduser.hosts<
*<
hadoop.proxyuser.hduser.groups<
/configuration>
5、hdfs-site.xml
dfs.namenode.secondary.http-address<
NameN:
50070<
dfs.namenode.name.dir<
/data/hadoop/name<
dfs.datanode.data.dir<
/data/hadoop/data<
dfs.replication<
3<
dfs.webhdfs.enabled<
true<
注:
dfs.replication:
数据块副本数量
6、mapred-site.xml(该文件没有,需新建)
mapreduce.framework.name<
yarn<
mapreduce.jobhistory.address<
10020<
mapreduce.jobhistory.webapp.address<
19888<
7、yarn-site.xml
yarn.nodemanager.aux-services<
mapreduce_shuffle<
yarn.nodemanager.aux-services.mapreduce.shuffle.class<
org.apache.hadoop.mapred.ShuffleHandler<
yarn.resourcemanager.address<
8032<
yarn.resourcemanager.scheduler.address<
8030<
yarn.resourcemanager.resource-tracker.address<
8031<
yarn.resourcemanager.admin.address<
8033<
yarn.resourcemanager.webapp.address<
8088<
把HADOOP_HOME配置到/etc/profile(所有服务器)
exportHADOOP_HOME=/home/apps/hadoop-2.4.1
exportPATH=最后添加:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/