Hadoop集群部署2X版本文档格式.docx

1、 1.2 修改/etc/hosts 文件，增加集群机器的ip和hostname的映射关系： 以下步骤在master、slave服务器上都需要执行。红色部分以实际情况为准vi /etc/hosts添加：192.168.0.201 NameN192.168.0.202 DataN1192.168.0.203 DataN21.3 关闭SELinuxvi /etc/sysconfig/selinux修改：#SELINUX=enforcingSELINUX=disabled保存。命令行输入：setenforce 0getenforce 查看状态是否是：Permissive1.4 关闭防火墙chkconf

2、ig iptables off service iptables stop1.5 设置sshsu - appsssh-keygen -t dsa （再按3次回车，生成密钥）cd .ssh如本机也要实现ssh，直接在.ssh上 cat id_dsa.pub authorized_keys chmod 600 /home/apps/.ssh/authorized_keyschmod 700 /home/apps/.sshchmod 700 /home/apps$scp authorized_keys DataN1:/home/apps/.ssh/$scp authorized_keys DataN

3、2:验证： ssh DataN1 ssh DataN2 第一次需要输入yes，确认把信息记录到konwn_host里。注意：经常配置后会发现还是需要输入密码，这一般是.ssh、authorized_key的权限问题。在RedHat中，authorized_key设置600，.ssh、apps等父级目录设置为7001.6 JDK安装配置： 先卸载RedHat自带安装的jdk：yum remove java 下载相应版本的JDK，放到虚拟机上目录：/usr/jdk64下（实际上这里是32位的），解压：mkdir /usr/jdk64cd /usr/jdk64tar -zxvf jdk-7u67-l

4、inux-i586.tar.gz修改/etc/profile，在最后面添加如下内容：export JAVA_HOME=/usr/jdk64/jdk1.7.0_71export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib#留位置给后面其他的变量export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/binsource /etc/profilejava -version如果显示出来的版本是我们刚刚配置的1.7.0_67，则说明成功。2 Hadoop安装配置 （本点除了有特殊说明，否则只

5、需要在master机器上执行）准备好安装包：hadoop-2.4.1.tar.gz创建几个后面需要用到的目录：cd /data/hadoopmkdir namemkdir data上面两个目录需要手动到各个slave机器上执行。mkdir -p hadoop-2.4.1/var把下载好的Hadoop安装包hadoop-2.4.1.tar.gz 放到/home/apps目录，解压：tar -zxvf hadoop-2.4.1.tar.gz配置Hadoop，一共有7个文件需要配置，2.4.1版本中这些文件路径是：/home/apps/hadoop-2.4.1/etc/hadoophadoop-en

6、v.shyarn-env.shslavescore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml1、 hadoop-env.sh# The java implementation to use.export JAVA_HOME=/usr/jdk64/jdk1.7.0_672、 yarn-env.sh# some Java parameters3、 slaves写下所有slave：DataN1DataN24、 core-site.xml添加如下内容： namefs.defaultFSvaluehdfs:/NameN:49000/propert

7、yio.file.buffer.size131072hadoop.tmp.dirfile:/home/apps/hadoop-2.4.1/varAbase for other temporary directories.hadoop.proxyuser.hduser.hosts*hadoop.proxyuser.hduser.groups5、 hdfs-site.xmldfs.namenode.secondary.http-addressNameN:50070dfs.namenode.name.dir/data/hadoop/namedfs.datanode.data.dir/data/had

8、oop/datadfs.replication3dfs.webhdfs.enabledtrue注：dfs.replication：数据块副本数量6、 mapred-site.xml （该文件没有，需新建）mapreduce.framework.nameyarnmapreduce.jobhistory.address10020mapreduce.jobhistory.webapp.address198887、 yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapre

9、duce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.address8032yarn.resourcemanager.scheduler.address8030yarn.resourcemanager.resource-tracker.address8031yarn.resourcemanager.admin.address8033yarn.resourcemanager.webapp.address8088把HADOOP_HOME配置到/etc/profile （所有服务器）export HADOOP_HOME=/home/apps/hadoop-2.4.1export PATH=最后添加 :$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/