Hadoop的安装和配置.docx

Hadoop的安装和配置.docx

《Hadoop的安装和配置.docx》由会员分享，可在线阅读，更多相关《Hadoop的安装和配置.docx（14页珍藏版）》请在冰豆网上搜索。

Hadoop的安装和配置

《云计算及应用》

实验报告

项目名称Hadoop的安装和配置

专业班级软件学院

学号

姓名

实验成绩：

批阅教师：

2016年5月20日

实验1《Hadoop的安装和配置》

实验学时：

2

每组人数：

3

实验类型：

2（1：

基础性2：

综合性3：

设计性4：

研究性）

实验要求：

1（1：

必修2：

选修3：

其它）

实验类别：

3（1：

基础2：

专业基础3：

专业4：

其它）

一、实验目的

1．使学生进一步熟悉linux环境的基本操作命令及软件安装方法。

2．熟悉Hadoop平台的架构，掌握Hadoop平台的安装及配置。

二、实验内容

1．Linux主机名及网络环境配置

2．Linux下JDK的安装及环境配置

3.Hadoop的安装与配置

三、实验要求：

1．掌握基本的linux操作命令

2.熟悉Hadoop的基本架构及原理

3．配置Hadoop云计算平台，包括NameNode和DataNode的设置，测试Hadoop平台的运行情况。

四、实验步骤

1．启动透明客户端并登录，账号为学号，密码为aaaaaa；

2．启动虚拟机，双击“SSH”桌面，登录CentOS系统，账号为root，密码为admin123;

3.修改主机名：

vim/etc/hostname，将主节点主机名改为NameNode-组号-1，将2个子节点主机名改为：

DataNode-组号-1和DataNode-组号-2；修改/etc/hosts文件，添加3台机器的IP和主机名，譬如：

10.10.12.111NameNode-10-1

10.10.12.112DataNode-10-1

10.10.12.113DataNode-10-2

4.安装jdk：

yuminstalljava-1.7.0-openjdk-devel

5.建立hadoop目录：

安装文件在/hadoop/software/目录下复制

6.修改环境变量~/.bashrc，在末尾加入：

exportJAVA_HOME=/usr/lib/jvm/java

exportHADOOP_HOME=/hadoop/hadoop-2.6.0（修改成hadoop的根目录）

exportHADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop

exportPATH=$PATH:

$HADOOP_HOME/bin

exportPATH=$PATH:

$HADOOP_HOME/sbin

使环境变量生效，执行命令source~/.bashrc

7.hadoop配置：

建立3个文件夹：

mkdirtempNameNodeDataNode；配置core-site.xml，hdfs-site.xml和mapred-site.xml；配置slaves文件；

8.建立3个节点互访：

将hosts及bashrc文件同步到datanode1，datanode2节点：

scp/etc/hosts/root@10.10.12.112:

/etc/hosts

scp/etc/hosts/root@10.10.12.113:

/etc/hosts

scp~/.bashrcroot@datanode1:

~/.bashrc

scp~/.bashrcroot@datanode2:

~/.bashrc

生成访问秘钥ssh-keygen-trsa，3台机器共享秘钥，可以无密码访问；

9.启动hadoop:

格式化工作空间./hadoopnamenode–format;使用start-all.sh启动hadoop;使用hdfsdfsadmin–report测试是否配置成功。

五、实验报告