Hadoop云计算综合实训报告.docx

Hadoop云计算综合实训报告.docx

《Hadoop云计算综合实训报告.docx》由会员分享，可在线阅读，更多相关《Hadoop云计算综合实训报告.docx（11页珍藏版）》请在冰豆网上搜索。

Hadoop云计算综合实训报告

Hadoop安装部署

实

训

报

告

项目：

《hadoop安装部署实训》

班级：

XXXX

姓名：

XXX

指导教师：

XXX

时间：

XXXX年X月X日

一.实训目的

实现Hadoop的安装和配置

二.实训中所用设备及材料

PC机

Vmware15虚拟机

Centos6.8镜像

jdk-8u111-linux-x64.tar

hadoop-2.6.5.tar

glibc-2.17.tar

三.实训内容（操作方案、实施方法）

1、修改主机名

Vi/etc/sysconfig/network

2、修改ip地址

Vi/etc/sysconfig/network-scripts/ifcfg-eth0

Servicenetworkrestart

3、关闭防火墙

serviceiptablesstop

chkconfigiptablesoff

4、添加主机记录

Vi/etc/hosts

172.16.101.85Lhw

5、关闭selinux

Vi/etc/selinux/config

6、上传jdk文件

7、解压jdk文件

8、查看

9、修改环境变量

Vi/etc/profile

10、重新加载

验证jdk

11、上传hadoop安装包

新建文件夹

Mkdir/bigdata

解压Hadoop安装包

Tar-zxvfhadoop-2.6.5.tar.gz-C/bigdata/

配置Hadoop，修改其中5的配置文件

进入到/bigdata/hadoop-2.6.5/etc/hadoop

1、Vihadoop-env.sh

更改后配置Java环境变量，环境变量路径为jdk安装路径

2、在这当中插入文档

Vicore-site.xml

中间插入：

fs.defaultFS

hdfs:

//lihongwei:

9000

hadoop.tmp.dir

/bigdata/tmp

3、修改第三个配置文件

Vihdfs-site.xml

中间插入:

dfs.replication

1

：

4、修改第四个配置文件

复制一份模板mapred-site.xml.template（模板文件）

Cp-amapred-site.xml.template./mapred-site.xml

Vimapred-site.xml

mapreduce.framwork.name

yarn

5、修改第五个配置文件

Viyarn-site.xml

yarn.resourcemanager.hostname

lihongwei

yarn.nodemanager.aux-services

mapreduce_shuffle

对HDFS进行初始化（格式化HDFS）

Cd/bigdata/hadoop-2.6.5/bin/

/hdfsnamenode-format

安装出现下面提示则安装成功

20/02/0301:

30:

34INFOcommon.Storage:

Storagedirectory/bigdata/tmp/dfs/namehasbeensuccessfullyformatted.

使用命令验证是否安装成功

运行jps命令，显示进程号

安装GCC

Yuminstallgcc*-y

yuminstallopenssh-clients

上传安装包

解压到当前root目录

tar-zxvfglibc-2.17.tar.gz

cdglibc-2.17

新建文件夹并进入文件夹

mkdirbuild;cdbuild

进行编译

../configure--prefix=/usr--disable-profile--enable-add-ons--with-headers=/usr/include--with-binutils=/usr/bin

make-j8

makeinstall

验证：

strings/lib64/libc.so.6|grepGLIBC

出现下图表示成功

启动hadoop相关服务

cd/bigdata/hadoop-2.6.5/sbin

./start-all.sh

./start-dfs.sh

通过管理网面确认服务hdfs服务启动是否成功：

http:

//172.16.101.94:

50070/

注：

IP地址为虚拟机地址，服务端口号为：

50070

启动yarn服务：

./start-yarn.sh

验证：

jps

通过管理网面确认服务yarn服务启动是否成功：

http:

//172.16.101.94:

8088/

注：

IP地址为虚拟机地址，服务端口号为：

8088

四．实训中的现象及结果分析（理论的应用、方法的选择及发生的问题）

使用jps命令但有些进程不存在

解决方案引用

yuminstallopenssh-clients

五．实训总结（实训认识、技能掌握情况及对实训方法的建议）

通过本次实训，进一步的深刻理解Liunx的操作基础以及Hadoop的分布式环境搭建，对Hadoop的认识更加的深刻理解。

对Liunx的网络配置以及整个集群的静态IP设置和网关设置、防火墙的状态查看以及关闭，以及主机名设置有了很好的掌握。

配置Hadoop的核心组，

hadoop-env.sh用于配置HDFS的Java环境，

核心配置文件core-site.xml，配置HDFS的NameNode地址以及运行时储存目录；

HDFS配置文件hdfs-site.xml指定副本数以及辅助名称节点的主机配置；

MapReduce配置文件mapred-env.sh用于配置MapReduce的Java环境，mapred-site.xml配置MapReduce运行在YARN上。

YARN配置文件yarn-env.sh用于配置YARN的Java环境，yarn-site.xml配置YARN的NodeManger和ResourceManger；