Hadoop云计算综合实训报告Word文档格式.docx
《Hadoop云计算综合实训报告Word文档格式.docx》由会员分享,可在线阅读,更多相关《Hadoop云计算综合实训报告Word文档格式.docx(11页珍藏版)》请在冰豆网上搜索。
XXX
时间:
XXXX年X月X日
一.实训目的
实现Hadoop的安装和配置
二.实训中所用设备及材料
PC机
Vmware15虚拟机
Centos6.8镜像
jdk-8u111-linux-x64.tar
hadoop-2.6.5.tar
glibc-2.17.tar
三.实训内容(操作方案、实施方法)
1、修改主机名
Vi/etc/sysconfig/network
2、修改ip地址
Vi/etc/sysconfig/network-scripts/ifcfg-eth0
Servicenetworkrestart
3、关闭防火墙
serviceiptablesstop
chkconfigiptablesoff
4、添加主机记录
Vi/etc/hosts
172.16.101.85Lhw
5、关闭selinux
Vi/etc/selinux/config
6、上传jdk文件
7、解压jdk文件
8、查看
9、修改环境变量
Vi/etc/profile
10、重新加载
验证jdk
11、上传hadoop安装包
新建文件夹
Mkdir/bigdata
解压Hadoop安装包
Tar-zxvfhadoop-2.6.5.tar.gz-C/bigdata/
配置Hadoop,修改其中5的配置文件
进入到/bigdata/hadoop-2.6.5/etc/hadoop
1、Vihadoop-env.sh
更改后配置Java环境变量,环境变量路径为jdk安装路径
2、在这当中插入文档
Vicore-site.xml
中间插入:
<
configuration>
property>
name>
fs.defaultFS<
/name>
value>
hdfs:
//lihongwei:
9000<
/value>
/property>
hadoop.tmp.dir<
/bigdata/tmp<
/configuration>
3、修改第三个配置文件
Vihdfs-site.xml
中间插入:
dfs.replication<
1<
:
4、修改第四个配置文件
复制一份模板mapred-site.xml.template(模板文件)
Cp-amapred-site.xml.template./mapred-site.xml
Vimapred-site.xml
mapreduce.framwork.name<
yarn<
5、修改第五个配置文件
Viyarn-site.xml
yarn.resourcemanager.hostname<
lihongwei<
yarn.nodemanager.aux-services<
mapreduce_shuffle<
对HDFS进行初始化(格式化HDFS)
Cd/bigdata/hadoop-2.6.5/bin/
/hdfsnamenode-format
安装出现下面提示则安装成功
20/02/0301:
30:
34INFOcommon.Storage:
Storagedirectory/bigdata/tmp/dfs/namehasbeensuccessfullyformatted.
使用命令验证是否安装成功
运行jps命令,显示进程号
安装GCC
Yuminstallgcc*-y
yuminstallopenssh-clients
上传安装包
解压到当前root目录
tar-zxvfglibc-2.17.tar.gz
cdglibc-2.17
新建文件夹并进入文件夹
mkdirbuild;
cdbuild
进行编译
../configure--prefix=/usr--disable-profile--enable-add-ons--with-headers=/usr/include--with-binutils=/usr/bin
make-j8
makeinstall
验证:
strings/lib64/libc.so.6|grepGLIBC
出现下图表示成功
启动hadoop相关服务
cd/bigdata/hadoop-2.6.5/sbin
./start-all.sh
./start-dfs.sh
通过管理网面确认服务hdfs服务启动是否成功:
http:
//172.16.101.94:
50070/
注:
IP地址为虚拟机地址,服务端口号为:
50070
启动yarn服务:
./start-yarn.sh
jps
通过管理网面确认服务yarn服务启动是否成功:
8088/
8088
四.实训中的现象及结果分析(理论的应用、方法的选择及发生的问题)
使用jps命令但有些进程不存在
解决方案引用
五.实训总结(实训认识、技能掌握情况及对实训方法的建议)
通过本次实训,进一步的深刻理解Liunx的操作基础以及Hadoop的分布式环境搭建,对Hadoop的认识更加的深刻理解。
对Liunx的网络配置以及整个集群的静态IP设置和网关设置、防火墙的状态查看以及关闭,以及主机名设置有了很好的掌握。
配置Hadoop的核心组,
hadoop-env.sh用于配置HDFS的Java环境,
核心配置文件core-site.xml,配置HDFS的NameNode地址以及运行时储存目录;
HDFS配置文件hdfs-site.xml指定副本数以及辅助名称节点的主机配置;
MapReduce配置文件mapred-env.sh用于配置MapReduce的Java环境,mapred-site.xml配置MapReduce运行在YARN上。
YARN配置文件yarn-env.sh用于配置YARN的Java环境,yarn-site.xml配置YARN的NodeManger和ResourceManger;