hadoop单机环境运行wordcount实例.docx
《hadoop单机环境运行wordcount实例.docx》由会员分享,可在线阅读,更多相关《hadoop单机环境运行wordcount实例.docx(5页珍藏版)》请在冰豆网上搜索。
hadoop单机环境运行wordcount实例
hadoop单机运行实例
2017年3月22日
11:
09
4.26日
0.添加环境变量。
1.创建输入文件夹。
2.创建数据文件。
3.运行实例。
4.查看实例运行结果。
5.完成实验文档的编写。
0.添加环境变量
vi/etc/profile添加如下内容:
保存退出。
运行source/etc/profile使修改生效
1.创建输入文件夹。
1.1进入hadoop-2.2.0/sbin目录。
查看hadoop命令
在sbin目录下运行hdfsdfs-mkdir/input。
2.创建wordcount实例目录和数据文件。
2.1我们需要找到wordcount实例的位置,首先需要找到hadoop-2.2.0文件夹,然后依照下面路径:
/tmp/hadoop-2.2.0/share/hadoop/mapreduce会看到如下图:
2.2创建文件worcount并输入内容。
vi/usr/wordcount
输入以下内容
hellohadoop
hellomaster
helloslave
helloyarn
whatisyarn
2.3将本地文件上传到HDFS中
查看上传后的文件情况,执行如下命令
hdfsdfs-ls/input
查看上传文件的内容:
3.运行实例。
hadoopjar/tmp/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount/input/wordcount/output
output是结果输出目录。
运行过程如下:
4.查看运行结果。
4.1在运行的过程中会自动创建output输出目录,为了存放运行输出结果文件。
使用hdfsdfs-ls/output查看输出目录
4.2使用hdfsdfs-catpart-r-00000查看输出文件
4.3可以利用web界面监控和获取yarn的作业信息
http:
//syn:
8088
5.完成实验文档的编写。