Windows环境搭建Haddop281.docx

Windows环境搭建Haddop281.docx

《Windows环境搭建Haddop281.docx》由会员分享，可在线阅读，更多相关《Windows环境搭建Haddop281.docx（10页珍藏版）》请在冰豆网上搜索。

Windows环境搭建Haddop281

Windows环境搭建Hadoop2.8.1

自动化部CIM

尹小义

2017-09-29

一、安装准备

1.Hadoop软件下载

Hadoop相关版本下载地址：

http:

//hadoop.apache.org/releases.html

Hadoop2.8.1下载地址：

http:

//www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz

如下图：

点击任何一个链接下载即可。

2.JDK下载jdk-8u121-windows-x64，暂时不提供，网上自己搜索

3.HADOOP在Windows上运行的包

二、环境配置

1.Hadoop2.8.1下载解压到本地，改名为HADOOP，解压后的机构如下图

2.环境变量配置HADOOP_HOME=D:

\hadoop；

3.修改PATH，增加HADOOP的Bin,为ＤＯＳ窗口执行命令

4.安装jdk-8u121-windows-x64，安装位置不要选择默认C:

\ProgramFiles\Java，因为路径之间有空格，hadoop启动的时候会报错，我安装在了D:

\app\JAVA，配置JAVA_HOME.

5.也可以修改：

D:

\hadoop\etc\hadoop目录下的haoop-env.cmd

6.将下载的压缩包hadoop-utils解压，拷贝hadoop.dll，winutils到D:

\hadoop\bin，hadoop.dll等文件不要与hadoop冲突。

为了不出现依赖性错误可以将hadoop.dll放到c:

/windows/System32下一份。

7.hadoop环境测试，起一个cmd窗口，输入java–version，hadoopversion，显示如下：

8.Hadoop配置文件修改，打开hadoop/etc/hadoop下文件core-site.xml/hdfs-site.xml/mapred-site.xml/yarn-site.xml，修改

Core-site.xml

       fs.defaultFS    

       hdfs:

//localhost:

9000    

hdfs-site.xml:

               dfs.replication    

                1    

                dfs.namenode.name.dir    

               file:

/hadoop/hadoop2017/data/dfs/namenode    

               dfs.datanode.data.dir    

               file:

/hadoop/hadoop2017/data/dfs/datanode    

mapred-site.xml:

没有，可以把mapred-site.xml.template重命名为mapred-site.xml

          mapreduce.framework.name    

          yarn    

yarn-site.xml:

          yarn.nodemanager.aux-services    

          mapreduce_shuffle    

          yarn.nodemanager.aux-services.mapreduce.shuffle.class    

          org.apache.hadoop.mapred.ShuffleHandler    

9.格式化系统文件

hadoop/bin下执行

三、启动

1.切换路径的hadoop/sbin下执行start-dfs启动hadoop

2.启动后会弹出hadoopnamenode和hadoopdatenode

3.IE访问：

http:

//localhost:

50070

4.也可以在启动start-all命令

5.除了启动了dfs也启动了yarn窗口，访问http:

//localhost:

8088可查看资源、节点管理

四、HDFS命令操作操作

1、创建目录：

用于输入和输出，linux上是/user/用户名/xxwindows上可能没具体要求，我创建也是按照liunx目录方式的

2、hadoop执行Mapreduce例子

D:

\hadoop\bin>hadoopjarD:

\hadoop\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.8.1.jargrep/user/yinxy/input/user/yinxy/output'dfs[a-z.]+'