Windows环境搭建Haddop281.docx

1、Windows环境搭建Haddop281Windows环境搭建Hadoop2.8.1自动化部CIM尹小义2017-09-29一、 安装准备1. Hadoop软件下载Hadoop相关版本下载地址：http:/hadoop.apache.org/releases.html Hadoop2.8.1下载地址：http:/www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz如下图：点击任何一个链接下载即可。2. JDK下载jdk-8u121-windows-x64，暂时不提供，网上自己搜索3. HADOO

2、P在Windows上运行的包二、 环境配置1. Hadoop2.8.1下载解压到本地，改名为HADOOP，解压后的机构如下图2. 环境变量配置HADOOP_HOME=D:hadoop；3. 修改PATH，增加HADOOP的Bin,为窗口执行命令4. 安装jdk-8u121-windows-x64，安装位置不要选择默认C:Program FilesJava，因为路径之间有空格，hadoop启动的时候会报错，我安装在了D:appJAVA，配置JAVA_HOME.5. 也可以修改：D:hadoopetchadoop目录下的haoop-env.cmd6. 将下载的压缩包hadoop-utils解压，拷

3、贝hadoop.dll，winutils到D:hadoopbin，hadoop.dll等文件不要与hadoop冲突。为了不出现依赖性错误可以将hadoop.dll放到c:/windows/System32下一份。7. hadoop环境测试，起一个cmd窗口，输入java version，hadoop version，显示如下：8. Hadoop配置文件修改，打开hadoop/etc/hadoop下文件core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml，修改Core-site.xmlfs.defaultFShdfs:/l

4、ocalhost:9000hdfs-site.xml:dfs.replication1dfs.namenode.name.dirfile:/hadoop/hadoop2017/data/dfs/namenodedfs.datanode.data.dirfile:/hadoop/hadoop2017/data/dfs/datanodemapred-site.xml:没有，可以把mapred-site.xml.template重命名为mapred-site.xmlmapreduce.framework.nameyarnyarn-site.xml:yarn.nodemanager.aux-servi

5、cesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler9. 格式化系统文件hadoop/bin下执行三、 启动1. 切换路径的hadoop/sbin下执行 start-dfs启动hadoop2. 启动后会弹出hadoopnamenode和hadoopdatenode3. IE访问：http:/localhost:500704. 也可以在启动start-all命令5. 除了启动了dfs也启动了yarn窗口，访问http:/localhost:8088可查看资源、节点管理四、 HDFS命令操作操作1、创建目录：用于输入和输出，linux上是/user/用户名/xx windows上可能没具体要求，我创建也是按照liunx目录方式的2、hadoop执行Mapreduce例子D:hadoopbinhadoop jar D:hadoopsharehadoopmapreducehadoop-mapreduce-examples-2.8.1.jar grep /user/yinxy/input /user/yinxy/output dfsa-z.+