windows下搭建hadoop平台.docx

1、windows下搭建hadoop平台Windows上搭建Hadoop平台材料要求：JDK 、Cygwin、Hadoop版本 hadoop-0.20.2 、windows 7过程：安装JDK 安装cygwin 配置环境变量、安装sshd服务、启动sshd服务、配置ssh登录 安装hadoop具体步骤：1. JDK的安装 下载jdk-7u45-windows-i586.exe 版本：jdk1.7.0_45，安装好之后可以通过java version命令查看 详细步骤略注意：安装过程中不要将jdk和java安装目录设置为同一目录，因为jdk和java目录下都有bin和lib文件，若设置为同一目录，相

2、关文件将会被覆盖，在后面设置环境变量时将会出现问题。 2. Cygwin在线安装 下载 Cygwin 安装程序 setup.exe 安装进入“Select Packages”对话框后，必须保证 “Net Category”下的“OpenSSL”被安装 ，如下图所示：如果还打算在 eclipse 上编译 Hadoop，则还必须安装“Base Category”下的“sed”，如下图所示：另外，还建议将“Editors Category”下的 vim 安装，以方便在 Cygwin 上直接修改配置文件；“Devel Category”下的 subversion 建议安装，如下图所示：当完成上述操作后

3、，点击“Select Packages”对话框中“下一步”，进入 Cygwin 安装包下载过程，如下图所示： 设置环境变量需要配置的环境变量包括 PATH 和 JAVA_HOME： JAVA_HOME 指向 JRE 安装目录； PATH 指向JDK的bin目录，Cygwin的bin目录，以及 Cygwin 的 usrbin 目录如下图所示： 安装 sshd 服务 启动 Cygwin，执行 ssh-host-config 命令，如下图所示： 启动sshd 服务 配置 ssh 登录执行 ssh-keygen 命令生成密钥文件，如下图所示：接下来生成 authorized_keys 文件，按下图所示

4、操作即可：接下来，重新运行 Cygwin，执行 ssh localhost 命令，在第一次执行 ssh hcalhost 时，会有如下图所示的提示，输入 yes，然后回车即可：至此，配置 ssh 登录成功注意：cygwin版本问题3. 安装hadoop hadoop 安装包下载版本：hadoop-0.20.1 将 hadoop 安装包 hadoop-0.20.1.tar.gz 解压到 D:hadooprun 目 录（ 可以修改成其它目录）下，如下图所示： 接下来，需要修改 hadoop 的配置文件，它们位于 conf 子目录下，分别是hadoop-env.sh、core-site.xml、hd

5、fs-site.xml 和 mapred-site.xml 共四个文件。 修改 hadoop-env.sh 只需要将 JAVA_HOME 修改成 JDK 的安装目录即可，请注意 JDK 必须是 1.6 或以上版本。 修改 core-site.xml 为简化 core-site.xml 配置，将 D:hadooprunsrccore 目录下的 core-default.xml 文件复制到 D:hadooprunconf 目录下 ,并将 core-default.xml文件名改成 core-site.xml。修改fs.default.name 的值，如下所示上图中的端口号 8888，可以改成其它未

6、被占用的端口。 修改 mapred-site.xml 为简化 mapred-site.xml配置，将 D:hadooprunsrcmapred 目录下的 mapred-default.xml文件复制到 D:hadooprunconf 目录下，并将 mapred-default.xml 文件名改成 mapred-site.xml。并修改mapred.job.tracker的值，如下图所示：上图中的端口号 9999，可以改成其它未被占用的端口。到这里， hadoop 宣告安装完毕，可以开始体验 hadoop 了！ 启动 hadoop在 Cygwin中，进入hadoop 的bin目录，运行./start-all.sh 启动 hadoop，如下图所示： 如果运行简单的 mapreduce程序注意：格式化namenode