1、windows下搭建hadoop平台Windows上搭建Hadoop平台材料要求:JDK 、Cygwin、Hadoop版本 hadoop-0.20.2 、windows 7过程:安装JDK 安装cygwin 配置环境变量、安装sshd服务、启动sshd服务、配置ssh登录 安装hadoop具体步骤:1. JDK的安装 下载jdk-7u45-windows-i586.exe 版本:jdk1.7.0_45,安装好之后可以通过java version命令查看 详细步骤略注意:安装过程中不要将jdk和java安装目录设置为同一目录,因为jdk和java目录下都有bin和lib文件,若设置为同一目录,相
2、关文件将会被覆盖,在后面设置环境变量时将会出现问题。 2. Cygwin在线安装 下载 Cygwin 安装程序 setup.exe 安装进入“Select Packages”对话框后,必须保证 “Net Category”下的“OpenSSL”被安装 ,如下图所示:如果还打算在 eclipse 上编译 Hadoop,则还必须安装“Base Category”下的“sed”,如下图所示:另外,还建议将“Editors Category”下的 vim 安装,以方便在 Cygwin 上直接修改配置文件;“Devel Category”下的 subversion 建议安装,如下图所示:当完成上述操作后
3、,点击“Select Packages”对话框中“下一步”,进入 Cygwin 安装包下载过程,如下图所示: 设置环境变量需要配置的环境变量包括 PATH 和 JAVA_HOME: JAVA_HOME 指向 JRE 安装目录; PATH 指向JDK的bin目录,Cygwin的bin目录,以及 Cygwin 的 usrbin 目录如下图所示: 安装 sshd 服务 启动 Cygwin,执行 ssh-host-config 命令,如下图所示: 启动sshd 服务 配置 ssh 登录执行 ssh-keygen 命令生成密钥文件,如下图所示:接下来生成 authorized_keys 文件,按下图所示
4、操作即可:接下来,重新运行 Cygwin,执行 ssh localhost 命令,在第一次执行 ssh hcalhost 时,会有如下图所示的提示,输入 yes,然后回车即可:至此,配置 ssh 登录成功注意:cygwin版本问题3. 安装hadoop hadoop 安装包下载版本:hadoop-0.20.1 将 hadoop 安装包 hadoop-0.20.1.tar.gz 解压到 D:hadooprun 目 录( 可以修改成其它目录)下,如下图所示: 接下来,需要修改 hadoop 的配置文件,它们位于 conf 子目录下,分别是hadoop-env.sh、core-site.xml、hd
5、fs-site.xml 和 mapred-site.xml 共四个文件。 修改 hadoop-env.sh 只需要将 JAVA_HOME 修改成 JDK 的安装目录即可,请注意 JDK 必须是 1.6 或以上版本。 修改 core-site.xml 为简化 core-site.xml 配置,将 D:hadooprunsrccore 目录下的 core-default.xml 文件复制到 D:hadooprunconf 目录下 ,并将 core-default.xml文件名改成 core-site.xml。修改fs.default.name 的值,如下所示上图中的端口号 8888,可以改成其它未
6、被占用的端口。 修改 mapred-site.xml 为简化 mapred-site.xml配置,将 D:hadooprunsrcmapred 目录下的 mapred-default.xml文件复制到 D:hadooprunconf 目录下,并将 mapred-default.xml 文件名改成 mapred-site.xml。并修改mapred.job.tracker的值,如下图所示:上图中的端口号 9999,可以改成其它未被占用的端口。到这里, hadoop 宣告安装完毕,可以开始体验 hadoop 了! 启动 hadoop在 Cygwin中,进入hadoop 的bin目录,运行./start-all.sh 启动 hadoop,如下图所示: 如果运行简单的 mapreduce程序注意:格式化namenode
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1