windows下搭建hadoop平台.docx

windows下搭建hadoop平台.docx

《windows下搭建hadoop平台.docx》由会员分享，可在线阅读，更多相关《windows下搭建hadoop平台.docx（14页珍藏版）》请在冰豆网上搜索。

windows下搭建hadoop平台

Windows上搭建Hadoop平台

材料要求：

JDK、Cygwin、Hadoop版本hadoop-0.20.2、windows7

过程：

安装JDK

安装cygwin

配置环境变量、安装sshd服务、启动sshd服务、配置ssh登录

安装hadoop

具体步骤：

1.JDK的安装

●下载jdk-7u45-windows-i586.exe

●版本：

jdk1.7.0_45，安装好之后可以通过java–version命令查看

●详细步骤略……

注意：

安装过程中不要将jdk和java安装目录设置为同一目录，因为jdk和java目录下都有bin和lib文件，若设置为同一目录，相关文件将会被覆盖，在后面设置环境变量时将会出现问题。

2.Cygwin——在线安装

●下载Cygwin安装程序setup.exe

●安装

进入“SelectPackages”对话框后，必须保证“NetCategory”下的“OpenSSL”被安装，如下图所示：

如果还打算在eclipse上编译Hadoop，则还必须安装“BaseCategory”下的“sed”，如下图所示：

另外，还建议将“EditorsCategory”下的vim安装，以方便在Cygwin上直接修改配置文件；“DevelCategory”下的subversion建议安装，如下图所示：

当完成上述操作后，点击“SelectPackages”对话框中“下一步”，进入Cygwin安装包下载过程，如下图所示：

●设置环境变量

需要配置的环境变量包括PATH和JAVA_HOME：

✧JAVA_HOME指向JRE安装目录；

✧PATH指向JDK的bin目录，Cygwin的bin目录，以及Cygwin的usr\bin目录

如下图所示：

●安装sshd服务

启动Cygwin，执行ssh-host-config命令，如下图所示：

●启动sshd服务

●配置ssh登录

执行ssh-keygen命令生成密钥文件，如下图所示：

接下来生成authorized_keys文件，按下图所示操作即可：

接下来，重新运行Cygwin，执行sshlocalhost命令，在第一次执行sshhcalhost时，会有如下图所示的提示，输入yes，然后回车即可：

至此，配置ssh登录成功

注意：

cygwin版本问题

3.安装hadoop

●hadoop安装包下载

版本：

hadoop-0.20.1

●将hadoop安装包hadoop-0.20.1.tar.gz解压到D:

\hadoop\run目录（可以修改成其它目录）下，如下图所示：

●接下来，需要修改hadoop的配置文件，它们位于conf子目录下，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml和mapred-site.xml共四个文件。

✧修改hadoop-env.sh

只需要将JAVA_HOME修改成JDK的安装目录即可，请注意JDK必须是1.6或以上版本。

✧修改core-site.xml

为简化core-site.xml配置，将D:

\hadoop\run\src\core目录下的core-default.xml文件复制到D:

\hadoop\run\conf目录下,并将core-default.xml文件名改成core-site.xml。

修改fs.default.name的值，如下所示

上图中的端口号8888，可以改成其它未被占用的端口。

✧修改mapred-site.xml

为简化mapred-site.xml配置，将D:

\hadoop\run\src\mapred目录下的mapred-default.xml文件复制到D:

\hadoop\run\conf目录下，并将mapred-default.xml文件名改成mapred-site.xml。

并修改mapred.job.tracker的值，如下图所示：

上图中的端口号9999，可以改成其它未被占用的端口。

到这里，hadoop宣告安装完毕，可以开始体验hadoop了！

●启动hadoop

在Cygwin中，进入hadoop的bin目录，运行./start-all.sh启动hadoop，如下图所示：

●如果运行简单的mapreduce程序

注意：

格式化namenode