在Windows上安装Hadoop.docx

在Windows上安装Hadoop.docx

《在Windows上安装Hadoop.docx》由会员分享，可在线阅读，更多相关《在Windows上安装Hadoop.docx（19页珍藏版）》请在冰豆网上搜索。

在Windows上安装Hadoop

在Windows上安装Hadoop教程

一见2010.1.6

1.安装JDK

不建议只安装JRE，而是建议直接安装JDK，因为安装JDK时，可以同时安装JRE。

MapReduce程序的编写和Hadoop的编译都依赖于JDK，光JRE是不够的。

JRE下载地址：

JDK下载地址：

JavaSE即可。

2.安装Cygwin

在安装Cygwin之前，得先下载Cygwin安装程序setup.exe。

Cygwin安装程序下载地址：

，当然也可以从下载Cygwin安装程序，不过如果在安装过程中，遇到如下图所示的错误，则只能从下载，本教程下载的是Cygwin1.7.1版本。

Cygwin安装程序setup.exe的存放目录可随意无要求。

当setup.exe下载成功后，运行

setup.exe，弹出如下图所示的对话框：

在上图所示的对话框中，直接点击“下一步”，进入如下图所示的对话框：

在上图所示的对话框中，选择“InstallfromInternet”，然后点击“下一步”，进入如下图所示对话框：

在上图所示的对话框中，设置Cygwin的安装目录，InstallFor选择“AllUsers”，Default

TextFileType选择“Unix/binary”，然后点击“下一步”，进入如下图所示对话框：

在上图所示的对话框中，设置Cygwin安装包存放目录，然后点击“下一步”，进入如下图所示对话框：

在上图所示的对话框中，选择“DirectConnection”，然后点击“下一步”，进入如下图

所示对话框：

在上图所示的对话框中，点击“下一步”，将进入如下图所示的对话框：

在上图所示的对话框过程中，可能会弹出如下图所示的“SetupAlert”对话框，直接点

击“确定”即可。

进入“SelectPackages”对话框后，必须保证“NetCategory”下的“OpenSSL”被安装，如下图所示：

如果还打算在eclipse上编译Hadoop，则还必须安装“BaseCategory”下的“sed”，如

下图所示：

另外，还建议将“EditorsCategory”下的vim安装，以方便在Cygwin上直接修改配置文件；“DevelCategory”下的subversion建议安装，如下图所示：

当完成上述操作后，点击“SelectPackages”对话框中“下一步”，进入Cygwin安装包

下载过程，如下图所示：

等待安装包下载完毕，当下载完后，会自动进入到如下图所示的对话框：

在上图所示的对话框中，选中“CreateicononDesktop”，以方便直接从桌面上启动

Cygwin，然后点击“完成”按钮。

至此，Cgywin已经安装完，安装目录下的内容如下图所示：

3.配置环境变量

需要配置的环境变量包括PATH和JAVA_HOME：

JAVA_HOME指向JRE安装目录；JDK的bin目录，Cygwin的bin目录，以及Cygwin的usr\bin目录都必须添加到PATH环境变量中，如下图所示：

4.安装sshd服务

点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令，如下图所示：

在执行ssh-host-config时，当要求输入yes/no时，选择输入no，如下图所示：

如果是Cygwin1.7之前的版本，则ssh-host-config显示界面如下图所示：

当看到“Havefun”时，一般表示sshd服务安装成功了，如上图所示。

接下来，需要启

动sshd服务。

5.启动sshd服务

在桌面上的“我的电脑”图标上单击右键，点击“管理”菜单，进入Windows计算机管理，如下图所示：

在上图所示的对话框中，选中“CYGWINsshd”，弹出右键，并启动CYGWINsshd服

务，成功后，如下图所示：

当CYGWINsshd的状态为“已启动”后，接下来就是配置ssh登录。

6.配置ssh登录

执行ssh-keygen命令生成密钥文件，如下图所示：

在上图所示对话框中，需要输入时，直接按回车键即可，如果不出错，应当是需要三次

按回车键。

接下来生成authorized_keys文件，按下图所示操作即可：

正如上图所示，只需要两步操作，即可生成authorized_keys文件：

cd~/..ssh/

cpid_rsa.pubauthorized_keys

完成上述操作后，执行exit命令先退出Cygwin窗口，如果不执行这一步操作，下面的操作可能会遇到错误。

接下来，重新运行Cygwin，执行sshlocalhost命令，在第一次执行sshlocalhost时，会有如下图所示的提示，输入yes，然后回车即可：

如果是Windows域用户，这步操作可能会遇到问题，错误信息如下：

。

这个错误暂无解决办法，问题的解决情况，可关注Hadoop技术论坛中的贴：

1.7.1版本ssh问题）。

否则，如果成功，执行who命令时，可以看到如下图所示的信息：

至此，配置ssh登录成功，下面就可以开始安装hadoop了。

7.下载hadoop安装包

hadoop安装包下载地址：

8.安装hadoop

将hadoop安装包hadoop-0.20.1.tar.gz解压到D:

\hadoop\run目录（可以修改成其它目录）下，如下图所示：

接下来，需要修改hadoop的配置文件，它们位于conf子目录下，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml和mapred-site.xml共四个文件。

在Cygwin环境，masters和slaves两个文件不需要修改。

�修改hadoop-env.sh

只需要将JAVA_HOME修改成JDK的安装目录即可，请注意JDK必须是1.6或以上版本。

�修改core-site.xml

为简化core-site.xml配置，将D:

\hadoop\run\src\core目录下的core-default.xml文件复制到D:

\hadoop\run\conf目录下，并将core-default.xml文件名改成core-site.xml。

修改fs.default.name的值，如下所示：

上图中的端口号8888，可以改成其它未被占用的端口。

�修改hdfs-site.xml

为简化hdfs-site.xml配置，将D:

\hadoop\run\src\hdfs目录下的hdfs-default.xml文件复制到D:

\hadoop\run\conf目录下，并将hdfs-default.xml文件名改成hdfs-site.xml。

不需要再做其它修改。

�修改mapred-site.xml

为简化mapred-site.xml配置，将D:

\hadoop\run\src\mapred目录下的mapred-default.xml

文件复制到D:

\hadoop\run\conf目录下，并将mapred-default.xml文件名改成mapred-site.xml。

上图中的端口号9999，可以改成其它未被占用的端口。

到这里，hadoop宣告安装完毕，可以开始体验hadoop了！

9.启动hadoop

在Cygwin中，进入hadoop的bin目录，运行./start-all.sh启动hadoop，在启动成功之后，可以执行./hadoopfs-ls/命令，查看hadoop的根目录，如下图所示：

如果运行mapreduce，请参考其它文档，本教程的内容到此结束。