windows下搭建hadoop平台.docx
《windows下搭建hadoop平台.docx》由会员分享,可在线阅读,更多相关《windows下搭建hadoop平台.docx(14页珍藏版)》请在冰豆网上搜索。
windows下搭建hadoop平台
Windows上搭建Hadoop平台
材料要求:
JDK、Cygwin、Hadoop版本hadoop-0.20.2、windows7
过程:
安装JDK
安装cygwin
配置环境变量、安装sshd服务、启动sshd服务、配置ssh登录
安装hadoop
具体步骤:
1.JDK的安装
●下载jdk-7u45-windows-i586.exe
●版本:
jdk1.7.0_45,安装好之后可以通过java–version命令查看
●详细步骤略……
注意:
安装过程中不要将jdk和java安装目录设置为同一目录,因为jdk和java目录下都有bin和lib文件,若设置为同一目录,相关文件将会被覆盖,在后面设置环境变量时将会出现问题。
2.Cygwin——在线安装
●下载Cygwin安装程序setup.exe
●安装
进入“SelectPackages”对话框后,必须保证“NetCategory”下的“OpenSSL”被安装,如下图所示:
如果还打算在eclipse上编译Hadoop,则还必须安装“BaseCategory”下的“sed”,如下图所示:
另外,还建议将“EditorsCategory”下的vim安装,以方便在Cygwin上直接修改配置文件;“DevelCategory”下的subversion建议安装,如下图所示:
当完成上述操作后,点击“SelectPackages”对话框中“下一步”,进入Cygwin安装包下载过程,如下图所示:
●设置环境变量
需要配置的环境变量包括PATH和JAVA_HOME:
✧JAVA_HOME指向JRE安装目录;
✧PATH指向JDK的bin目录,Cygwin的bin目录,以及Cygwin的usr\bin目录
如下图所示:
●安装sshd服务
启动Cygwin,执行ssh-host-config命令,如下图所示:
●启动sshd服务
●配置ssh登录
执行ssh-keygen命令生成密钥文件,如下图所示:
接下来生成authorized_keys文件,按下图所示操作即可:
接下来,重新运行Cygwin,执行sshlocalhost命令,在第一次执行sshhcalhost时,会有如下图所示的提示,输入yes,然后回车即可:
至此,配置ssh登录成功
注意:
cygwin版本问题
3.安装hadoop
●hadoop安装包下载
版本:
hadoop-0.20.1
●将hadoop安装包hadoop-0.20.1.tar.gz解压到D:
\hadoop\run目录(可以修改成其它目录)下,如下图所示:
●接下来,需要修改hadoop的配置文件,它们位于conf子目录下,分别是hadoop-env.sh、core-site.xml、hdfs-site.xml和mapred-site.xml共四个文件。
✧修改hadoop-env.sh
只需要将JAVA_HOME修改成JDK的安装目录即可,请注意JDK必须是1.6或以上版本。
✧修改core-site.xml
为简化core-site.xml配置,将D:
\hadoop\run\src\core目录下的core-default.xml文件复制到D:
\hadoop\run\conf目录下,并将core-default.xml文件名改成core-site.xml。
修改fs.default.name的值,如下所示
上图中的端口号8888,可以改成其它未被占用的端口。
✧修改mapred-site.xml
为简化mapred-site.xml配置,将D:
\hadoop\run\src\mapred目录下的mapred-default.xml文件复制到D:
\hadoop\run\conf目录下,并将mapred-default.xml文件名改成mapred-site.xml。
并修改mapred.job.tracker的值,如下图所示:
上图中的端口号9999,可以改成其它未被占用的端口。
到这里,hadoop宣告安装完毕,可以开始体验hadoop了!
●启动hadoop
在Cygwin中,进入hadoop的bin目录,运行./start-all.sh启动hadoop,如下图所示:
●如果运行简单的mapreduce程序
注意:
格式化namenode