Eclipse33 windows7连接远程hadoopRedHatEnterpriseLinux5并测试程序Word格式文档下载.docx

1、在/etc/hosts 中添加机器名和相应的IP：127.0.0.1 localhost192.168.1.1 NameNode192.168.1.2 DataNode1192.168.1.3 DataNode2修改/etc/inittab文件：id:5:initdefault: 改为id:3:重新启动OS就不会进入图形界面了2、开启ssh 服务#service sshd start可以在windows 下用SSH Secure Shell Client来测试一下。3、关闭防火墙（所有机器）# chkconfig -levels 2345 iptables off注意：这步非常重要。如果不关闭

2、，会出现找不到datanode 问题。4、建立ssh 无密码登录（1）在NameNode 上实现无密码登录本机：$ ssh-keygen -t rsa直接回车，完成后会在/.ssh/生成两个文件：id_rsa 和id_rsa.pub。$ ssh-keygen -t dsaid_dsa 和id_dsa.pub。$cat /.ssh/id_rsa.pub /.ssh/authorized_keys 将生成的密钥串在钥匙链上$cat /.ssh/id_dsa.pub $ chmod 600 /.ssh/authorized_keys。（2）实现NameNode 无密码登录其他DataNode：把Na

3、meNode 上的authorized_keys 文件追加到dataNode 的authorized_keys 内（ 以192.168.0.2 节点为例）：a. 拷贝NameNode 的authorized_keys 文件：$ scp authorized_keys mark192.168.0.2:/home/mark/b. 登录192.168.0.2，执行$ cat authorized_keys /.ssh/authorized_keys其他的dataNode 执行同样的操作。如果配置完毕，如果namenode 依然不能访问datanode，可以修改datanode 的authorized

4、_keys的读写权限（很重要！）：5、安装jdk1.6下载地址：安装后，添加如下语句到/etc/profile 中：export JAVA_HOME=/usr/java/jdk1.6.0_31export JRE_HOME=/usr/java/jdk1.6.0_31 /jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH每台机器的java 环境最好一致。安装过程中如有中断，切换为root 权限来安装。6、安装hadoop下载hadoo

5、p-0.20.2.tar.gz解压：$ tar zvxf hadoop-0.20.2.tar.gz把Hadoop 的安装路径添加到环/etc/profile 中:export HADOOP_HOME=/home/mark/hadoop-0.20.2export PATH=$HADOOP_HOME/bin:7、配置hadoophadoop 的主要配置都在hadoop-0.20.2/conf 下。（1）在conf/hadoop-env.sh 中配置Java 环境（namenode 与datanode 的配置相同）：$ gedit hadoop-env.sh$ export JAVA_HOME=/u

6、sr/java/jdk1.6.0_31（2）配置conf/masters 和conf/slaves 文件:（只在namenode 上配置）masters: 192.168.1.1slaves:（3）配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml（简单配置，datanode 的配置相同）core-site.xml:!- global properties -propertynamehadoop.tmp.dirvalue/home/mark/tmpdescriptionA base for other temporary

7、 directories./property- file system properties -fs.default.namehdfs:/192.168.1.1:9000hdfs-site.xml:（ replication 默认为3，如果不修改，datanode 少于三台就会报错）dfs.replication1mapred-site.xml:mapred.job.tracker192.168.1.1:9001 file01$ echo “Hello Hadoop Goodbye Hadoop” file02（2）在hdfs 中建立一个input 目录：$ hadoop fs mkdir input（3）将file01 和file02 拷贝到hdfs 中：$ hadoop fs copyFromLocal /home/mark/file0* input（4）执行wordcount：$ hadoop jar hadoop-0.20.2-examples.jar wordcount input output（5）完成之后，查看结果：$ hadoop fs -cat output/part-r-00000Bye 1Goodbye 1Hadoop 2Hello 2World 2二、windows开发机器