hadoop121的详细配置汇总.docx

1、hadoop121的详细配置汇总1 虚拟机的安装（VMware），默认就是了2 vmtools的安装（安装tool后，方便虚拟机中系统与当前系统相互拷贝文件），有的ubuntu系统会自动的安装。安装方法：首先打开自己安装在虚拟机中的ubuntu，然后点击VMware的菜单栏的VM，选择Install VMware Tools遇到问题： the path “” is not a valid path后的解决方法解决方法：2.1 有可能缺失kernel headers，使用sudo apt-get install linux-headers-#(uname -r)2.2出现Enter the pa

2、th to the kernel header files for the 3.5.0-23-generic kernel?时，输入/usr/src/linux-headers-3.5.0-23-generic/include2.3出现would you like to change ityes 选择输入no， 一直enter3 安装完ubuntu，root用户不能使用遇到问题：root密码认证失败解决方法：在终端输入命令 sudo passwd，然后输入当前用户的密码，最后按照提示输入给root输入密码4 ubuntu更新后，用户不能登录遇到问题：fail to load session解决

3、方法：输入sudo update manager c-d系统更新，然后安装其他的桌面sudo apt-get install gnome，然后选用GNOME登录，用户名与密码都是更新前的。5 JDK安装安装方法：5.1 把.tar.gz的JDK文件复制到/usr下面的一个新建的文件中（mkdir /usr/apps）:注意放到VM中的文件的完整性(使用root用户解压文件)5.2使用tar zxvf filename【绝对路径或者相对路径，后者需要在apps目录下操作】解压文件sudo tar zxvf /usr/apps/ jdk-7u45-linux-i586.tar.gz遇到问题：文件解

4、压中途中断解决方法：查看复制到虚拟机中文件的属性，看看是不是与当前系统中的文件大小一样，不一样就反复复制，知道一样大小为止5.3 配置环境变量sudo vi /etc/profile ，然后按i是插入，按Esc+：，再输入wq！是退出并保存；也可以使用sudo gedit /etc/profile，前提是已经安装gedit，如果没有安装就sudo apt-get install gedit配置文件内容：export JAVA_HOME=/usr/apps/jdk1.7.0_45export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOM

5、E/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin:$HOME/bin5.4 同时加入ubuntu的sbin的path，因为有的系统的很多命令在sbin下面，不能直接用，配在path中，就可以不用到目录sbin下执行；export PATH=$PATH:/sbin5.5 使配置文件立即生效，如果重启电脑会自动生效的。输入命令source /etc/profile或者./etc/profile5.6 测试jdk是否正确安装java version，查看是否是自己配置的jdk的版本遇到问题：没有输出版本信息（系统已近安装有，现在有两个了，不能识别）解决方

6、法：输入： update-alternatives -install /usr/bin/java java /usr/apps /jdk1.7.0_45/bin/java 300输入： update-alternatives -install /usr/bin/javac javac /usr/apps /jdk1.7.0_45/bin/javac 3005.7 网络上提供的自动安装方法（不建议，担心找不到安装目录，对后面的配置不利）sudo apt-get install python-software-propertiessudo add-apt-repository ppa:webupd

7、8team/javasudo apt-get updatesudo apt-get install oracle-java6-installer6 ssh的安装直接执行sudo apt-get install openssh-server如果行不通就先升级部分软件sudo apt-get updatesudo apt-get upgradesudo apt-get install openssh-server7创建hadoop用户sudo addgroup hadoopsudo adduser -ingroup hadoop hdusersudo gedit /etc/sudoers编辑文件，

8、在root ALL=(ALL:ALL)ALL行下添加hduser ALL=(ALL:ALL)ALL。如果不添加这行，hduser将不能执行sudo操作。8 clone系统为了不破坏模板，都不在原系统上操作了，后面所有的操作都在clone版上做，计划三台机器，也就是clone三个。clone时需要关闭模版机器（sudo shutdown P now）9 网络配置9.1使用bridge的方式也是可以的。只要虚拟机中所有的linux的ip都设置为静态的，使用与主机同一个网段的地址中没有被用过的就行了。9.2使用nat方式，选用Vnet8对其进行配置，其ip地址可以自定义，同时注意Vnet8的ip地址

9、与其网管不要弄得一样，dns服务器就与本机的设置为一样，备用的设为本机网段的dns地址。在本地连接中的以太网属性的共享中，将Vnet8设置为其共享对象，同时打上勾。禁用再启用Vnet8,网络就可用了。特别注意，要在真实系统的管理中将VMnet的服务打开。方式一（我使用的，配置后可以访问internet）9.2.1 打开，选择配置VMnet8右键选择属性然后选择进行ip配置注意DNS需要与自己主机中ip的DNS一样，我的主机的配置为关键的一步：将本地连接共享给VMnet8选择属性，在网络中选中，这样可以保证即使nat配置不成功，我们也可以选用bridge的方式上网更新系统或者安装文件。再选择共享

10、这样就可以在VMnet8中看到通网了方式二（可以保证nat配通，没有试过是否可以访问internet）9.2.2 在VMware Workstation选择Edit中的Virtual Network Editor现在VMnet8在NAT Settings中配置好网关9.3在VM中选择setting，设置Virtual Machine Settings，选择Network Adapter,设置为nat。三台clone的机器都需要这个操作。接在虚拟机中ubuntu上设置静态ip，计划配置为192.168.1.100 master192.168.1.101 date1192.168.1.102 da

11、te2 sudo gedit /etc/network/interfaces或者sudo vi /etc/network/interfaces下面是master的配置，data1与data2 的配置一样，只是address对应自己的就是在auto loiface lo inet loopback后面加上iface eth0 inet staticaddress 192.168.1.100netmask 255.255.255.0gateway 192.168.1.254dns-nameservers 192.168.1.254auto eth0重启ubuntu的网卡：/etc/init.d/n

12、etworking restart最好是重启电脑，做完主机名的修改再重新起动9.4 配置主机名与网络名修改 sudo gedit /etc/hostname 下的主机名；分别为master、data1、data2修改 sudo gedit /etc/hosts 文件masterdata1data29.5 重启电脑，查看ip地址，输入命令ifconfig，查看三台clone的系统是否可以互访，例如在master中ping c 4 192.168.1.101，如果网络名配置成功，可以直接ping c 4 data110 配置无密码登录（使用前面建立的用户hduser登陆）10.1在/home/hd

13、user下新建文件 mkdir .ssh（shell的工作目录因该是/home/hduser, 如果不是，调整方式cd /home/hduser）10.2 echo .ssh/authorized_keys10.3 ssh-keygen(后面全部enter就是了)10.4 cat .ssh/id_rsa.pub .ssh/authorized_keys10.5 cat /.ssh/id_rsa.pub /.ssh/authorized_keys注意：10.1-10.5需要在每台机器上都执行，下面的步骤只需要在master上执行10.6上面条命令是把其他slave节点的公钥拷贝到master节点

14、中的authorized_keys，有几个data节点就执行几次（本文只有两个data节点）ssh 192.168.1.101 cat /.ssh/id_rsa.pub /.ssh/authorized_keysssh 192.168.1.102 cat /.ssh/id_rsa.pub /.ssh/authorized_keys10.7把authorized_keys文件拷贝回每一个节点，同样，有几个data节点就执行几次scp /.ssh/authorized_keys 192.168.1.101:/.ssh/authorized_keysscp /.ssh/authorized_keys

15、 192.168.1.102:/.ssh/authorized_keys10.8 测试（特别小心，需要在每台机器上都测试是否能与其余的机器进行无密匙登陆，因为第一次是需要密码登陆的，只有用过密码登陆后，以后才不用密码的，不然在后面启动hadoop时，会提示错误，导致live node节点数为0，也就是说配置不成功）例如在master上测试data1：ssh data1（如果网络名没有配通，用ssh 192.168.1.101）11 hadoop的安装11.1 自动下载（童谣可以去官网下载好后再放到虚拟机中）下载Hadoop1.2.1版本(自动下载hadoop)cd /home/hduser$

16、wget$ tar zxf hadoop-1.2.1.tar.gz$ mv hadoop-1.2.1 hadoop #文件重命名11.2 手动配置（只用在master中配置，配置好再复制就行了）11.2.1把.tar.gz的JDK文件复制到/home/hduser下面的一个新建的文件中，使用tar zxvf filename解压文件，mv hadoop-1.2.1 hadoop #文件重命名（也可以不重新命名）11.2.2配置conf/hadoop-env.sh文件，加入JAVA_HOME（找到自己配置JDK的地点）11.2.3配置/conf/core-site.xml需要在/home/hdu

17、ser/hadoop/hadoop下新建目录temp11.2.4配置/conf/mapred-site.xml11.2.5配置/conf/hdfs-site.xml此处的name和data等目录不能提前创建，如果提前创建会出问题。11.2.6配置masters和slaves主从节点（如果网络名称配置正确，可以使用网络名称的，建议直接使用ip地址，免得带来不必要的麻烦）11.3把配置好的hadoop文件夹拷贝到其他集群的机器中scp -r /home/hduser/hadoop 192.168.1.101:/home/hduser/scp -r /home/hduser/hadoop 192.1

18、68.1.102:/home/hduser/11.4启动+测试+关闭11.4.1 在初次运行Hadoop的时候需要初始化Hadoop文件系统，命令如下：cd /home/hduser/hadoop/hadoopbin/hadoopnamenode-format#格式化文件系统格式成功界面11.4.2 启动所有节点bin/start-all.sh11.4.3 查看集群的状态hadoopdfsadminreport或者http:/master:50070/（网络名没有配通请使用http:/192.168.1.100:50070/），在界面中能看到live nodes不是0，或者用输入jps查看输出

19、（不建议）（前面的配置是2个data节点，所以live nodes是2）11.5 测试测试系统吞吐量：使用10个map任务写10个文件，每个500m。命令:hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000在运行的最后，结果被写入控制台并记录到当前路径TestDFSIO_results.log 。数据默认写入 /benchmarks/TestDFSIO目录下一个节点的： 两个节点的： 节点数由1变为2，系统吞吐量降低了。可能由于虚拟机带两个节点带不起的原因。遇到的其他问题1：

20、操作一些文件后，有时在启动Ubuntu时停在Checking battery state， 一直进 不去解决方法：1.在停止的界面按下Ctrl+Alt+F12.输入账户名3.输入密码（输入时请注意，看看小键盘有没有打开）4.输入：sudo /etc/init.d/lightdm restart遇到问题2：在解压文件时，或执行一些命令时，要注意在正确的目录下，相应的目录下。遇到问题3：要想在windows和linux虚拟机之间共享文件夹，虚拟机得先安装VMware stools遇到问题4：格式化成功，start-all.sh启动出错，提示认证失败解决方法：前面在配置ssh的时候已经提到，需要在每台机器上都是用ssh登陆一次其他的 节点，因为第一次是需要密码的遇到问题5：前面的配置是有两个data节点，在想测试只有一个data节点时（需要将slaves 中的节点注释掉一个，如果是用data1，那么在data1中也要做相同的配置），启 动出错解决方法：删除hadoop（我只是在master上操作的）下新建的temp目录，再新建temp目 录，重新格式化