hadoop121的详细配置汇总.docx

hadoop121的详细配置汇总.docx

《hadoop121的详细配置汇总.docx》由会员分享，可在线阅读，更多相关《hadoop121的详细配置汇总.docx（16页珍藏版）》请在冰豆网上搜索。

hadoop121的详细配置汇总

1虚拟机的安装（VMware），默认就是了

2vmtools的安装（安装tool后，方便虚拟机中系统与当前系统相互拷贝文件），有的ubuntu系统会自动的安装。

安装方法：

首先打开自己安装在虚拟机中的ubuntu，然后点击VMware的菜单栏的VM，选择InstallVMwareTools

遇到问题：

thepath“”isnotavalidpath后的解决方法

解决方法：

2.1有可能缺失kernelheaders，使用sudoapt-getinstalllinux-headers-#（uname-r）

2.2出现Enterthepathtothekernelheaderfilesforthe3.5.0-23-generickernel?

时，输入/usr/src/linux-headers-3.5.0-23-generic/include

2.3出现wouldyouliketochangeit[yes]选择输入no，一直enter

3安装完ubuntu，root用户不能使用

遇到问题：

root密码认证失败

解决方法：

在终端输入命令sudopasswd，然后输入当前用户的密码，最后按照提示输入给root输入密码

4ubuntu更新后，用户不能登录

遇到问题：

failtoloadsession

解决方法：

输入sudoupdate–manager–c-d系统更新，然后安装其他的桌面sudoapt-getinstallgnome，然后选用GNOME登录，用户名与密码都是更新前的。

5JDK安装

安装方法：

5.1把.tar.gz的JDK文件复制到/usr下面的一个新建的文件中（mkdir/usr/apps）:

注意放到VM中的文件的完整性（使用root用户解压文件）

5.2使用tar–zxvffilename【绝对路径或者相对路径，后者需要在apps目录下操作】解压文件sudotar–zxvf/usr/apps/jdk-7u45-linux-i586.tar.gz

遇到问题：

文件解压中途中断

解决方法：

查看复制到虚拟机中文件的属性，看看是不是与当前系统中的文件大小一样，不一样就反复复制，知道一样大小为止

5.3配置环境变量sudovi/etc/profile，然后按i是插入，按Esc+：

，再输入wq！

是退出并保存；也可以使用sudogedit/etc/profile，前提是已经安装gedit，如果没有安装就sudoapt-getinstallgedit

配置文件内容：

exportJAVA_HOME=/usr/apps/jdk1.7.0_45

exportCLASSPATH=$CLASSPATH:

$JAVA_HOME/lib/dt.jar:

$JAVA_HOME/lib/tools.jar

exportPATH=$PATH:

$JAVA_HOME/bin:

$HOME/bin

5.4同时加入ubuntu的sbin的path，因为有的系统的很多命令在sbin下面，不能直接用，配在path中，就可以不用到目录sbin下执行；

exportPATH=$PATH:

/sbin

5.5使配置文件立即生效，如果重启电脑会自动生效的。

输入命令source/etc/profile或者./etc/profile

5.6测试jdk是否正确安装java–version，查看是否是自己配置的jdk的版本

遇到问题：

没有输出版本信息（系统已近安装有，现在有两个了，不能识别）

解决方法：

输入：

update-alternatives--install/usr/bin/javajava/usr/apps/jdk1.7.0_45/bin/java300

输入：

update-alternatives--install/usr/bin/javacjavac/usr/apps/jdk1.7.0_45/bin/javac300

5.7网络上提供的自动安装方法（不建议，担心找不到安装目录，对后面的配置不利）

sudoapt-getinstallpython-software-properties

sudoadd-apt-repositoryppa:

webupd8team/java

sudoapt-getupdate

sudoapt-getinstalloracle-java6-installer

6ssh的安装

直接执行sudoapt-getinstallopenssh-server

如果行不通就先升级部分软件

sudoapt-getupdate

sudoapt-getupgrade

sudoapt-getinstallopenssh-server

7创建hadoop用户

sudoaddgrouphadoop

sudoadduser--ingrouphadoophduser

sudogedit/etc/sudoers编辑文件，在rootALL=（ALL:

ALL）ALL行下添加hduserALL=（ALL:

ALL）ALL。

如果不添加这行，hduser将不能执行sudo操作。

8clone系统

为了不破坏模板，都不在原系统上操作了，后面所有的操作都在clone版上做，计划三台机器，也就是clone三个。

clone时需要关闭模版机器（sudoshutdown–Pnow）

9网络配置

9.1使用bridge的方式也是可以的。

只要虚拟机中所有的linux的ip都设置为静态的，使用与主机同一个网段的地址中没有被用过的就行了。

9.2使用nat方式，选用Vnet8对其进行配置，其ip地址可以自定义，同时注意Vnet8的ip地址与其网管不要弄得一样，dns服务器就与本机的设置为一样，备用的设为本机网段的dns地址。

在本地连接中的以太网属性的共享中，将Vnet8设置为其共享对象，同时打上勾。

禁用再启用Vnet8,网络就可用了。

特别注意，要在真实系统的管理中将VMnet的服务打开。

方式一（我使用的，配置后可以访问internet）

9.2.1打开

，选择

配置VMnet8

右键

选择属性

然后选择

进行ip配置

注意DNS需要与自己主机中ip的DNS一样，我的主机的配置为

关键的一步：

将本地连接共享给VMnet8

选择属性，在网络中选中，

，这样可以保证即使nat配置不成功，我们也可以选用bridge的方式上网更新系统或者安装文件。

再选择共享

这样就可以在VMnet8中看到通网了

方式二（可以保证nat配通，没有试过是否可以访问internet）

9.2.2在VMwareWorkstation选择Edit中的VirtualNetworkEditor

现在VMnet8

在NATSettings中配置好网关

9.3在VM中选择setting，设置VirtualMachineSettings，选择NetworkAdapter,设置为nat。

三台clone的机器都需要这个操作。

接在虚拟机中ubuntu上设置静态ip，计划配置为

192.168.1.100master

192.168.1.101date1

192.168.1.102date2

sudogedit/etc/network/interfaces或者sudovi/etc/network/interfaces

下面是master的配置，data1与data2的配置一样，只是address对应自己的就是

在

autolo

ifaceloinetloopback

后面加上

ifaceeth0inetstatic

address192.168.1.100

netmask255.255.255.0

gateway192.168.1.254

dns-nameservers192.168.1.254

autoeth0

重启ubuntu的网卡：

/etc/init.d/networkingrestart最好是重启电脑，做完主机名的修改再重新起动

9.4配置主机名与网络名

修改sudogedit/etc/hostname下的主机名；分别为master、data1、data2

修改sudogedit/etc/hosts文件

master

data1

data2

9.5重启电脑，查看ip地址，输入命令ifconfig，查看三台clone的系统是否可以互访，例如在master中ping–c4192.168.1.101，如果网络名配置成功，可以直接ping–c4data1

10配置无密码登录（使用前面建立的用户hduser登陆）

10.1在/home/hduser下新建文件mkdir.ssh（shell的工作目录因该是/home/hduser,如果不是，调整方式cd/home/hduser）

10.2echo"">.ssh/authorized_keys

10.3ssh-keygen（后面全部enter就是了）

10.4cat.ssh/id_rsa.pub>>.ssh/authorized_keys

10.5cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

注意：

10.1-10.5需要在每台机器上都执行，下面的步骤只需要在master上执行

10.6上面条命令是把其他slave节点的公钥拷贝到master节点中的authorized_keys，有几个data节点就执行几次（本文只有两个data节点）

ssh192.168.1.101cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

ssh192.168.1.102cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

10.7把authorized_keys文件拷贝回每一个节点，同样，有几个data节点就执行几次

scp~/.ssh/authorized_keys192.168.1.101:

~/.ssh/authorized_keys

scp~/.ssh/authorized_keys192.168.1.102:

~/.ssh/authorized_keys

10.8测试（特别小心，需要在每台机器上都测试是否能与其余的机器进行无密匙登陆，因为第一次是需要密码登陆的，只有用过密码登陆后，以后才不用密码的，不然在后面启动hadoop时，会提示错误，导致livenode节点数为0，也就是说配置不成功）

例如在master上测试data1：

sshdata1（如果网络名没有配通，用ssh192.168.1.101）

11hadoop的安装

11.1自动下载（童谣可以去官网下载好后再放到虚拟机中）

下载Hadoop1.2.1版本（自动下载hadoop）

cd/home/hduser

$wget

$tarzxfhadoop-1.2.1.tar.gz

$mvhadoop-1.2.1hadoop#文件重命名

11.2手动配置（只用在master中配置，配置好再复制就行了）

11.2.1把.tar.gz的JDK文件复制到/home/hduser下面的一个新建的文件中，使用tar–zxvffilename解压文件，mvhadoop-1.2.1hadoop#文件重命名（也可以不重新命名）

11.2.2配置conf/hadoop-env.sh文件，加入JAVA_HOME（找到自己配置JDK的地点）

11.2.3配置/conf/core-site.xml

需要在/home/hduser/hadoop/hadoop下新建目录temp

11.2.4配置/conf/mapred-site.xml

11.2.5配置/conf/hdfs-site.xml

此处的name和data等目录不能提前创建，如果提前创建会出问题。

11.2.6配置masters和slaves主从节点（如果网络名称配置正确，可以使用网络名称的，建议直接使用ip地址，免得带来不必要的麻烦）

11.3把配置好的hadoop文件夹拷贝到其他集群的机器中

scp-r/home/hduser/hadoop192.168.1.101:

/home/hduser/

scp-r/home/hduser/hadoop192.168.1.102:

/home/hduser/

11.4启动+测试+关闭

11.4.1在初次运行Hadoop的时候需要初始化Hadoop文件系统，命令如下：

cd/home/hduser/hadoop/hadoop

bin/hadoop namenode -format #格式化文件系统

格式成功界面

11.4.2启动所有节点

bin/start-all.sh

11.4.3查看集群的状态

hadoop dfsadmin –report

或者http:

//master:

50070/（网络名没有配通请使用http:

//192.168.1.100:

50070/），在界面中能看到livenodes不是0，或者用输入jps查看输出（不建议）（前面的配置是2个data节点，所以livenodes是2）

11.5测试

测试系统吞吐量：

使用10个map任务写10个文件，每个500m。

命令:

hadoopjar$HADOOP_HOME/hadoop-test-*.jarTestDFSIO-write-nrFiles10-fileSize1000

在运行的最后，结果被写入控制台并记录到当前路径TestDFSIO_results.log。

数据默认写入/benchmarks/TestDFSIO目录下

一个节点的：

两个节点的：

节点数由1变为2，系统吞吐量降低了。

可能由于虚拟机带两个节点带不起的原因。

遇到的其他

问题1：

操作一些文件后，有时在启动Ubuntu时停在Checkingbatterystate……，一直进不去

解决方法：

1.在停止的界面按下Ctrl+Alt+F1

2.输入账户名

3.输入密码（输入时请注意，看看小键盘有没有打开）

4.输入：

sudo/etc/init.d/lightdmrestart

遇到问题2：

在解压文件时，或执行一些命令时，要注意在正确的目录下，相应的目录下。

遇到问题3：

要想在windows和linux虚拟机之间共享文件夹，虚拟机得先安装VMwarestools

遇到问题4：

格式化成功，start-all.sh启动出错，提示认证失败

解决方法：

前面在配置ssh的时候已经提到，需要在每台机器上都是用ssh登陆一次其他的节点，因为第一次是需要密码的

遇到问题5：

前面的配置是有两个data节点，在想测试只有一个data节点时（需要将slaves中的节点注释掉一个，如果是用data1，那么在data1中也要做相同的配置），启动出错

解决方法：

删除hadoop（我只是在master上操作的）下新建的temp目录，再新建temp目录，重新格式化