linux下安装hadoop.docx
《linux下安装hadoop.docx》由会员分享,可在线阅读,更多相关《linux下安装hadoop.docx(16页珍藏版)》请在冰豆网上搜索。
linux下安装hadoop
一、在Ubuntu下创建Hadoop组和hadoop用户
增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。
1、创建hadoop用户组
2、创建hadoop用户
sudoadduser-ingrouphadoophadoop
回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入Y,回车即可。
3、为hadoop用户添加权限
输入:
sudogedit/etc/sudoers
回车,打开sudoers文件
给hadoop用户赋予和root用户同样的权限
二、用新增加的hadoop用户登录Ubuntu系统
三、安装ssh
sudoapt-getinstallopenssh-server
安装完成后,启动服务
sudo/etc/init.d/sshstart
查看服务是否正确启动:
ps-e|grepssh
设置免密码登录,生成私钥和公钥
ssh-keygen-trsa-P""
此时会在/home/hadoop/.ssh下生成两个文件:
id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
登录ssh
sshlocalhost
退出
exit
四、安装Java环境
sudoapt-getinstallopenjdk-7-jdk
查看安装结果,输入命令:
java-version,结果如下表示安装成功。
在Ubuntu14.04下安装Hadoop2.4.0(单机模式)基础上配置
一、配置core-site.xml
/usr/local/hadoop/etc/hadoop/core-site.xml包含了hadoop启动时的配置信息。
编辑器中打开此文件
sudogedit/usr/local/hadoop/etc/hadoop/core-site.xml
在该文件的之间增加如下内容:
fs.default.name
hdfs:
//localhost:
9000
保存、关闭编辑窗口。
最终修改后的文件内容如下:
二、配置yarn-site.xml
/usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce启动时的配置信息。
编辑器中打开此文件
sudogedityarn-site.xml
在该文件的之间增加如下内容:
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
保存、关闭编辑窗口
最终修改后的文件内容如下
三、创建和配置mapred-site.xml
默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件,我们要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce使用的框架。
复制并重命名
cpmapred-site.xml.templatemapred-site.xml
编辑器打开此新建文件
sudogeditmapred-site.xml
在该文件的之间增加如下内容:
mapreduce.framework.name
yarn
保存、关闭编辑窗口
最终修改后的文件内容如下
四、配置hdfs-site.xml
/usr/local/hadoop/etc/hadoop/hdfs-site.xml用来配置集群中每台主机都可用,指定主机上作为namenode和datanode的目录。
创建文件夹,如下图所示
你也可以在别的路径下创建上图的文件夹,名称也可以与上图不同,但是需要和hdfs-site.xml中的配置一致。
编辑器打开hdfs-site.xml
在该文件的之间增加如下内容:
dfs.replication
1
dfs.namenode.name.dir
file:
/usr/local/hadoop/hdfs/name
dfs.datanode.data.dir
file:
/usr/local/hadoop/hdfs/data
保存、关闭编辑窗口
最终修改后的文件内容如下:
五、格式化hdfs
hdfsnamenode-format
只需要执行一次即可,如果在hadoop已经使用后再次执行,会清除掉hdfs上的所有数据。
六、启动Hadoop
经过上文所描述配置和操作后,下面就可以启动这个单节点的集群
执行启动命令:
sbin/start-dfs.sh
执行该命令时,如果有yes/no提示,输入yes,回车即可。
接下来,执行:
sbin/start-yarn.sh
执行完这两个命令后,Hadoop会启动并运行
执行jps命令,会看到Hadoop相关的进程,如下图:
浏览器打开 http:
//localhost:
50070/,会看到hdfs管理页面
浏览器打开http:
//localhost:
8088,会看到hadoop进程管理页面
七、WordCount验证
dfs上创建input目录
bin/hadoopfs-mkdir-pinput
把hadoop目录下的README.txt拷贝到dfs新建的input里
hadoopfs-copyFromLocalREADME.txtinput
运行WordCount
hadoopjarshare/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jarorg.apache.hadoop.examples.WordCountinputoutput
可以看到执行过程
运行完毕后,查看单词统计结果
hadoopfs-catoutput/*