收藏
下载资源下载资源 加入VIP,免费下载

hadoop121与habase分布式搭建.docx

上传人：b****7 文档编号：8872016 上传时间：2023-02-02 格式：DOCX 页数：25 大小：98.63KB
下载 相关 举报
hadoop121与habase分布式搭建.docx_第1页
第1页 / 共25页
hadoop121与habase分布式搭建.docx_第2页
第2页 / 共25页
hadoop121与habase分布式搭建.docx_第3页
第3页 / 共25页
hadoop121与habase分布式搭建.docx_第4页
第4页 / 共25页
hadoop121与habase分布式搭建.docx_第5页
第5页 / 共25页
点击查看更多>>
下载资源
资源描述

hadoop121与habase分布式搭建.docx

《hadoop121与habase分布式搭建.docx》由会员分享，可在线阅读，更多相关《hadoop121与habase分布式搭建.docx（25页珍藏版）》请在冰豆网上搜索。

hadoop121与habase分布式搭建.docx

hadoop121与habase分布式搭建

Hadoop与habase分布式搭建

1、搭建环境

本次搭建环境：

CentOS6.564位+JDK1.7+hadoop-1.2.1+zookeeper-3.4.5+hbase-0.94.20+hive-0.12.0+sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

2、搭建环境软件下载地址

Centos6.5:

http:

//mirror.centos.org/centos/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1to2.torrent

系统安装参考文档：

Jdk1.7下载地址:

Hadoop下载地址：

Zookeeper下载地址：

Hbase下载地址：

Hive下载地址:

3、安装系统

Centos6.5系统安装略

Ip配置：

vi/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0#物理设备名

IPADDR=10.190.200.180#IP地址

NETMASK=255.0.0.0#掩码值

NETWORK=192.168.1.0#网络地址（可不要）

BROADCAST=10.190.200.255#广播地址（可不要）

GATEWAY=10.190.200.1#网关地址

ONBOOT=yes#[yes|no]（引导时是否激活设备）

USERCTL=no#[yes|no]（非root用户是否可以控制该设备）

BOOTPROTO=static#[none|static|bootp|dhcp]（引导时不使用协议|静态分配|BOOTP协议|DHCP协议）

HWADDR=00:

1B:

78:

38:

FF:

26

TYPE=Ethernet

UUID=088c53ce-94c9-4c48-86fc-109d817c3ff3

NM_CONTROLLED=yes

DNS1=61.139.2.69

DNS2=8.8.8.8

IPV6INIT=yes

IPV6_AUTOCONF=yes

重启网络配置

Servicenetworkrestart

静止使用IP6

serviceip6tablesstop#停止IPV6服务

chkconfigip6tablesoff#禁止IPV6开机启动

配置网络主机名

vi/etc/sysconfig/network#编辑配置文件

Vi/etc/hosts

4、安装wget

yum-yinstallwget

5、安装JDK

输入命令java-version查看是否默认已经安装jdk

如果默认已经安装jdk，则卸载自带版本

Rpm-qa|grepjdk查看默认版本

yumremovejava-1.6.0-openjdk-devel-1.6.0.0-1.45.1.11.1.el6.x86_64（删除java-1.6.0-openjdk-devel-1.6.0.0-1.45.1.11.1.el6.x86_64）

在home下创建java目录

Mkdir/home/java

进入/home/java

Cd/home/java

下载jdk

Wget

解压jdk

tarzxvfjdk-7u60-linux-x64.tar.gz

配置jdk环境变量

Vi/etc/profile

新增如下内容：

#setjavaenvironment

exportJAVA_HOME=/home/java/jdk1.7.0_60

exportJRE_HOME=$JAVA_HOME/jre

exportCLASSPATH=.:

$JAVA_HOME/lib:

$JAVA_HOME/jre/lib:

$CLASSPATH

exportPATH=$JAVA_HOME/bin:

$PATH

重启/etc/profile

Source/etc/profile

6、配置master和slave

机器名

IP

作用

master

10.20.200.217

Namenode、master、jobtracker

slave1

10.20.200.217

Datanode、slave、tasktracker

Slave2

10.20.200.217

Datanode、slave、tasktracker

修改各服务器的/etc/hosts配置

vi/etc/hosts

内容为：

10.20.200.217mastermaster

10.20.200.217slave1slave1

10.20.200.217slave2slave2

修改各服务器/etc/sysconfig/network

vi/etc/sysconfig/network

内容为：

NETWORKING=yes

HOSTNAME=master（master为各服务器名称master/slave1/slave2）

7、配置无密码ssh

查看有没有安装openssh-clients

Rpm-qa|grepopenssh-clients

如果没有就安装

yum-yinstallopenssh-clients

创建hadoop文件夹

Mkdir/usr/hadoop

把hadoop文件夹下配置ssh无密码登陆

ssh-keygen-trsa-f~/.ssh/id_rsa这里会提示输入passphrase，一定不要输入任何字符，回车即可

cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

测试ssh

sshlocalhost

如果还是提示需要输入密码,请修改：

chmod600~/.ssh/authorized_keys

还可以用rsa认证方式：

使用root登陆所有机器后，所有的机器都创建hadoop用户。

使用以下命令：

useraddhadoop--创建hadoop用户

passwdhadoop--设置hadoop用户密码

把/home/hadoop中hadoop文件夹授权给hadoop账号，首先到/home目录命令：

cd/home

授权命令：

chown -R hadoop.hadoop hadoop/

用root账户登陆所有节点，修改linux系统安全配置。

命令:

vi/etc/selinux/config按键盘小写i进行编辑，设置SELINUX=disabled

按键盘Esc退出编辑，输入命令：

:

wq保存退出文件

用hadoop账号登陆master，进入hadoop文件夹，命令:

cd/hadoop

生成其无密码秘钥对，命令：

ssh-keygen-trsa-P''

对/home/hadoop/.ssh的.ssh文件夹授权，命令：

chmod755~/.ssh

在master节点进入.ssh目录，命令：

cd.ssh

执行把id_rsa.pub追加到授权key里面命令：

cat/home/hadoop/.ssh/id_rsa.pub>>/home/hadoop/.ssh/authorized_keys

用root账号登陆master节点，进入.ssh目录，命令：

cd/home/hadoop/.ssh

安全设置，会让RSA功能生效，命令：

chmod644/home/hadoop/.ssh/authorized_keys（备注：

如果不进行设置，在验证时，仍提示你输入密码。

）

用root用户登录master修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

RSAAuthenticationyes#启用RSA认证

PubkeyAuthenticationyes#启用公钥私钥配对认证方式

AuthorizedKeysFile.ssh/authorized_keys#公钥文件路径（和上面生成的文件同）

命令：

vi/etc/ssh/sshd_config

按键盘小写的i进入编辑，对照上面的配置进行编辑，编辑完成后按键盘Esc退出编辑，然后数据命令：

:

wq退出保存文件

重启ssh,使其配置生效，命令：

servicesshdrestart

验证是否是无密码登陆，命令：

suhadoop

命令：

cd/home/hadoop

命令：

sshlocalhost

效果如下图：

把公钥从master节点复制所有的Slave机器上，

复制到192.168.1.27命令：

scp/home/hadoop/.ssh/id_rsa.pubhadoop@192.168.1.27:

/home/hadoop/.ssh/

复制到192.168.1.26命令：

scp/home/hadoop/.ssh/id_rsa.pubhadoop@192.168.1.26:

/home/hadoop/.ssh/

复制到192.168.1.25命令：

scp/home/hadoop/.ssh/id_rsa.pubhadoop@192.168.1.25:

/home/hadoop/.ssh/

用hadoop账号登陆各slave节点把Master.Hadoop的公钥追加到各个slave.Hadoop的授权文件"authorized_keys"中去，命令：

cat/home/hadoop/.ssh/id_rsa.pub>>/home/hadoop/.ssh/authorized_keys

追加并修改"authorized_keys"文件权限，命令：

chmod644/home/hadoop/.ssh/authorized_keys

把所有节点下的"/home/hadoop/.ssh"目录下的"id_rsa.pub"文件删除掉。

命令：

rm/home/hadoop/.ssh/id_rsa.pub-rf

退出所有slave节点hadoop登陆，命令：

exit

用root用户在各个slave节点上修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

RSAAuthenticationyes#启用RSA认证

PubkeyAuthenticationyes#启用公钥私钥配对认证方式

AuthorizedKeysFile.ssh/authorized_keys#公钥文件路径（和上面生成的文件同）

命令：

vi/etc/ssh/sshd_config

按键盘小写的i进入编辑，对照上面的配置进行编辑，编辑完成后按键盘Esc退出编辑，然后数据命令：

:

wq退出保存文件

重启ssh,使其配置生效，命令：

servicesshdrestart

用hadoop账号所有slave节点，进入hadoop文件夹，命令:

cd/home/hadoop

生成其无密码秘钥对，命令：

ssh-keygen-trsa-P''

执行把id_rsa.pub追加到授权key里面命令：

cat/home/hadoop/.ssh/id_rsa.pub>>/home/hadoop/.ssh/authorized_keys

把所有slave数据节点的秘钥分别（注意：

要一个配置完成后，删除拷贝到master节点上的id_rsa.pub文件后，再继续下一个）拷贝到master节点，命令：

scp/home/hadoop/.ssh/id_rsa.pubhadoop@192.168.1.28:

/home/hadoop/

用hadoop账号登陆master节点，把slave数据节点的秘钥追加到master的授权key里面，命令：

cat/home/hadoop/id_rsa.pub>>/home/hadoop/.ssh/authorized_keys

删除id_rsa.pub文件，直到把所有slave数据节点的秘钥追加到master节点为止：

删除id_rsa.pub文件命令：

rm/home/hadoop/id_rsa.pub

8、安装hadoop

进入hadoop文件夹

Cd/usr/hadoop

下载hadoop

Wget

解压hadoop

tarzxvfhadoop-1.2.1.tar.gz

配置hadoop环境变量

vi/etc/profile

内容为：

#sethadooppath

exportHADOOP_HOME=/usr/hadoop/hadoop-1.2.1

exportPATH=$PATH:

$HADOOP_HOME/bin

重新执行配置文件，命令：

source/etc/profile

创建hadoop运行时的临时目录

Mkdir/usr/hadoop/hadoop-1.2.1/tmp

进入hadoop/conf目录

Cd/user/hadoop/hadoop-1.2.1/conf

修改"/user/hadoop/hadoop-1.2.1/conf/hadoop-env.sh"命令：

vi/usr/hadoop/hadoop-1.2.1/conf/hadoop-env.sh

添加JAVA_HOME,命令:

#setjavaenvironment

exportJAVA_HOME=/home/java/jdk1.7.0_60

修改修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号

core-site.xml：

fs.default.name

hdfs:

//hadoop.cd.test:

9000

hadoop.tmp.dir

/usr/hadoop/tmp

备注：

如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：

/tmp/hadoo-hadoop。

而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

修改hdfs-site.xml:

　　

　　

　　dfs.replication

　　2

　　

　　

　　dfs.support.append

　　true

　　dfs.permissions

　　false

　　dfs.datanode.max.xcievers

　　4096

　

　　

备注：

replication第一项设定了文件系统备份的个数，默认为3，salve少于3台就会报错，第二项允许对文件的append操作，是为HBase设置的，第三项关闭权限检查，方便以后的远程的hadoop-eclipse插件访问hdfs，第四项设置DataNode同时可供访问的文件数上限，由于HBase需要同时操作大量的文件，该项至少要设置为4096。

修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。

mapred-site.xml：

　　

mapred.job.tracker

hadoop.cd.test:

9001

　　

配置masters，配置masters文件有两种方案：

一种是修改localhost为Master.Hadoop；另一种是去掉"localhost"，加入Master机器的IP：

192.168.1.28，为保险起见，启用第二种，因为万一忘记配置"/etc/hosts"局域网的DNS失效，这样就会出现意想不到的错误，但是一旦IP配对，网络畅通，就能通过IP找到相应主机。

配置hadoop的master

vimasters

内容为：

192.168.1.28

配置slaves文件（Master主机特有）也有两种方案：

一种是去掉"localhost"，每行只添加一个主机名，把剩余的Slave主机名都填上；另一种是去掉"localhost"，加入集群中所有Slave机器的IP，也是每行一个。

这里采用第二种，原因和添加"masters"文件一样，选择第二种方式。

命令：

vislaves

192.168.1.27

192.168.1.26

用hadoop账号登陆master节点，把hadoop安装及配置拷到各Slave节点，命令：

Scp-r/usr/hadoop/hadoop-1.2.1/hadoop@192.168.1.27:

/usr/hadoop/hadoop-1.2.1/

scp-r/usr/hadoop/hadoop-1.2.1/hadoop@192.168.1.26:

/usr/hadoop/hadoop-1.2.1/

格式化，命令：

./bin/hadoopnamenode–format

启用hadoop，命令：

./bin/start-all.sh

 

9、安装zookeeper

登陆master节点,在hadoop目录下创建zookeeper目录

Cd/usr/hadoop/hadoop-1.2.1

mkdirzookeeper

进入zookeeper目录

cdzookeeper/

下载zookeeper-3.4.5.tar.gz

wget

在zookeeper目录下创建zookeeper日志文件目录，命令：

mkdir/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5/data

mkdir/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5/logs

解压zookeeper-3.4.5.tar.gz，命令:

tarzxvfzookeeper-3.4.5.tar.gz

解压后，将conf目录下的zoo-example.cfg文件重命名为zoo.cfg,命令：

cdzookeeper-3.4.5/conf/

mvzoo-example.cfgzoo.cfg

#新建myid文件

~echo"1">/home/conan/zoo/zk1/myid

新建myid文件

Echo“1”/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5/data/myid

修改配置文件，命令;vizookeeper-3.4.5/conf/zoo.cfg

dataDir=/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5/data

dataLogDir=/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeper-3.4.5/logs

server.1=10.20.200.217:

2888:

3888

server.2=10.20.200.217:

2888:

3888

dataDir默认在/tmp下，系统重启会导致数据丢失。

后面的三行在文件的末尾，每行描述一个节点。

然后将配置好的Zookeeper分发到server.1/2/3上的/usr/hadoop/hadoop-1.2.1/zookeeper/zookeeprt-3.4.5下，并在每一个节点的dataDir，即/usr/hadoop/hadoop-1.2.1/zookeeper/data下创建一个myid文件，其中包含一个该节点对应的数字，即server.1/2/3中'.'后面的数字，该数字应该在1-255之间。

把master节点配置好的zookeeper拷贝到所有slave节点，命令：

scp-r/usr/hadoop/hadoop-1.2.1/zookeeper/*hadoop@192.168.1.27:

/usr/hadoop/hadoop-1.2.1/zookeeper/

scp-r/usr/hadoop/hadoop-1.2.1/zookeeper/*hadoop@192.168.1.26:

/usr/hadoop/hadoop-1.2.1/zookeeper/

在各个slave节点的启动zookeeper，命令：

./zookeeper-3.4.5/bin/zkServer.shstart

查看各个slave节点zookeeper状态，命令：

./zookeeper-3.4.3/bin/zkServer.shstatus

停止zookeeper，命令：

./zookeeper-3.4.5/bin/zkServer.shstop

10、安装hbase

登陆master服务器，创建hbase目录

Cd/usr/hadoop/hadoop-1.2.1

mkdirhbase

进入hbase

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置：首页 > 工作范文 > 制度规范

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1