Hbase安装配置之集群安装篇Word格式文档下载.docx
《Hbase安装配置之集群安装篇Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《Hbase安装配置之集群安装篇Word格式文档下载.docx（10页珍藏版）》请在冰豆网上搜索。
运行
NTP
或者其他什么东西来同步你的时间.
如果你查询的时候或者是遇到奇怪的故障，可以检查一下系统时间是否正确!
设置集群各个节点时钟：
date-s
“2012-02-1314:
00:
00”
5）
ulimit
和
nproc:
Base是数据库，会在同一时间使用很多的文件句柄。
大多数linux系统使用的默认值1024是不能满足的，会导致FAQ:
WhydoIsee"
java.io.IOException...（Toomanyopenfiles）"
inmylogs?
异常。
还可能会发生这样的异常
2010-04-0603:
04:
37,542INFOorg.apache.hadoop.hdfs.DFSClient:
ExceptionincreateBlockOutputStreamjava.io.EOFException
Abandoningblockblk_-6935524980745310745_1391901
所以你需要修改你的最大文件句柄限制。
可以设置到10k.你还需要修改hbase用户的nproc，如果过低会造成OutOfMemoryError异常。
[2][3].
需要澄清的，这两个设置是针对操作系统的，不是Hbase本身的。
有一个常见的错误是Hbase运行的用户，和设置最大值的用户不是一个用户。
在Hbase启动的时候，第一行日志会现在ulimit信息，所以你最好检查一下。
可以先查看当前用户
ulimit：
ulimit-n
设置ulimit:
如果你使用的是Ubuntu,你可以这样设置:
在文件
/etc/security/limits.conf
添加一行，如:
hadoop
-
nofile
32768
可以把
替换成你运行Hbase和Hadoop的用户。
如果你用两个用户，你就需要配两个。
还有配nprochard和softlimits.如:
hadoopsoft/hardnproc32000
在
/etc/pam.d/common-session
加上这一行:
sessionrequired
pam_limits.so
否则在
/etc/security/limits.conf上的配置不会生效.
还有注销再登录，这些配置才能生效!
7）修改HadoopHDFSDatanode同时处理文件的上限：
dfs.datanode.max.xcievers
一个HadoopHDFSDatanode有一个同时处理文件的上限.这个参数叫
xcievers
（Hadoop的作者把这个单词拼错了）.在你加载之前，先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数，至少要有4096:
<
property>
<
name>
dfs.datanode.max.xcievers<
/name>
value>
4096<
/value>
/property>
对于HDFS修改配置要记得重启.
如果没有这一项配置，你可能会遇到奇怪的失败。
你会在Datanode的日志中看到xcieversexceeded，但是运行起来会报missingblocks错误。
例如:
02/12/1220:
10:
31INFOhdfs.DFSClient:
Couldnotobtainblockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYYfromanynode:
java.io.IOException:
Nolivenodescontaincurrentblock.Willgetnewblocklocationsfromnamenodeandretry...
8）继承hadoop安装的说明：
每个机子/etc/hosts
10.64.56.74
node2（master）
10.64.56.76
node1
（slave）
10.64.56.77
node3（slave）
9）继续使用hadoop用户安装
Chown–Rhadoop/usr/local/hbase
3.
分布式模式配置
3.1配置conf/hbase-env.sh
#exportJAVA_HOME=/usr/java/jdk1.6.0/
exportJAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26
#TellHBasewhetheritshouldmanageit'
sowninstanceofZookeeperornot.
exportHBASE_MANAGES_ZK=true
不管是什么模式，你都需要编辑
conf/hbase-env.sh来告知Hbase
java的安装路径.在这个文件里你还可以设置Hbase的运行环境，诸如heapsize和其他
JVM有关的选项,还有Log文件地址，等等.设置
JAVA_HOME指向
java安装的路径.
一个分布式运行的Hbase依赖一个zookeeper集群。
所有的节点和客户端都必须能够访问zookeeper。
默认的情况下Hbase会管理一个zookeep集群。
这个集群会随着Hbase的启动而启动。
当然，你也可以自己管理一个zookeeper集群，但需要配置Hbase。
你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK
来切换。
这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.
让Hbase使用一个现有的不被Hbase托管的Zookeep集群，需要设置
conf/hbase-env.sh文件中的HBASE_MANAGES_ZK
属性为false
sowninstanceofZookeeperornot.
exportHBASE_MANAGES_ZK=false
3.2配置conf/hbase-site.xml
1.<
configuration>
2.
3.
4.
5.
hbase.rootdir<
6.
7.
hdfs:
//node1:
49002/hbase<
8.
9.
description>
The
directory
shared
byRegionServers.
10.
11.
/description>
12.
13.
14.
15.
16.
17.
hbase.cluster.distributed<
18.
19.
true<
20.
21.
mode
the
clusterwill
be
in.
Possible
values
are
22.
23.
false:
standalone
and
pseudo-distributedsetups
with
managed
Zookeeper
24.
25.
true:
fully-distributed
unmanagedZookeeper
Quorum
（see
hbase-env.sh）
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
hbase.zookeeper.property.clientPort<
36.
37.
2222<
38.
39.
Property
fromZooKeeper'
s
config
zoo.cfg.
40.
41.
port
at
which
clients
willconnect.
42.
43.
44.
45.
46.
47.
48.
49.
hbase.zookeeper.quorum<
50.
51.
node1,node2,node3<
52.
53.
Comma
separated
listof
servers
in
ZooKeeper
Quorum.
54.
55.
For
example,"
,"
.
56.
57.
By
default
this
is
set
to
localhost
forlocal
pseudo-distributed
modes
58.
59.
of
operation.
a
fully-distributedsetup,
should
full
60.
61.
list
quorum
servers.
IfHBASE_MANAGES_ZK
hbase-env.sh
62.
63.
we
willstart/stop
on.
6
升级会员 