Hbase运维手册Word格式.docx
《Hbase运维手册Word格式.docx》由会员分享，可在线阅读，更多相关《Hbase运维手册Word格式.docx（14页珍藏版）》请在冰豆网上搜索。
缓存命中率
缓存命中率对hbase的读有很大的影响，可以观察这个指标来调整blockcache的大小。
从regionserverweb页面可以看到blockcache的情况：
注意：
HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；
另外一部分作为BlockCache，主要用于读。
∙写请求会先写入Memstore，Regionserver会给每个region提供列族数提供一定数量的Memstore，当Memstore满64MB以后，会启动flush刷新到磁盘。
当Memstore的总大小超过限制时（heapsize*hbase.regionserver.global.memstore.upperLimit*0.9），会强行启动flush进程，从最大的Memstore开始flush直到低于限制。
∙读请求先到Memstore中查数据，查不到就到BlockCache中查，再查不到就会到磁盘上读，并把读的结果放入BlockCache。
由于BlockCache采用的是LRU策略，因此BlockCache达到上限（heapsize*hfile.block.cache.size*0.85）后，会启动淘汰机制，淘汰掉最老的一批数据。
一个Regionserver上有一个BlockCache和N个Memstore，它们的大小之和不能大于等于heapsize*0.8，否则HBase不能正常启动。
默认配置下，BlockCache为0.2，而Memstore为0.4。
在注重读响应时间的应用场景下，可以将BlockCache设置大些，Memstore设置小些，以加大缓存的命中率。
HBaseRegionServer包含三个级别的Block优先级队列：
∙Single：
如果一个Block第一次被访问，则放在这一优先级队列中；
∙Multi：
如果一个Block被多次访问，则从Single队列移到Multi队列中；
∙InMemory：
如果一个Block是inMemory的，则放到这个队列中。
以上将Cache分级思想的好处在于：
∙首先，通过inMemory类型Cache，可以有选择地将in-memory的columnfamilies放到RegionServer内存中，例如Meta元数据信息；
∙通过区分Single和Multi类型Cache，可以防止由于Scan操作带来的Cache频繁颠簸，将最少使用的Block加入到淘汰算法中。
默认配置下，对于整个BlockCache的内存，又按照以下百分比分配给Single、Multi、InMemory使用：
0.25、0.50和0.25。
注意，其中InMemory队列用于保存HBaseMeta表元数据信息，因此如果将数据量很大的用户表设置为InMemory的话，可能会导致Meta表缓存失效，进而对整个集群的性能产生影响。
3.
读写请求数
通过读写请求数可以大概看出每台regionServer的压力，如果压力分布不均匀，应该检查regionServer上的region以及其它指标
4.
压缩队列
压缩队列存放的是正在压缩的storefile，compact操作对hbase的读写影响较大
通过cdh的hbase图表库可以看到集群总的压缩队列大小：
可以通过CDH的hbase主页查询compact日志：
点击“压缩”进入：
5.
刷新队列
单个region的memstore写满（128M）或regionServer上所有region的memstore大小总合达到门限时会进行flush操作,flush操作会产生新的storeFile
同样可以通过CDH的hbase前台查看flush日志：
6.
rpc调用队列
没有及时处理的rpc操作会放入rpc操作队列，从rpc队列可以看出服务器处理请求的情况
7.
文件块保存在本地的百分比
datanode和regionserver一般都部署在同一台机器上，所以regionserver管理的region会优先存储在本地，以节省网络开销。
如果blocklocality较低有可能是刚做过balance或刚重启，经过compact之后region的数据都会写到当前机器的datanode，blocklocality也会慢慢达到接近100：
8.
内存使用情况
内存使用情况,主要可以看usedHeap和memstore的大小，如果usedHeadp一直超过80-85%以上是比较危险的
memstore很小或很大也不正常
从regionServer的前台可以看到：
9.
检查数据一致性以及修复方法
数据一致性是指：
每个region都被正确的分配到一台regionserver上，并且region的位置信息及状态都是正确的。
每个table都是完整的，每一个可能的rowkey
都可以对应到唯一的一个region
hbasehbck
注：
有时集群正在启动或region正在做split操作，会造成数据不一致
hbasehbck-details
加上–details会列出更详细的检查信息，包括所以正在进行的split任务
hbasehbckTable1Table2
如果只想检查指定的表，可以在命令后面加上表名，这样可以节省操作时间
CDH
通过CDH提供的检查报告也可以看到hbck的结果，日常只需要看CDHhbck的报告即可：
选择“最近的Hbck结果”：
1）
局部的修复
如果出现数据不一致，修复时要最大限度的降低可能出现的风险，使用以下命令对region进行修复风险较低：
hbasehbck-fixAssignments
修复region没有分配（unassigned），错误分配（incorrectlyassigned）以及多次分配（multiplyassigned）的问题
hbasehbck-fixMeta
删除META表里有记录但HDFS里没有数据记录的region
添加HDFS里有数据但是META表里没有记录的region到META表
hbasehbck-repairHoles
等价于：
hbasehbck-fixAssignments-fixMeta-fixHdfsHoles
-
fixHdfsHoles的作用：
如果rowkey出现空洞，即相邻的两个region的rowkey不连续，则使用这个参数会在HDFS里面创建一个新的region。
创建新的region之后要使用-fixMeta和-fixAssignments参数来使用挂载这个region，所以一般和前两个参数一起使用
2）
Region重叠修复
进行以下操作非常危险，因为这些操作会修改文件系统，需要谨慎操作！
进行以下操作前先使用hbck–details查看详细问题，如果需要进行修复先停掉应用，如果执行以下命令时同时有数据操作可能会造成不可期的异常。
hbasehbck-fixHdfsOrphans
将文件系统中的没有metadata文件（.regioninfo）的region目录加入到hbase中，即创建.regioninfo目录并将region分配到regionser
hbasehbck-fixHdfsOverlaps
通过两种方式可以将rowkey有重叠的region合并：
1.merge:
将重叠的region合并成一个大的region
2.sideline:
将region重叠的部分去掉，并将重叠的数据先写入到临时文件，然后再导入进来。
如果重叠的数据很大，直接合并成一个大的region会产生大量的split和compact操作，可以通过以下参数控制region过大：
-maxMerge合并重叠region的最大数量
-sidelineBigOverlaps假如有大于maxMerge个数的
region重叠,
则采用sideline方式处理与其它region的重叠.
-maxOverlapsToSideline如果用sideline方式处理重叠region,最多sidelinen个region.
hbasehbck-repair
以下命令的缩写：
hbahbasehbck-fixAssignments-fixMeta-fixHdfsHoles-fixHdfsOrphans-fixHdfsOverlaps-fixVersionFile–sidelineBigOverlaps
可以指定表名：
hba
hbasehbck-repairTable1Table2
hbasehbck-fixMetaOnly–fixAssignments
如果只有META表的region不一致，则可以使用这个命令修复
hbasehbck–fixVersionFile
Hbase的数据文件启动时需要一个versionfile，如果这个文件丢失，可以用这个命令来新建一个，但是要保证hbck的版本和Hbase集群的版本是一样的
hbaseorg.apache.hadoop.hbase.util.hbck.OfflineMetaRepair
如果ROOT表和META表都出问题了Hbase无法启动，可以用这个命令来创建新的ROOT和META表。
这个命令的前提是Hbase已经关闭，执行时它会从hbase的home目录加载hbase的相关信息（.regioninfo），如果表的信息是完整的就会创建新的root和meta目录及数据
hbasehbck–fixSplitParents
当region做split操作的时候，父region会被自动清除掉。
但是有时候子region在父region被清除之前又做了split。
造成有些延迟离线的父region存在于META表和HDFS中，但是没有部署，HBASE又不能清除他们。
这种情况下可以
升级会员 