ZooKeeper在HBase集群中的作用
互联网侦察
共 1903字，需浏览 4分钟
· 2020-07-11
ZooKeeper作为分布式协调组件，在大数据领域的其他分布式组件中往往扮演着重要的辅助角色，因此我们就算不单独去研究ZooKeeper，也短不了要接触它。本文就以最典型的HBase为例，简要介绍ZooKeeper为HBase提供了哪些功能。
下图示出一个完整HBase集群的架构，其中包含ZK节点。
HMaster、RegionServer容错当HBase集群启动成功后，会在ZK注册如下znode：/hbase/master，其中包含当前活动（即赢得选举）的HMaster信息；
/hbase/backup-masters/[host-name]，每个子znode包含当前作为热备的HMaster信息；
/hbase/rs/[host-name]，每个子znode包含各RegionServer的信息。
Log Split管理当RegionServer宕机时，除了重新路由Region之外，还得从宕机的RegionServer的WAL（即HLog）中恢复尚未持久化到HFile的数据。为了保证尽快完成failover过程，HBase会将HLog按Region切分成多个分片，并分配给对应的存活RegionServer再完成重放（replay）过程。如下图所示。
显然，Log Split的信息需要有一个中心组件来统一协调。HMaster会在ZK上注册/hbase/splitlog临时节点，其中存放有存活RegionServer与其应该处理的Region HLog的映射关系。各个RegionServer从该节点得到分配的Region，重放HLog，并将结果写回该节点，以通知HMaster进行后续操作。.META.表位置维护HBase中有一个特殊的表.META.（在0.98版本之前还有一个-ROOT-表，现已废弃，不再介绍），其中以类似B树的结构记录了集群内所有Region的位置信息，且该表不会split。而ZK通过永久（persistent）节点/hbase/meta-region-server来记录.META.表保存在哪个RegionServer上。
当客户端初次与HBase集群建立连接时，它首先查询上述ZK节点，再从持有.META.表的RegionServer获取到RowKey对应的Region位置信息并缓存起来，最后获取到对应的行做读写操作。如下图所示。
如果Region被移动，或客户端缓存失效，甚至.META.表所在的服务器故障，客户端总能通过ZK维护的路径获得正确的Region位置，不会造成不一致。Replication管理HBase的Replication是比较高级的功能，用于主集群和从集群之间的数据同步，从而支持容灾和备份。开启Replication之后，主集群会将数据实时地推送给各个从集群（可以是异步、同步或串行的），且保证数据的最终一致性。整个Replication的状态信息都储存在ZK的/hbase/replication这个znode下，主要有以下三个：
/hbase/replication/state：布尔值，表示Replication是否被启用；
/hbase/replication/peers：当前进行Replication的从集群对及其状态。每个peer会分配一个唯一ID；
/hbase/replication/rs：包含主集群上所有有效的RegionServer、 HLog文件的索引，以及HLog读取的偏移量。
多个HBase集群是可以共用一个ZK集群的。只需要修改HBase的zookeeper.znode.parent参数，对不同集群指定不同的ZK根路径即可，例如/hbase-cluster1、/hbase-cluster2，etc。
评论
真高！比亚迪员工爆料比亚迪在越南的薪资水平：基本工资480万，全勤奖35万，交通补助20万，餐补110万，每周6天，每天10小时
上一篇：某大公司为逼迫员工离职，竟然把他的工位安排到厕所旁，没想到他直接开始记录领导的如厕时间，还发到公司大群...对此，你怎么看？--完--PS：欢迎在留言区留下你的观点，一起讨论提高。如果今天的文章让你有新的启发，欢迎转发分享给更多人。全文完，感谢你的耐心阅读。如果你还想看到我的文章，请一定给本
开发者全社区
0
太敢穿了！透视纱裙！性感火辣的身材
绝了呀今天的厂花：吴宣仪1995年1月26日，吴宣仪出生于海南省海口市，中国内地流行乐女歌手、影视演员。2016年2月，吴宣仪随宇宙少女发行首张迷你专辑正式出道。2018年4月，她参加《创造101》综艺选秀，获得第二名，成功加入火箭少女101组合。吴宣仪的颜值一直备受称赞，她的五官立体精致，皮肤白皙
逆锋起笔
0
某大公司为逼迫员工离职，竟然把他的工位安排到厕所旁，没想到他直接开始记录领导的如厕时间，还发到公司大群...
上一篇：字节的跳动职级与薪资（2024年）我们与公司间的合作，宛如两艘船只在茫茫大海上相互依靠，共同抵御风浪，携手驶向成功的彼岸。然而，当航向开始产生分歧，或是波涛汹涌的风浪改变了我们的初衷，我们或许应当冷静地选择和平分手，而非在风雨中硬撑。最近，一位网友的遭遇引起了广大职场人的关注和热议。这位网友
开发者全社区
0
金融研究 | 使用Python测量关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容， 只能重复推送。为了更好的阅读体验，建议阅读本文博客版， 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0
我看阿里的年终奖总算发了！
到4月底了，这两天看朋友圈，发现阿里的年终奖终于发了，问了问老同学，也从网上检索了不少信息，基本搞清楚了阿里今年的年终奖情况。近来来阿里一些集团对绩效等级做了较大的调整，以前的旧绩效系统中，绩效分为3.25、3.5、3.75、4和5五个等级，其中4和5是较高绩效等级，较少见。而且之前3.5绩效内部划
公子龙
0
一女子与一男子在阳台上打扑克，被邻居偷拍后...
近日网络上又发生了一起疑似黄色谣言的事件：一女子与一男子在阳台上打扑克，被邻居偷拍后上传到网上，引发广泛舆论讨论。根据网传视频显示，一名穿着吊带睡衣的女子与一名光着上身的男性在阳台上交谈，随后开始打起扑克牌。这一幕被邻居拍下并上传至网络后，引发了许多网友的关注和猜测，其中大部分涉及到了不当的假设。当
逆锋起笔
0
CVPR 2024｜大视觉模型的开山之作！无需任何语言数据即可打造大视觉模型
↑ 点击蓝字 关注极市平台作者丨科技猛兽编辑丨极市平台极市导读 本文提出一种序列建模 (sequential modeling) 的方法，不使用任何语言数据，训练大视觉模型。>>加入极市CV技术交流群，走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U
极市平台
1
金融研究(更新) | 使用Python构建关键审计事项的「信息含量」
Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容， 只能重复推送。为了更好的阅读体验，建议阅读本文博客版， 链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud
大邓和他的Python
0