HBase在京东人资数据预处理平台中的实践
共 3490字，需浏览 7分钟
·
2021-06-22 16:06
背景
人资绩效系统数据预处理平台，负责接收所有上游业务量数据。具有数据量大、非结构化数据、更新单个业务量数据，查询性能要求高等特性。通常技术上可以选择OSS、MySql数据库、ES等存储方案。其中OSS云存储方案，查询性能与更新单个业务量数据上无法满足。MySql数据库如果每对接一种业务量创建一个表的方式，对于更新查询等方面复杂度较高，不利于系统扩展。而ES存储量与查询量都可以满足，但更新单个字段不够友好，且ES成本较高。
现状
技术选型时，充分考虑到人资数据预处理平台的特性，数据量大，数据非结构化，高性能、开源稳定等要求，选型HBase。
HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库，它在Hadoop之上提供了类似于Bigtable的能力，同时又是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，同时HBase技术可在廉价PC Server上搭建起大规模结构化存储集群，性价非常高。
HBase适用场景
对象存储：不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中。
时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求。
推荐画像：特别是用户的画像，是一个比较大的稀疏矩阵，蚂蚁的风控就是构建在HBase之上。
时空数据：主要是轨迹、气象网格之类，滴滴打车的轨迹数据主要存在HBase之中，另外在技术所有大一点的数据量的车联网企业，数据都是存在HBase之中。
消息/订单：在电信领域、银行领域，不少的订单查询底层的存储，另外不少通信、消息同步的应用构建在HBase之上。
Feeds流 ：典型的应用就是xx朋友圈类似的应用。
HBase基础概念
命名空间：类比MySql中数据库库名。
表名：类比MySql中表名。
列族：一组列的集合为列族。列族下的列可以N个。
列名称：存在列族下的单个列，列族下的名称。
RowKey：Hbase存储采用 key-value方式，RowKey就是Key，所有的修改，查询等操作都只能基于RowKey，必须唯一。
HBase整体架构
HBase由三种类型的服务器以主从模式构成
Region Server：负责数据的读写服务，用户通过与Region server交互来实现对数据的访问。每个Region服务器中包含最多1000个Region，每个Region里面包含了StartKey到EndKey的一个区间数据。
HBase HMaster：分组分配Region和操作DDL,在集群处于数据恢复或者动态调整时，监控所有Region Server的状态。
ZooKeeper：负责维护集群的状态（某台服务器是否在线，服务器之间数据的同步操作及Hmaster的选举等）。
集群与协同工作
Region Server，会通过心跳方式与Zookeeper保持连接，并创建一个临时节点，当无法监听到心跳时，会通知Zookeeper，同时删除临时节点，而HMaser会通过zookeeper得到Region Server服务器的状态，当服务器下线时，会进行数据恢复，容灾等操作。HMaster同样会同Zookeeper保持心跳，用于监控HMaster状态，当HMaster下线时，会通过选举方式，将HMaster集群中的一台机器设置成Active，其他机器设置成InActive状态，来保证整个集群的高可用性。
数据写入过程
1.HBase客户端发起Put请求时，会先将数据写入预写日志（WAL）中，将操作记录写入WAL末尾。WAL用于Region Server服务器崩溃时，恢复MemStore中数据，WAL存储在Hadoop的HDFS中。
2.数据在写入Wal后，会将数据先写入Region Server下Region中MemStore中（写入缓存，内存级别）
3.在写入MemStore成功后，反馈给客户端本次写入已经完成。
4.当MemStore达到一定量级时，会通过Flush方式，生成HFile，存入Hadoop的HDFS中。HFile在生成前，会在内存中对Key进行升序排序，将排序好的数据顺序写入HFile中，并在HFile中生成一个多级索引，还有一个尾部指针。
数据读取过程
1.客户端发起请求，从Zookeeper中获取一个叫MetaTable的元数据。注：如果本地有缓存会优先读取本地缓存。
2.客户端通过MetaTable，得知RowKey所有在的Region Server服务器得到Region位置。
3.客户端优先从Region中的BlockCache（读取缓存）中获取数据，如果BlockCache中不存在，会通过MemStore（写入缓存）中获取数据，如果还不存在，会通过HFile中读取，并将数据返回给客户端。
4.读取HFIle时，会通过尾部指针中布隆过滤区域与时间区域，可以快读定位RowKey是否在HFile文件当中。
5.HFile读取后，会将多级索引加载在BlockCache中，用于读加速
最佳实践
HBase主要特点（人资绩效数据预处理平台实践适配的特点）
1.HBase为分布式列式数据库，可以横向进行扩展，解决系统数据量大的问题。
2.HBase为列式存储数据库，一个列族下可以支持成百上千列，解决系统非结构化数据存储与更新单个列数据的问题。
3.HBase具备毫秒级读写，随机读写，实时读写，无线存储拓展，数据高可用，多级缓存，服务不中断，主备自动切换，异地双活等特性，解决系统对于性能，存储的问题。
4.HBase存储自带多种压缩算法，降低数据存储量。
5.HBase数据支持多版本，对修改的数据可以支持多个版本数据。
6.HBase自带数据有效期功能，对于长时间无需使用的数据，可以进行删除。
HBase缺点
1.HBase核心是Rowkey的设计，Rowkey需要保证唯一的同时还需要散列，所有查询全部需要经过Rowkey查询，因次需要在数据库或者ES中建立二级索引辅助搜索。
2.HBase为列式存储，无法根据单独的列进行查询，只能通过RowKey进行查询。
HBase注意事项
1、数据热点问题以及解决方法
HBase每张表下默认会有10个Region，如果使用不正确会导致所有数据写入同一个Region服务器下，造成数据热点问题，解决数据热点问题一共需要注意两个方面。
第一方面是建表时（预分区建表），要根据自己的RowKey特性选择正确的分区规则，一共有三种方式，每种分区方式都不一样，在这里建议使用 HexStringSplit这种方式。
第二方面是RowKey的设计，需要保证唯一的同时尽量散列。人资侧采用雪花算法生成唯一ID，对唯一ID进行MD5转16进制加上反转后的唯一ID作为RowKey，可以将数据均匀的分散到多个Region中，避免数据热点问题。
2、HBase批量获取数据大小建议
对HBase进行批量查询时，将批量数据控制到100以内，超过后性能会下降非常明显。
3、配额与限流
申请HBase实例时需要注意，如申请时配额写成10000QPS，意味着这个实例下所有表的读+写每秒不能超过10000次，超过配额后，服务会报警超出配额，并会进行重试。当10000次不能满足要求时，可以申请提升配额或者改成批量操作，减少与服务器连接次数。
4、单行数据大小限制
单行不建议超过400KB，KV存储系统非对象存储系统。如果Value过大会导致处理性能直线下降表初始化后默认只能接受512KB大小的VALUE入库。
5、HBase连接注意事项
HBase每次连接耗时较高，构建Connect对象时，需要在程序启动时进行，不能在使用时进行创建。
HBase在人资绩效数据预处理平台中的性能参考
HBase写入最近30天TP99
HBase写入均值
HBase查询速度TP99
HBase查询均值
推荐阅读：