大数据时代的“冷热数据”管理

信息爆炸的时代数据极速膨胀，数据存储与计算消耗的IT资源、能源日益增长。为了节省能源，例如我国推出了东数西算，腾讯把数据中心装进了贵州山里，微软把数据中心建在海底，“脸书”在犹他州雪山旁建立新数据中心。海底的数据中心建设从硬件、技术角度进行“数据成本”控制。从业务角度对膨胀的数据本身进行“冷热”分级管理，不仅有利于节约“计算成本”，也可以提高业务数据化运营效率

冷热数据主要从数据访问频度、更新频度进行划分。冷数据，即实际生产中被访问、更新频度比较低、概率比较低的数据。热数据，访问、更新频度较高，未来被调用的概率较高的数据。冷数据在业务场景中计算时效要求慢，可以做集中化部署，可以对数据进行压缩、去重等降低成本的方法。热数据因为访问频次需求大，效率要求高，可以高性能存储与就近计算部署；

数据冷热管理最核心目标提高算力利用率，所谓算力通常包含CPU、GPU、内存、带宽等能力，算力瓶颈在于单位时间内处理数据能力。视频、人工智能等领域的算力消耗集中在对大规模数据及参数的“算法”的计算处理。在传统行业领域以结构化数据为主，算力消耗集中在“订单、客户、事件”三大类数据的搬运、数据排序、数据关联、数据合并、数据算术运算、数据的查询等。

希望通过对数据冷热区分，精准识别出“热”数据，减少对“冷数据”的搬运、关联、排序、计算等，把算力集中在刀刃上，实现数据处理“提速、降本”。

数据规模控制目前有“冷热分离异构系统”和“冷热分离同构系统”两类架构。

“冷热分离异构系统”：将冷热数据根据被访问的频度及概率，一般来说将“时间序列较早，访问频度较低于一定比例”归档转移至另一个系统的进行存储。两套系统拥有不同的存储特性、访问方式等，优先热数据访问性能的同时，降低冷数据的运维成本

“冷热分离同构系统”：冷热数据应用同一套规则，同一个数据集群中部署不同配置的机器，不同服务器进HOT/COLD属性标志。高配置服务器管理管理热数据，低配置服务器用于管理冷数据。当创建一个新的Index时，指定其数据分配到Hot属性的机器上；一段时间后，再将其配置修改为分配到Cold属性机器上，Elasticsearch便会自动完成数据迁移。系统级数据的冷热分级管理可以有效提高算力使用效率。

图：冷热存储策略

全冷存储指数据全部存储在HDD盘，是一种较为经济的存储策略。全热存储指数据全部存储在SSD盘，满足高性能访问的需求。冷热混合存储指一定数量的分区存储在SSD盘，其余数据存储在HDD盘。

传统行业的数据处理不需要像阿尔法狗即时计算出围棋的落子位置，更多的是固化的计算逻辑。因此可以通过“数据分区、计算分时”等策略优化算力利用率

数据分区，数据结构设计时从动态与静态维度对数据进行“冷热”分区，减少对“冷数据”的搬运、关联、排序、计算等，降低参与计算的数据规模。计算分时，很多传统领域数据计算步骤是相对固化的、非实时的，可以通过对计算步骤分解在多个时段，平滑并发计算量。

1、所谓静态数据主要指事件类数据，描述发生一个事件的数据记录，如保险领域理赔，报案事件、理算记录、结案事件，每个事件包含了对象、时间、事件内容等。静态数据参与的计算主要在于“被搬运、被查询、被关联、被计算”，静态数据本身几乎不进行合并更新计算。对于静态数据中被关联、被计算关键字段可以进行热度标识，参与计算的高频字段可以分配至临时表独立存储，减少统计类计算时加载的数据规模。

如：保险领域对理赔事件原始数据字段超过20个，数据“入湖共享”时对高频度报表计算的“案件类型、报案时间、结案时间、金额”4个“热”数据字段拆出一个独立表进行共享，并增加“机构属性标记、客户号、手机号、保单号”关联关键字段（数据规模比原始数据降低3/4）。这样不同机构在开展个性化理赔统计报表分析时（不同分公司报表分析频度、统计样式可以个性化），仅需要加载对应机构的数据，快速完成“客户-理赔”与“保单-理赔”关联计算，减少“客户-保单-理赔”跨表数据搬运及复杂关联。

2、动态数据指会时序更新的数据，如客户类的数据“收入、偏好、最近一次交易等”涉及持续更新合并。动态数据消耗的算力集中在“数据更新合并、数据排序、查询、关联”，其中数据的Update涉及较多校验规则。针对动态数据中各字段更新频度进行冷热标识，对于高频度update字段进行独立表管理，避免高频对大宽表的读写操作。

如在保险领域，客户高频度更新信息字段主要是“职业、出险次数、最近投保”等和交易关联性强字段，客户数据中台数据结构设计时，对高频update字段独立表写入管理，减少对客户大宽表加载与读写。

作者：魏来，金融领域数据营销、数据中台资深专家，微信号18616082325

(欢迎大家加入数据工匠知识星球获取更多资讯。)

了解更多精彩内容

长按，识别二维码，关注我们吧！

数据工匠俱乐部

微信号：zgsjgjjlb

专注数据治理，推动大数据发展。