美团批流一体增量数仓建设与实践(PPT)
数据生产一直以来存在离线与实时两套流程,口径不统一,维护成本高,数据生产就绪时间将会越来越难保证,伴随着实时数仓的SQL化和实时数仓平台的推广,一些业务团队实时与离线开发开始集中到同一批人身上,开发方式也逐渐趋同,离线与实时流程统一具备了实现的要求,基于美团长期以来的能力储备,我们适时的提出增量生产,以解决离线数仓就绪时间难保证、离线+实时两套生产流程所带来的数据正确性、开发成本等问题。
、
汤楚熙,美团数据系统开发专家
负责美团数据平台Flink引擎、平台工具等相关研发工作,对实时、离线数仓建设有较丰富经验,曾从0到1搭建起实时数仓开发工具链。目前主要工作精力集中在基于Flink的增量数仓的建设上,并持续推进流批一体在公司的落地,提升数据应用效能,助力业务发展。
评论