免费报名 | DataFunCon:数据服务与治理论坛
共 2262字,需浏览 5分钟
·
2020-07-28 17:43
导读:7月26日,14:00-17:20,DataFunCon:数据服务与治理论坛将准时开启,感兴趣的小伙伴和小编一起来了解下吧:
详细介绍:
出品人:任少斌
美团 | 研究员
分享主题:数据治理的根基:数据建模及其与服务层的连接
内容摘要:主要介绍数据治理领域中最为核心的数据建模技术,以及数据模型服务化的建设方案。
听众收益:
了解数据治理的概念及意义
了解数据服务的抽象规划及生态化建设思路
学习数据建模的整体技术方案和核心方法
学习数据模型服务化的建设方案
嘉宾简介:14年IT从业者,曾在阿里、腾讯、百度等公司从事数据技术研发和管理工作,目前任职美团研究员,深耕于大数据治理及分析应用技术领域。
梁栋
字节跳动 | 数据研发 Leader
分享主题:字节跳动的EB级数据治理实践分享
内容摘要:
字节跳动在高速发展的背景下离线业务碰到的问题及痛点
团队面对问题及痛点时为什么选择做数据治理
数据治理如何在字节从无到有
详细介绍字节的数据治理中较为成熟的存储治理的1年期实践
听众收益:
数据治理如何冷启动
EB级数据的存储治理实践分享
嘉宾简介:现就职于字节跳动数据平台,负责多条业务线的数仓架构,同时也是字节的数据治理发起人之一。
翟东波
搜狐媒体 | 资深开发工程师
分享主题:搜狐智能媒体在数据仓库体系建设中的技术实践
内容摘要:介绍数据仓库体系建设过程中,需要解决的主要问题和需求,以及搜狐智能媒体的数据团队在解决这些问题和需求时采用的相关技术实践活动。
听众收益:数据仓库体系建设,涉及到哪些方面、处理流程,和相关的业务特点及难点,以及解决这些问题的技术方案。
新技术/实用技术点:本次介绍会对数据仓库中的基本概念进行简单梳理,明确数据仓库体系建设涵盖的相关流程,主要划分为批量(非实时)数据处理和实时数据处理量大部分:
批量数据处理,根据不同的业务需求场景,需要对数据进行分层,上层数据基于底层数据通过aggregation、join等计算生成,上层数据生产任务依赖于底层数据产生任务,任务调度管理成为批量数据处理的一个核心功能诉求,以及由此衍生出的数据血缘管理、数据质量管理、数据权限管理等等一系列功能,这方面也有不少开源的产品,但在设计上或多或少都存在一些问题,本次演讲会介绍搜狐智能媒体团队自研的任务调度管理、元信息管理、数据质量管理、数据权限管理等系统的技术实践;
实时数据处理,目前业界的焦点都在stream processing系统上,但针对很多aggregation、join等应用场景,stream processing并不能很好的胜任,能够支持数据实时导和MPP查询引擎的系统--比如Apache Doris,才能很好地满足这些应用场景,本次演讲会介绍Apache Doris在搜狐智能媒体的一些技术实践。
嘉宾简介:2018年5月加入搜狐智能媒体研发中心,负责数据基础系统的研发工作,提升部门数据研发工作效率。10多年的软件开发工作经验,曾先后供职于中兴、百度、优酷、阿里大文娱、偶数等公司,从事过网络通讯协议、分布式OLAP/OLTP数据库、数据处理任务调度系统等产品的研发工作,专注于分布式系统和大数据等技术领域。
布鸪
阿里文娱 | 技术专家
分享主题:阿里文娱数据服务平台的进阶之路
内容摘要:近些年,随着双11、618等各种营销活动的常态化,传统的离线数据分析已无法满足强实时性的数据分析需求,且各业务都迫切需要数据驱动增长,这就对数据平台提出了更灵活、高效稳定、低成本的要求。本次分享将介绍阿里巴巴文娱数据平台的前生今世,包括实时计算、预计算数据立方体、数据平台的架构设计以及实践中的思路和趟过的坑,希望对大家有所启发。
演讲大纲:
背景:数据平台面临的三个挑战
前身:实时多维度聚合计算
数据服务平台:系统架构设计思路
未来规划:功能组件化&资源成本优化
听众收益:了解大数据平台体系,实时预计算数据立方体算法,预计算&AD-HOC,数据平台的系统架构设计,以及数据平台如何更好的贴近业务。
新技术/实用技术点:实时预计算数据立方体,数据平台的设计思路。
嘉宾简介:来自阿里文娱数据工程团队,主要从事数据平台工程、数据分析方面工作。
余谦
美图 | 资深数据专家
分享主题:海量用户下美图大数据服务优化实践
内容摘要:随着美图业务的快速扩张,传统的通过加机器来保障算力的方式已经无法满足业务以及成本的需求。海量用户将给大数据服务带来哪些挑战?如何在提升大数据基础设施算力的同时提升稳定性?本次分享将围绕大数据平台、服务重构、引擎优化升级这三个方面分享美图大数据服务优化实践。
大纲:
介绍美图通过平台化实现数据集成、计算(离线、实时)、可视化、监控等功能 于一体的大数据开放平台
对开源组件如何进行二次改造实现基础设施特性增强、提升稳定性的效果
介绍美图引擎-3.0,如何实现集群、引擎、参数自动优选
嘉宾简介:曾任职百度,负责海量数据下的多维度数据应用,具有8年的大数据从业经验。2018年初加入美图,负责美图集群算力的提升、架构优化,现阶段主要致力于美图计算引擎-3.0的研发。当前主要负责美图计算引擎-3.0的研发。在美图期间,在集群算力提升与架构方面做了较多优化,为公司节约了数千万成本。