TDSQL-A有哪些“黑科技”?

共 2679字,需浏览 6分钟

 ·

2021-06-05 22:35

据国际权威机构Statista统计和预测数据指出,到2035年,全球数据产生量增长预计将达到2142ZB(1ZB约1万亿GB))。


信息技术的不断发展,也在驱动催生许多新的数据业务场景,这也意味着,这些新的业务和海量的数据对数据库能力提出了新的要求。而这些新的要求,也亟需新技术来满足。


自上月TDSQL- A公有云版本发布以来,腾讯云数据库就对其核心架构进行了整体介绍和深入的解读,但除此之外,TDSQL-A仍有不少值得一提的“硬核新技术”。


6月5日14:30~17:00,5位技术大咖将共同对TDSQL-A从整体架构和场景定位上详细的剖析技术原理,分别从整体技术架构、列式存储及相关执行优化、集群数据交互总线、Fragment执行框架/查询分片策略/子查询框架以及向量化执行引擎等多方面深入解读TDSQL-A,以下是议题详情。


1


议题一:TDSQL-A数据库架构解析



1. 分享嘉宾

李跃森,腾讯云数据库技术总监,TDSQL PG和TDSQL-A(PG)团队负责人。PostgreSQL亚洲2020年杰出贡献奖。带领团队一起支持微信支付,腾讯地图,腾讯游戏,QQ音乐,腾讯广告,QQ邮箱等公司核心业务;跟随腾讯云外部打单的过程中,在保险,银行,公安,消防,税务等领域都有标杆案例。当前团队支持的内外部线上数据库节点数超过5000个。多次到国际会议上展示中国PostgreSQL社区在数据库技术方面的进展,获得国际社区的认可。

2. 议题详情

TDSQL-A是在腾讯业务场景下诞生的在线分布式OLAP数据库系统,在解决业务问题的过程中逐渐构建了产品的核心技术影响力。

TDSQL-A在内核设计和整体架构上针对大规模数据场景进行了专门的设计,主要解决超大规模数据库集群扩展性问题和大规模数据高效分析问题。本次分享会详细的分析数据库整体架构设计和核心原理。


1


议题二:TDSQL-A列储存设计原理及执行优化详解



1. 分享嘉宾

伍鑫,腾讯云数据库高级工程师。在数据库、数据复制、大数据计算等领域有丰富经验,曾发表多篇相关论文、专利。加入腾讯前曾在IBM大数据分析团队工作多年,后加入Hashdata云数仓创业公司。加入腾讯后,负责TDSQL-A数据库优化器、执行器等多项核心功能研发。

2. 议题详情

TDSQL-A针对OLAP分析型场景100%自研了列存储表,用来极致优化分析模型下的查询语句性能。其中版本列的设计保证了列存行级MVCC可见性判断,为后续HTAP能力提供良好基础。同时通过索引列,字典列以及多种压缩格式保证数据的高效存储以及快速查询能力。

而在优化器及执行层面,TDSQL-A在支持分析型计算通用优化方法的同时,创新性的引入了延迟物化能力。保证列存数据在复杂关联场景下进一步的进行数据裁剪,加速整体执行效率。且通过优化器的深度改造,结合代价估算模型达到整体查询计划的最优选择。


1


议题三:TDSQL-A海量数据交互之道及企业级数据库能力



1. 分享嘉宾


陈再妮,腾讯云数据库高级工程师,PostgreSQL ACE专家,TBase开源负责人。多年分布式数据库研发经验,参与了TDSQL-A异地多活,Oracle兼容、读写分离等多个核心功能的设计与开发,主要负责数据库内核研发与性能优化工作。


2. 议题详情


TDSQL-A 是腾讯TEG数据库团队在开源PostgreSQL的基础上面向OLAP应用场景研发的企业级分布式数据库产品,为了给企业在线数据分析业务提供极致的性能体验和使用的便捷性,在设计之处就考虑了超大规模集群高效的数据交互方式和企业级Oracle兼容能力,本次分享主要讲述TDSQL-A的数据交互总线节点FN的设计原理,以及TDSQL-A具备的Oracle兼容能力。



议题四:TDSQL-A分布式执行框架设计及优化策略



1. 分享嘉宾


张倩,腾讯云数据库高级工程师,多年数据库内核研究和开发经验。本硕博就读于中国人民大学,师承数据库泰斗王珊教授,毕业后加入全球最大的大数据分析和数据仓库解决方案供应商Teradata天睿公司,主要负责算法开发工作。此后又加入华为高斯实验室,负责SQL引擎相关的内核开发工作。加入腾讯后主要负责TDSQL-A数据库SQL引擎相关特性的设计和开发工作。


2. 议题详情


TDSQL-A针对大数据OLAP场景,设计和实现了一套全新的分布式异步执行框架,由CN将复杂查询执行树分片并下发,在DN全并行执行的同时,又能够统一调度执行过程,实现不同场景下整体执行效率的最大化。


子查询在OLAP场景中被广泛应用,TDSQL-A结合自身的分布式执行框架,设计和实现了不同类型的子查询的优化执行。


1


议题五:TDSQL-A向量化执行引擎技术揭秘



1. 分享嘉宾

胡翔,腾讯云数据库高级工程师,具有多年分布式数据库内核研发经验,主要负责和参与过高可用、数据导入导出、索引等相关模块的设计和开发。博士毕业于中国科学院软件研究所后,加入华为高斯实验室工作多年,加入腾讯后主要负责TDSQL-A数据库向量化执行引擎等相关特性的设计和开发工作。

2. 议题详情

TDSQL-A在列存储的基础上设计实现了更加高效的向量化查询执行引擎。传统的非向量化化查询执行引擎中,每个算子只能一次处理一行元组,CPU时间较多地花在了遍历查询树上,而不是真实的数据计算过程,指令和数据的缓存命中率都比较低,无法充分利用当前新硬件提供的新能力来加速查询的执行。向量化查询执行引擎中,每个算子可以一次处理一批元组,减少函数调用的开销,提高指令和数据的缓存命中率,同时还可以利用SIMD技术进而提高CPU的利用效率。本次分享会简要地介绍下TDSQL-A的向量化执行引擎的设计原理和实现效果。

另外,当前存在很多比较流行的OLAP数据库,吸引了众多开发者和使用者的关注,本次分享也会简要地对比下TDSQL-A与某热门数据库在设计和实现上的差异。


参与方式


会议形式:线上直播。


参与方式1:扫描海报二维码关注腾讯云数据库公众号,回复“数据库”即可获得所有直播预约方式,可根据自身设备选择观看方式。


参与方式2:点击「阅读原文」即可报名预约,开播前将受到短信提醒。


↓↓直播预约点这儿~

浏览 15
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报