10年+SQL性能优化专家谈SQL等价改写核心思想

有关SQL

共 1689字,需浏览 4分钟

 ·

2021-01-06 06:54

墨墨导读:2020数据技术嘉年华于11月21日落下帷幕,大会历时两天,来自全国各地的数据领域学术精英、领袖人物、技术专家、从业者和技术爱好者相聚北京,见证了个人的快速成长、技术的迭代进步、行业的蓬勃发展、生态的融合共赢,以及市场的风云变迁。


2020数据技术嘉年华近50个PPT下载、视频回放已上传墨天轮平台,可在“数据和云”公众号回复关键词“DTC2020”获得!


本文根据 罗炳森 老师在 2020数据技术嘉年华 分享的主题《SQL等价改写核心思想》整理而成。


罗炳森:云和恩墨数据库架构师,10年+专职性能优化&SQL优化经验,5年SQL优化培训经验,累计为中国培养了2000多位DBA,1000多位ETL/BI/大数据开发人才。

SQL优化可不仅仅是:收集一下统计信息,创建一些索引,添加一些HINT,绑定一下执行计划。SQL优化还需要能够对SQL进行等价改写,SQL等价改写往往是SQL优化所有环节中最难的,不管数据库是Oracle,SQL SERVER,DB2,还是MySQL,PostGre SQL,Oceanbase,Hadoop Hive等,都离不开SQL等价改写。对于某些SQL,往往只有进行等价改写才能彻底优化。

 
本文主要议题:
 
 
本文分5部分,循序渐进为大家讲解SQL等价改写的核心思想及其方法和技巧。首先我们来学习数据库中表与表之间的关系:
 
 
对表与表之间关系有个大概印象之后,我们来看一个表与表之间是1:1关系的优化案例:
 
 
只需要对SQL代码稍做改动,SQL性能立马提升200多倍。如果不对SQL进行等价改写,想要优化这个SQL是不可能的。当然了你可能会说,我可以在业务上将a和b合并,这样不也达到了优化目的了吗?是的,这样是可以优化,但是这并不属于SQL层面的优化,而是业务重构,数据模型层面的优化了,本文的主题是SQL等价改写,而非数据模型层面。
 
现在我们来学习什么是半连接:
 

了解了半连接的概念之后,下面用两种方法将半连接改写为内连接:

 
半连接也可以改写为标量子查询(后面还会介绍什么是标量子查询):
 
 
更神奇的是半连接还可以改写为外连接:
 

了解了半连接改写技巧之后,我们来看一个经典的半连接等价改写优化案例吧:
 

通过这个案例我们回顾了半连接的改写技巧,同时也加深了对SQL等价改写的认知。
下面我们来学习什么是反连接:
 
 
反连接等价改写一般只有两种方法(不像半连接等价改写方式很多):

 
掌握了半连接,反连接等价改写之后,现在我们来学习标量子查询:
 

我们来学习标量子查询改写方法:
 

并不是所有的标量子查询都能改写为外连接:
 
 
标量子查询非等值关联改写要对主表访问2次:


现在我们来看一个比较难的标量子查询改写案例吧:
 
 
这个案例包含了半连接改写为内连接的知识,标量子查询改写为外连接的知识,以及标量子查询中没有聚合函数它属于1的关系的知识,可以这样说,如果你吃透了这个案例,那么你已经具备了一定的SQL等价改写能力了。
 
并不是所有的标量子查询都要被改写为外连接,有时候反而要将外连接改写为标量子查询。

现在,我们来看一个将外连接改写为标量子查询的案例吧:
 
 
掌握了标量子查询改写技巧之后,我们来学习本文最后一个知识点Filter:
 
 
网上有很多in,exists谁快谁慢的谬论,写这些文章的很多人是连SQL优化都没入门的,所以大家别去相信那些谬论。
 
 
简单的Filter改写:
 
 
复杂的Filter改写:

 
最后,我们来总结一下SQL等价改写:
 

推荐阅读:144页!分享珍藏已久的数据库技术年刊
推荐下载:2020数据技术嘉年华PPT下载

2020数据技术嘉年华近50个PPT下载、视频回放已上传墨天轮平台,可在“数据和云”公众号回复关键词“DTC2020”获得!

视频号,新的分享时代,关注我们,看看有什么新发现?



浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报