关于Mysql使用left join写查询语句执行很慢的问题解决

这篇具有很好参考价值的文章主要介绍了关于Mysql使用left join写查询语句执行很慢的问题解决。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

(一)前言

(二)正文

1. 表结构/索引展示

(1)表结构

(2)各表索引情况

2. 存在性能问题的SQL语句

3. 解决思路

(1)执行计划思路调优

(2)字符集匹配调优

(三)总结

1. 关于执行计划中TYPE的性能比较

2. 关于left join优化

3. 其他注意点


(一)前言

这几天供应商在测试环境上使用MYSQL数据库做开发时遇到一个SQL性能问题,即在他开发环境本地跑SQL速度很快就一两秒时间,但是同样的SQL放在测试环境上死活跑了很久一直出不了结果。最后求助到我这边,以下正文是我解决这次问题的一个过程浅谈,供大家参考。

(二)正文

本文使用NAVICAT试用版作为基础工具来说明,需要永久激活的可以在网上找到相关介绍走正式途径。

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

其次附上一篇文章,解释说明如果在NAVICAT中运行一条长时间的SQL想关闭终止它,图形化点击失败时候所应该采取的方式,文章链接如下:

在Navicat上如何停止正在运行的MYSQL语句_zyypjc的博客-CSDN博客

1. 表结构/索引展示

以下将大致描述下本次遇到性能问题涉及的两张表(rep_consultant_first和rep_newcomer_consultant)的表结构和索引。

(1)表结构

a. rep_consultant_first

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

b. rep_newcomer_consultant

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

 mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

(2)各表索引情况

 a. rep_consultant_first

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

b. rep_newcomer_consultant

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

2. 存在性能问题的SQL语句

这条SQL语句的意图在于找出rep_newcomer_consultant表中缺失的存在于rep_consultant_first表中的数据,即可求这两张表的差集(rep_consultant_first - rep_newcomer_consultant),简单说就是下图里的红色填充区域。

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

select consultantNumber,
       customerId,userName,
			 telephoneNumber,
			 sponsorConsultantNumber,
			 signUpDate 
from rep_consultant_first rcf left join rep_newcomer_consultant rnco
 on rnco.rncoConsultantNumber=rcf.consultantNumber
where rnco.rncoConsultantNumber is null;

 直接运行后我们发现这条语句运行了好几十分钟依旧没有结果,假如只是稍微慢一点那可能勉强说得过去,但是目前这种情况实在是到无法接受的情况了!!!

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

3. 解决思路

(1)执行计划思路调优

一般SQL慢了,第一个想的一定是查一下执行计划是不是哪个环节没有走索引,走了全表扫描,让我们选中SQL部分,点击“解释已选择的”来看下这条SQL的执行计划详情:

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

 从执行计划中我们看到别名为rcf(即rep_consultant_first表)的type方式走了ALL,即全表扫描,那自然而然我们会先想从这里去优化。

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

回到rep_consultant_first表的索引位置,我们看到在select后筛出来的字段里只有consultant number和sponsorConsultantNumber字段上有索引而其他并没有,所以不可避免走了全表扫描

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

那我们先尝试下给未加索引的字段加上一组索引,大致流程如下:

a. 找到所要加索引字段所在的表(rep_consultant_first),右键点击后选择"设计表"

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

b. 找到索引选项卡,添加索引TestIndex,最后点击保存。

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

 mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

 mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

让我们重新回到一开始的SQL,看一下加完索引后是否执行计划有优化:

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

可以看出,执行计划的TYPE从ALL变成了INDEX且EXTRA列明确说明了Using index了,那说明执行计划确实改变了,没有扫全表,不过遗憾的是。。。SQL依旧跑不出来。。。

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

(2)字符集匹配调优

此时真的黔驴技穷了么??还真没有 !足球篮球世界里我们经常看到最后时刻逆袭的致命一击取得胜利,在SQL优化里我们同样有这样的机会! 仔细回想了下,似乎在MYSQL相关手册资料中的优化TIPS里除了添加相关字段索引之外,那left join中关联两表的字段,字符集是否需要统一???

有了这个思路,我们立马着手再看下这条问题SQL语句,我们重点关注rep_consultant_first表上的consultantNumber字段以及rep_newcomer_consultant表上的rncoConsultantNumber字段:

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

对比之下,立马看出了区别!在rep_consultant_first上字段consultantNumber的字符集为utf8mb4,而rep_newcomer_consultant上字段rncoConsultantNumber的字符集为gbk。在官方相关文档中提到过关联字段除了需要有索引外,拥有相同的字符集以及数据类型相当重用,这会极大影响查询速度!

接下来我们来具体操作下,可以将rep_newcomer_consultant上字段rncoConsultantNumber的字符集改从gbk改为utf8mb4,排序方式也改为和rep_consultant_first表一样的utf8mb4_0900_ai_ci试一试,点击保存按钮:

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

保存成功后,我们立马再运行下慢SQL:

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

一下子只有0.885秒了!!速度飙升到无法言喻的速度!至此我们基本算优化成功了。

(三)总结

经过这个案例后,我搜罗总结了下本例涉及到一些优化注意点:

1. 关于执行计划中TYPE的性能比较

 mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

2. 关于left join优化

1、left join选择小表作为驱动表(这部分基本是大家的共识)

2、如果左表比较大,并且业务要求驱动表必须是左表,那么我们可以通过where条件语句,使得左表被过滤的小一些,主要原理和第一条类似

3、关联字段给索引,因为在mysql的嵌套循环算法中,是通过关联字段进行关联,并查询的,所以给关联字段索引很必要

4、如果sql里面有排序,请给排序字段加上索引,不然会造成排序使用全表扫描
        参考:https://www.oschina.net/question/930697_2190172      
5、如果where条件中含有右表的非空条件(除开is null),则left join语句等同于join语句,可直接改写成join语句。 

6、根据文档,MySQL能更高效地在声明具有相同类型和尺寸的列上使用索引。所以把表与表之间的关联字段给上encoding和collation(决定字符比较的规则)全部改成统一的类型

7、右表的条件列一定要加上索引(主键、唯一索引、前缀索引等),最好能够使type达到range及以上(ref,eq_ref,const,system) 

3. 其他注意点

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引

mysql left join 慢,日常其他数据运维,mysql,数据库,sql,SQL性能优化,索引文章来源地址https://www.toymoban.com/news/detail-782538.html

到了这里,关于关于Mysql使用left join写查询语句执行很慢的问题解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MSQL系列(十三) Mysql实战-left/right/inner join 使用详解及索引优化

    Mysql实战-left/right/inner join 使用详解及索引优化 前面我们讲解了B+Tree的索引结构,也详细讲解下Join的底层驱动表 选择原理,今天我们来了解一下为什么会出现内连接外连接,两种连接方式,另外实战一下内连接和几种最常用的join语法 Left join 左表 left join 右表查询 right join 左

    2024年02月05日
    浏览(34)
  • MySQL left join 和 left outer join 区别

    先说结论: left join 和 left outer join 的结果是一致的。 我不知道各位大神是怎么测试的,网上面就说两个不一样,我A、B表都是有重复数据的,为啥结果是一样的。 表A 表B 左连接 左外连接 以下MySQL官方文档的说明(2664页),outer join是为了某些第三方程序的兼容性而存在的。 微软

    2024年02月10日
    浏览(30)
  • SQL联表查询LEFT JOIN 数据去重复

    使用left join联表查询时,如果table1中的一条记录对应了table2的多条记录,则会重复查出id相同的多条记录。 解决方法: 将查询结果作为中间表,使用group by 进行去重 如果想对group by后的数据计算count,可以将查询结果作为中间表再计算count

    2024年02月11日
    浏览(33)
  • 业务数据LEFT JOIN 多表查询慢--优化操作

    首先你会想到,给表加索引,那么mysql会给主键自动建立索引吗? 会的,当然会。 在我们查询的业务表操作的时候,表业务数据庞大起来的时候,以及left join多的时候,甚至多表关联到几十张表的时候,查询是慢到不行。 这时候,只需要给表join查询的字段,及表结构,进行索

    2024年02月02日
    浏览(30)
  • MySQL Inner Join 和 Left Join 详解

    Inner Join Inner Join 是一种 SQL 查询语句,用于在两个或多个表中查找共有的行。Inner Join 的语法如下: SELECT column_name(s) FROM table1 INNER JOIN table2 ON table1.column_name = table2.column_name; 其中, table1 和 table2 是需要连接的表, column_name 是需要返回的列名。 ON 用于指定连接条件。

    2024年02月05日
    浏览(37)
  • 工作的记录 left join on and 和 inner join on and的多条件查询区别

    eElasticsearch使用——结合MybatisPlus使用ES es和MySQL数据一致性 结合RabbitMQ实现解耦-CSDN博客 关于相对定位与绝对定位的区别_相对定位和绝对定位的区别-CSDN博客 display:flex(弹性盒子布局)详解_display: flex-CSDN博客 justify-content - CSS:层叠样式表 | MDN (mozilla.org) align-items - CSS:层叠样式

    2024年02月10日
    浏览(32)
  • MySQL - Left Join和Inner Join的效率对比,以及优化

    最近在写代码的时候,遇到了需要多表连接的一个问题,初始sql类似于: 这样的多个left join组合,总觉得这种写法是有问题的,后续使用inner join发现速度要比left join快一些 关于left join的概念,大家是都知道的(返回左边全部记录,右表不满足匹配条件的记录对应行返回nul

    2024年02月03日
    浏览(36)
  • Mysql表关联简单介绍(inner join、left join、right join、full join不支持、笛卡尔积)

    A 是1、2、3 B是2、3、4 A、B的交集是A∩B = 2、3 A、B的并集是 AUB = 1、2、3、4 A、B的差集是 A-B = 1 B、A的差集是 B-A = 4 造数据 select A. ,B. from xin_stu_t_bak A inner join xin_teach_t_bak B on A.relation_id = B.id order by A.id; select distinct A. ,B. from xin_stu_t_bak A inner join xin_teach_t_bak B on A.relation_id = B.id

    2024年01月17日
    浏览(39)
  • MySQL—一条查询SQL语句的完整执行流程

    表结构和数据如下: 我们分析的sql语句如下: 大体来说,MySQL可以分为Server层和存储引擎层两部分: Server层 包括:连接器、查询缓存、分析器、优化器、执行器等 涵盖MySQL的大多数核心服务功能 所有的内置函数(如日期、时间、数学和加密函数等),所有跨存储引擎的功能都在

    2024年04月28日
    浏览(47)
  • mysql的两张表left join 进行关联后,索引进行优化案例

    1.表1没加索引  2.表2没加索引 3.查看索引 1.表1添加索引   2.表2添加索引   3.查看  

    2024年02月12日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包