Mysql进阶-SQL优化篇

这篇具有很好参考价值的文章主要介绍了Mysql进阶-SQL优化篇。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

插入数据

insert

我们需要一次性往数据库表中插入多条记录,可以从以下三个方面进行优化。

  •  批量插入数据
一条insert语句插入多个数据,但要注意,每个insert语句最好插入500-1000行数据,就得重新写另一条insert语句
Insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');
  • 手动控制事务

我们可以手动控制事务,在多条insert语句之间收起开启和提交事务,防止一次insert之后就提交事务浪费性能

start transaction;
insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');
insert into tb_test values(4,'Tom'),(5,'Cat'),(6,'Jerry');
insert into tb_test values(7,'Tom'),(8,'Cat'),(9,'Jerry');
commit;
  • 主键顺序插入,性能要高于乱序插入
主键乱序插入 : 8 1 9 21 88 2 4 15 89 5 7 3
主键顺序插入 : 1 2 3 4 5 7 8 9 15 21 88 89

大批量插入数据

如果一次性需要插入大批量数据(比如: 几百万的记录),使用insert语句插入性能较低,此时可以使 用MySQL数据库提供的load指令进行插入。操作如下

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 可以执行如下指令,将数据脚本文件中的数据加载到表结构中:

-- 客户端连接服务端时,加上参数 -–local-infile
mysql –-local-infile -u root -p
-- 设置全局参数local_infile为1,开启从本地加载文件导入数据的开关
set global local_infile = 1;
-- 执行load指令将准备好的数据,加载到表结构中
load data local infile '/root/sql1.log' into table tb_user fields
terminated by ',' lines terminated by '\n' ;

主键优化

数据组织方式

 在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表 (index organized table IOT)。

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 行数据,都是存储在聚集索引的叶子节点上的。在InnoDB引擎中,数据行是记录在逻辑结构 page 页中的,而每一个页的大小是固定的,默认16K。 那也就意味着, 一个页中所存储的行也是有限的,如果插入的数据行row在该页存储不小,将会存储到下一个页中,页与页之间会通过指针连接。

 Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 主键顺序插入效果

  1. 从磁盘中申请页, 主键顺序插入

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

        2. 第一个页没有满,继续往第一页插入

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

         3.当第一个也写满之后,再写入第二个页,页与页之间会通过指针连接

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

         4.当第二页写满了,再往第三页写入

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 主键乱序插入效果

页分裂

假如1#,2#页都已经写满了,存放了如图所示的数据

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库 此时再插入id为50的记录,因为要维持主键在内存的顺序,应该插入在47之后,47所在的页所剩的内存并不足以放下50这条记录,此时会开辟一个新的页

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库但是并不会直接将50存入3#页,而是会将1#页后一半的数据,移动到3#页,然后在3#页,插入50。

 Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 移动数据,并插入id为50的数据之后,那么此时,这三个页之间的数据顺序是有问题的。 1#的下一个 页,应该是3#, 3#的下一个页是2#。 所以,此时,需要重新设置链表指针。

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

页合并 

目前表中已有数据的索引结构(叶子节点)如下:

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

当我们对已有数据进行删除时,具体的效果如下: 当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用。跟操作系统删除磁盘空间是类似的,只是逻辑删除,允许其它程序对该空间的数据进行覆盖。

在我们删除记录达到MERGE_THRESHOLD(默认为页的50%,可自己设置),InnoDB会开始寻找最靠近的页(前 或后)看看是否可以将两个页合并以优化空间使用。

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 删除数据,并将页合并之后,再次插入新的数据21,则直接插入3#页

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 主键设计原则

  • 满足业务需求的情况下,尽量降低主键的长度。
  • 插入数据时,尽量选择顺序插入,选择使用AUTO_INCREMENT自增主键。
  • 尽量不要使用UUID做主键或者是其他自然主键,如身份证号。
  • 业务操作时,避免对主键的修改。

 order by优化

MySQL的排序,有两种方式:

Using filesort : 通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序

Using index : 通过有序索引顺序扫描直接返回有序数据,这种情况即为 using index,不需要 额外排序,操作效率高。

对于以上的两种排序方式,Using index的性能高,而Using filesort的性能低,我们在优化排序操作时,尽量要优化为 Using index

 执行排序SQL,由于 age, phone 都没有索引,所以此时再排序时,出现Using filesort, 排序性能较低

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

那我们可以根据我们的业务,如果我们总是需要根据这两个字段来order by排序,那我们可以完全可以为phone和age建立联合索引

create index idx_user_age_phone_aa on tb_user(age,phone);

建立索引之后就优化为Using index

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 这时候如果倒序查,也出现Using index, 但是此时Extra中出现了 Backward index scan,这个代表反向扫描索引,因为在MySQL中我们创建的索引,默认索引的叶子节点是从小到大排序的,而此时我们查询排序 时,是从大到小,所以,在扫描时,就是反向扫描,就会出现 Backward index scan。 在 MySQL8版本中,支持降序索引,我们也可以创建降序索引。

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 这时候我们需要建立倒序索引,就可优化成Using index,只要我们的排序顺序有对应的索引顺序,就可优化成Using index

优化原则

A. 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则。

B. 尽量使用覆盖索引。

C. 多字段排序, 一个升序一个降序,此时需要注意联合索引在创建时的规则(ASC/DESC)。

D. 如果不可避免的出现filesort,大数据量排序时,可以适当增大排序缓冲区大小 sort_buffer_size(默认256k)。

 group by优化

没有索引的情况,进行分组,可以看见用到了临时表,性能较差

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

我们在针对于 profession , age, status 创建一个联合索引。 

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

 再执行前面相同的SQL查看执行计划。已经优化成using index,如果是单单根据age分组,最后还是会走临时表,group by也符合最左前缀法则

Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库

在分组操作中,我们需要通过以下两点进行优化,以提升性能:

A. 在分组操作时,可以通过索引来提高效率。

B. 分组操作时,索引的使用也是满足最左前缀法则的。

limit优化

在数据量比较大时,如果进行 limit 分页查询,在查询时,越往后,分页查询效率越低。
Mysql进阶-SQL优化篇,Mysql,mysql,sql,数据库
通过测试我们会看到,越往后,分页查询效率越低,这就是分页查询的问题所在。
因为,当在进行分页查询时,如果执行 limit 2000000,10 ,此时需要MySQL排序前2000010 记录,仅仅返回 2000000 - 2000010 的记录,其他记录丢弃,查询排序的代价非常大。
优化思路 :
一般分页查询时,通过创建覆盖索引能够比较好地提高性能,也可以通过覆盖索引加子查
询形式进行优化。我们也可以通过limit来查询id,由于id是主键索引,效率较高,通过子查询的形式作为临时表,返回排序好的id表,来进行多表联查,总的查询也是走的id索引,性能较高

 count优化

概述

MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行 count(*) 的时候会直接返回这个
数,效率很高; 但是如果是带条件的 countMyISAM 也慢
InnoDB 引擎就麻烦了,它执行 count(*) 的时候,需要把数据一行一行地从引擎里面读出
来,然后累积计数。这样子效率低

 主要的优化思路:

自己计数,可以借助于redis这样的数据库进行,redis本身就有自增长的键,可以满足这一业务,但是如果是带条件的count又比较麻烦了,可以说这一问题还是比较麻烦的

 count用法

count() 是一个聚合函数,对于返回的结果集,一行行地判断,如果 count 函数的参数不是
NULL,累计值就加 1 ,否则不加,最后返回累计值。
用法: count * )、 count (主键)、 count (字段)、 count (数字)
按照效率排序的话, count( 字段 ) < count( 主键 id) < count(1) ≈ count(*) ,所以
量使用 count(*)。
count
含义
count( 主键)
InnoDB 引擎会遍历整张表,把每一行的 主键 id 值都取出来,返回给服务层。服务层拿到主键后,直接按行进行累加( 主键不可能为 null)
count( 字 段)
没有not null 约束 : InnoDB 引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,服务层判断是否为null ,不为 null ,计数累加。
有not null 约束 InnoDB 引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,直接按行进行累加
count(
)
InnoDB 引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字 “1” 进去,直接按行进行累加。
count(*)
InnoDB 引擎 并不会把全部字段取出来 ,而是专门做了优化,不取值,服务层直接按行进行累加

update优化

当我们执行此句update语句时,锁住的是这一行数据。

update course set name = 'javaEE' where id = 1 ;

如果执行此句sql执行的是表锁
update course set name = 'SpringBoot' where name = 'PHP' ;

原因是

InnoDB的行锁是针对索引加的锁,不是针对记录加的锁 ,并且该索引不能失效,否则会从行锁 升级为表锁 。我们进行dml操作时,尽量根据索引为查找条件,避免升级成表锁,影响并发文章来源地址https://www.toymoban.com/news/detail-743459.html

到了这里,关于Mysql进阶-SQL优化篇的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【MySQL数据库】MySQL 高级SQL 语句一

    ) % :百分号表示零个、一个或多个字符 _ :下划线表示单个字符 ‘A_Z’:所有以 ‘A’ 起头,另一个任何值的字符,且以 ‘Z’ 为结尾的字符串。例如,‘ABZ’ 和 ‘A2Z’ 都符合这一个模式,而 ‘AKKZ’ 并不符合 (因为在 A 和 Z 之间有两个字符,而不是一个字符)。 ‘ABC%’

    2024年02月09日
    浏览(210)
  • MySQL数据库基础(九):SQL约束

    文章目录 SQL约束 一、主键约束 二、非空约束 三、唯一约束 四、默认值约束 五、外键约束(了解) 六、总结 PRIMARY KEY 约束唯一标识数据库表中的每条记录。 主键必须包含唯一的值。 主键列不能包含 NULL 值。 每个表都应该有一个主键,并且每个表只能有一个主键。 遵循原

    2024年02月19日
    浏览(57)
  • MySQL之SQL与数据库简介

    SQL首先是一门高级语言,同其他的C/C++,Java等语言类似,不同的是他是一种结构化查询语言,用户访问和处理数据库的语言,那类似于C语言,SQL也有自己的标准,目前市面上的数据库系统都支持SQL-92标准 SQL这门语言是具有统一性的,但是不同的数据库支持的SQL有略微差别,

    2024年01月23日
    浏览(49)
  • 数据库应用:MySQL数据库SQL高级语句与操作

    目录 一、理论 1.克隆表与清空表 2.SQL高级语句 3.SQL函数 4.SQL高级操作 5.MySQL中6种常见的约束 二、实验  1.克隆表与清空表 2.SQL高级语句 3.SQL函数 4.SQL高级操作 5.主键表和外键表  三、总结 克隆表:将数据表的数据记录生成到新的表中。 (1)克隆表 ① 先创建再导入 ② 创建

    2024年02月13日
    浏览(75)
  • MySQL基础篇——MySQL数据库客户端连接,数据模型,SQL知识

    作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。   座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​​ 目录 前言 一.客户端连接MySQL 二. 数据模型 1.关系型数据库(RDBMS) 2.数据模型 三.SQL 1.SQL通用语法 2.SQL分类 3.数据库操作 1). 查

    2024年02月06日
    浏览(71)
  • 【MySQL】数据库SQL语句之DML

    目录 前言: 一.DML添加数据 1.1给指定字段添加数据 1.2给全部字段添加数据 1.3批量添加数据 二.DML修改数据 三.DML删除数据 四.结尾   时隔一周,啊苏今天来更新啦,简单说说这周在做些什么吧,上课、看书、放松等,哈哈哈,所以博客就这样被搁了。   今天感觉不错,给大

    2024年02月08日
    浏览(63)
  • MySQL数据库基础(五):SQL语言讲解

    文章目录 SQL语言讲解 一、SQL概述 二、SQL语句分类 1、DDL 2、DML 3、DQL 4、DCL 三、SQL基本语法 1、SQL语句可以单行或多行书写,以分号结尾 2、可使用空格和缩进来增强语句的可读性 3、MySQL数据库的SQL语句不区分大小写,建议使用大写  4、可以使用单行与多行注释 四、总

    2024年02月19日
    浏览(55)
  • 【MySQL】——关系数据库标准语言SQL(大纲)

    🎃个人专栏: 🐬 算法设计与分析:算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础:Java基础_IT闫的博客-CSDN博客 🐋c语言:c语言_IT闫的博客-CSDN博客 🐟MySQL:数据结构_IT闫的博客-CSDN博客 🐠数据结构:​​​​​​数据结构_IT闫的博客-CSDN博客 💎C++:C++_IT闫的博客-CSDN博

    2024年01月20日
    浏览(60)
  • 主流数据库(SQL Server、Mysql、Oracle)通过sql实现多行数据合为一行

    1、方法一:使用 STUFF 和 FOR XML PATH 进行多行合并成一行 (1)FOR XML PATH用法 FOR XML 是 SQL Server 提供的一种功能,允许您将查询结果转换为 XML 格式。 PATH 模式则是其中一种灵活的方式来构造自定义的XML结构。 1、基本字符串连接 : 当您想从单列中提取所有行的数据并连接成一

    2024年04月10日
    浏览(59)
  • MySQL数据库入门到精通1--基础篇(MySQL概述,SQL)

    目前主流的关系型数据库管理系统: Oracle:大型的收费数据库,Oracle公司产品,价格昂贵。 MySQL:开源免费的中小型数据库,后来Sun公司收购了MySQL,而Oracle又收购了Sun公司。 目前Oracle推出了收费版本的MySQL,也提供了免费的社区版本。 SQL Server:Microsoft 公司推出的收费的中

    2024年02月07日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包