MySQL优化:12种提升SQL执行效率的有效方法

这篇具有很好参考价值的文章主要介绍了MySQL优化:12种提升SQL执行效率的有效方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在数据库管理和优化的世界里,MySQL作为一个流行的关系型数据库管理系统,其性能优化是任何数据密集型应用成功的关键。优化MySQL数据库不仅可以显著提高SQL查询的效率,还能确保数据的稳定性和可靠性。

在本文中,我将介绍12种提升SQL执行效率的有效方法,并通过实用的代码示例来具体展示如何实施这些优化策略。

本文,已收录于,我的技术网站 ddkk.com,有大厂完整面经,工作技术,架构师成长之路,等经验分享文章来源地址https://www.toymoban.com/news/detail-792552.html

1、使用索引优化查询

使用场景:当你的数据库表中有大量数据,而你需要频繁进行搜索查询时,索引是提高查询效率的关键。

代码示例

-- 假设我们有一个员工表 employees
CREATE TABLE employees (
    id INT AUTO_INCREMENT,
    name VARCHAR(100),
    department_id INT,
    PRIMARY KEY (id)
);

-- 为department_id字段创建索引
CREATE INDEX idx_department ON employees(department_id);

-- 使用索引进行查询
SELECT * FROM employees WHERE department_id = 5;

代码解释

第一步是创建一个包含id, name, department_id字段的employees表。

然后为department_id字段创建一个索引idx_department。这个操作会让基于department_id的查询更快。

最后,我们执行一个查询,利用创建的索引,从而提高查询效率。

最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉,进大厂原来没那么难。这是大佬写的, 七千页的BAT大佬写的刷题笔记,让我offer拿到手软

2、优化查询语句

使用场景:避免使用高成本的SQL操作,如**SELECT ***,尽量指定需要的列,减少数据传输和处理时间。

代码示例

-- 不推荐的查询方式
SELECT * FROM employees;

-- 推荐的查询方式
SELECT id, name FROM employees;

代码解释

第一个查询语句使用了**SELECT ***,它会获取所有列,这在数据量大时非常低效。

第二个查询仅请求需要的idname列,减少了数据处理的负担。

3、使用查询缓存

使用场景:当相同的查询被频繁执行时,使用查询缓存可以避免重复的数据库扫描。

代码示例

-- 启用查询缓存
SET global query_cache_size = 1000000;
SET global query_cache_type = 1;

-- 执行查询
SELECT name FROM employees WHERE department_id = 5;

代码解释

通过设置query_cache_sizequery_cache_type,我们启用了查询缓存。

当我们执行查询时,MySQL会检查缓存中是否已经有了该查询的结果,如果有,则直接返回结果,避免了重复的数据库扫描。

4、避免全表扫描

使用场景:当表中数据量巨大时,全表扫描会非常耗时。通过使用合适的查询条件来避免全表扫描,可以显著提高查询效率。

代码示例

-- 假设我们需要查询员工表中特定部门的员工
-- 不推荐的查询方式,会导致全表扫描
SELECT * FROM employees WHERE name LIKE '%张%';

-- 推荐的查询方式
SELECT * FROM employees WHERE department_id = 3 AND name LIKE '%张%';

代码解释

第一个查询使用了模糊匹配LIKE,但缺乏有效的过滤条件,可能导致全表扫描。

第二个查询在name字段的模糊匹配前,增加了对department_id的条件过滤,这样就可以先缩小查找范围,避免全表扫描。

5、使用JOIN代替子查询

使用场景:在需要关联多个表的复杂查询中,使用JOIN代替子查询可以提高查询效率。

代码示例

-- 假设我们有一个部门表 departments
CREATE TABLE departments (
    id INT AUTO_INCREMENT,
    name VARCHAR(100),
    PRIMARY KEY (id)
);

-- 不推荐的子查询方式
SELECT * FROM employees WHERE department_id IN (SELECT id FROM departments WHERE name = 'IT');

-- 推荐的JOIN查询方式
SELECT employees.* FROM employees JOIN departments ON employees.department_id = departments.id WHERE departments.name = 'IT';

代码解释

第一个查询使用了子查询,这在执行时可能效率较低,特别是当子查询或主查询的结果集较大时。

第二个查询使用了JOIN操作,这通常比子查询更有效,尤其是在处理大型数据集时。

6、合理分页

使用场景:在处理大量数据的列表展示时,合理的分页策略可以减少单次查询的负担,提高响应速度。

代码示例

-- 假设我们需要分页显示员工信息
-- 不推荐的分页方式,尤其是当offset值很大时
SELECT * FROM employees LIMIT 10000, 20;

-- 推荐的分页方式,使用更高效的条件查询
SELECT * FROM employees WHERE id > 10000 LIMIT 20;

代码解释

第一个查询使用了LIMIT和较大的偏移量offset,在大数据集上执行时会逐行扫描跳过大量记录,效率低下。

第二个查询通过在WHERE子句中添加条件来避免不必要的扫描,从而提高分页效率。

最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉,进大厂原来没那么难。这是大佬写的, 七千页的BAT大佬写的刷题笔记,让我offer拿到手软

7、利用分区提高性能

使用场景:对于大型表,特别是那些行数以百万计的表,使用分区可以提高查询性能和数据管理效率。

代码示例

-- 假设我们需要对一个大型的订单表 orders 进行分区
CREATE TABLE orders (
    order_id INT AUTO_INCREMENT,
    order_date DATE,
    customer_id INT,
    amount DECIMAL(10, 2),
    PRIMARY KEY (order_id)
) PARTITION BY RANGE ( YEAR(order_date) ) (
    PARTITION p2020 VALUES LESS THAN (2021),
    PARTITION p2021 VALUES LESS THAN (2022),
    PARTITION p2022 VALUES LESS THAN (2023)
);

-- 查询特定年份的订单
SELECT * FROM orders WHERE order_date BETWEEN '2021-01-01' AND '2021-12-31';

代码解释

我们为orders表创建了基于order_date字段的年份范围分区。

查询特定年份的数据时,MySQL只会在相关分区中搜索,提高了查询效率。

8、利用批处理减少I/O操作

使用场景:在进行大量数据插入或更新时,批处理可以减少数据库的I/O操作次数,从而提高性能。

代码示例

-- 批量插入数据
INSERT INTO employees (name, department_id)
VALUES 
    ('张三', 1),
    ('李四', 2),
    ('王五', 3),
    -- 更多记录
;

-- 批量更新数据
UPDATE employees
SET department_id = CASE name
    WHEN '张三' THEN 3
    WHEN '李四' THEN 2
    -- 更多条件
END
WHERE name IN ('张三', '李四', -- 更多名称);

代码解释

在批量插入示例中,我们一次性插入多条记录,而不是对每条记录进行单独的插入操作。

在批量更新示例中,我们使用CASE语句一次性更新多条记录,这比单独更新每条记录更有效率。

9、使用临时表优化复杂查询

使用场景:对于复杂的多步骤查询,使用临时表可以存储中间结果,从而简化查询并提高性能。

代码示例

-- 创建一个临时表来存储中间结果
CREATE TEMPORARY TABLE temp_employees
SELECT department_id, COUNT(*) as emp_count
FROM employees
GROUP BY department_id;

-- 使用临时表进行查询
SELECT departments.name, temp_employees.emp_count
FROM departments
JOIN temp_employees ON departments.id = temp_employees.department_id;

代码解释

首先,我们通过聚合查询创建了一个临时表temp_employees,用于存储每个部门的员工计数。

然后,我们将这个临时表与部门表departments进行连接查询,这样的查询通常比直接在原始表上执行复杂的聚合查询要高效。

10、优化数据类型

使用场景:在设计数据库表时,选择合适的数据类型对性能有显著影响。优化数据类型可以减少存储空间,提高查询效率。

代码示例

-- 原始表结构
CREATE TABLE example (
    id INT AUTO_INCREMENT,
    description TEXT,
    created_at DATETIME,
    is_active BOOLEAN,
    PRIMARY KEY (id)
);

-- 优化后的表结构
CREATE TABLE optimized_example (
    id MEDIUMINT AUTO_INCREMENT,
    description VARCHAR(255),
    created_at DATE,
    is_active TINYINT(1),
    PRIMARY KEY (id)
);

代码解释

在原始表中,使用了INTTEXT这样的宽泛类型,这可能会占用更多的存储空间。

在优化后的表中,id字段改为MEDIUMINTdescription改为长度有限的VARCHAR(255)created_at只存储日期,而is_active使用**TINYINT(1)**来表示布尔值。这样的优化减少了每行数据的大小,提高了存储效率。

11、避免使用函数和操作符

使用场景:在WHERE子句中避免对列使用函数或操作符,可以让MySQL更有效地使用索引。

代码示例

-- 不推荐的查询方式,使用了函数
SELECT * FROM employees WHERE YEAR(birth_date) = 1980;

-- 推荐的查询方式
SELECT * FROM employees WHERE birth_date BETWEEN '1980-01-01' AND '1980-12-31';

代码解释

在第一个查询中,使用 YEAR() 函数会导致MySQL无法利用索引,因为它必须对每行数据应用函数。

第二个查询直接使用日期范围,这样MySQL可以有效利用birth_date字段的索引。

12、合理使用正规化和反正规化

使用场景:数据库设计中的正规化可以减少数据冗余,而反正规化可以提高查询效率。合理平衡这两者,可以获得最佳性能。

代码示例

-- 正规化设计
CREATE TABLE departments (
    department_id INT AUTO_INCREMENT,
    name VARCHAR(100),
    PRIMARY KEY (department_id)
);

CREATE TABLE employees (
    id INT AUTO_INCREMENT,
    name VARCHAR(100),
    department_id INT,
    PRIMARY KEY (id),
    FOREIGN KEY (department_id) REFERENCES departments(department_id)
);

-- 反正规化设计
CREATE TABLE employees_denormalized (
    id INT AUTO_INCREMENT,
    name VARCHAR(100),
    department_name VARCHAR(100),
    PRIMARY KEY (id)
);

代码解释

在正规化设计中,departmentsemployees表被分开,减少了数据冗余,但可能需要JOIN操作来获取完整信息。

在反正规化设计中,employees_denormalized表通过直接包含部门信息来简化查询,提高读取性能,但可能会增加数据冗余和更新成本。

项目文档&视频:

开源:项目文档 & 视频 Github-Doc

总结

以上提到的优化方法只是众多MySQL优化技术中的一小部分。在实际应用中,应根据具体的数据模式和查询需求灵活选择最合适的优化策略。数据库优化是一个持续的过程,定期的性能评估和调优是保持数据库高效运行的关键。通过实践这些优化技巧,你可以显著提升数据库的性能和响应速度。

本文,已收录于,我的技术网站 ddkk.com,有大厂完整面经,工作技术,架构师成长之路,等经验分享

到了这里,关于MySQL优化:12种提升SQL执行效率的有效方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【MySQL性能优化】- MySQL结构与SQL执行过程

    😄生命不息,写作不止 🔥 继续踏上学习之路,学之分享笔记 👊 总有一天我也能像各位大佬一样 🏆 博客首页   @怒放吧德德  To记录领地 🌝分享学习心得,欢迎指正,大家一起学习成长! 上阶段初步学习了索引与优化,以及对Explain的使用,接着来就来初识一下SQL执行

    2024年01月21日
    浏览(71)
  • 玩转MySQL之SQL优化之EXPLAIN执行计划

    从今天开始本系列文章就带各位小伙伴学习数据库技术。 数据库技术是Java开发中必不可少的一部分知识内容。也是非常重要的技术。本系列教程由浅入深, 全面讲解数据库体系。 非常适合零基础的小伙伴来学习。 全文大约 【1965】字 ,不说废话,只讲可以让你学到技术、明

    2024年02月08日
    浏览(53)
  • MySQL SQL性能分析,快速排查SQL执行慢的原因(SQL优化 一)

    在开发和维护数据库应用程序时,优化SQL查询的性能是至关重要的。MySQL提供了一些强大的工具和技术,帮助我们进行SQL性能分析,找出潜在的瓶颈并进行相应的优化。 查看SQL的执行频率 show [ session| global ] status 命令查看服务器状态信息,可以查看当前数据库的INSERT、UPDATE、

    2024年02月07日
    浏览(100)
  • 13.108.Spark 优化、Spark优化与hive的区别、SparkSQL启动参数调优、四川任务优化实践:执行效率提升50%以上

    13.108.Spark 优化 1.1.25.Spark优化与hive的区别 1.1.26.SparkSQL启动参数调优 1.1.27.四川任务优化实践:执行效率提升50%以上 1.1.25.Spark优化与hive的区别 先理解spark与mapreduce的本质区别,算子之间(map和reduce之间多了依赖关系判断,即宽依赖和窄依赖。) 优化的思路和hive基本一致,比较

    2024年02月10日
    浏览(50)
  • Rust 性能优化 : Rust 性能优化技巧,提升 Rust 程序的执行效率和资源利用率 The Rust Performance

    作者:禅与计算机程序设计艺术 在过去的几年中,随着编程语言的快速发展,编程人员已经逐渐从依赖编译型语言转向了使用解释型语言。相对于编译型语言来说,解释型语言具有更快的执行速度,在某些情况下甚至可以实现接近编译器的运行时效率。但是另一方面,这些语

    2024年02月07日
    浏览(89)
  • 【mysql】SQL优化15种方法

        其实,开发项目上线初期,由于业务数据量相对较少,一些SQL的执行效率对程序运行效率的影响不太明显,而开发和运维人员也无法判断SQL对程序的运行效率有多大,故很少针对SQL进行专门的优化,     但是,随着时间的积累,业务数据量的增多,SQL的执行效率对程

    2024年02月15日
    浏览(143)
  • 一种提升SQL改写效率的方法

    本文分享自天翼云开发者社区《一种提升SQL改写效率的方法》,作者:唐****律 一、 背景 SQL改写是数据库产品中使用比较频繁的一个技术,在大多数产品中的调用频率也非常高,通常对性能的需求需要接近对应数据库产品的上限。例如在天翼云关系型数据库中的Mysql语法兼容组

    2024年02月08日
    浏览(59)
  • mysql并行效率提升

    下面是一个并行读取mysql数据库表的测试程序,测试结果发现,读取10个表,1个个读取,和并行读取10个,效率一样,甚至并行读取还慢很多,这是为什么? 检查一下mysql后端: 原来啊,这个outgoing network traffic一直上不去,从数据库读取出来的数据,发不出去,也就返回不了

    2024年02月11日
    浏览(50)
  • 【MySQL】MySQL中SQL执行流程

    连接器(Connector) : 当客户端发送一个连接请求时,连接器负责接受并建立与MySQL服务器的连接。它进行身份验证、权限验证等操作,并为客户端分配一个会话(Session)。 查询缓存(Query Cache) : 在连接建立后,MySQL可以使用查询缓存来提高查询性能。查询缓存会检查当前

    2024年02月11日
    浏览(51)
  • MySQL索引优化:提升查询速度的实战解析

    当涉及到大型数据库和复杂查询时,索引在MySQL中是一个重要的性能优化工具。通过使用索引,可以加速查询速度,减少查询的执行时间。下面是一个详细的MySQL添加索引的教程,使用Markdown格式进行说明。 步骤1:选择合适的列 首先,需要选择哪些列需要添加索引。通常情况

    2024年02月12日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包