SQL 优化换汤不换药的时代变了与SQL审核

这篇具有很好参考价值的文章主要介绍了SQL 优化换汤不换药的时代变了与SQL审核。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

SQL 优化换汤不换药的时代变了与SQL审核,sql,数据库

开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到3群(共1000人左右 1 + 2 + 3) 

注明:最近加的人有点多,如果您如果要加入2群,请说明自己的职业和为什么加入,不提直接进三群。

最近在某个群关于MYSQL 的一个优化的问题,让我必须写这篇文字,主要事情是一个同学提出MYSQL 相关的语句性能的问题,但是这个语句一看就不大像是搞基于MYSQL 开发有经验的人员撰写的,更像是ORACLE移植过来的语句,这边解释了一下关于MYSQL 语句优化的几种方法,基于MYSQL的数据库产品,不能将所有的语句优化都堆积到 MYSQL 数据库本身,而应是有步骤的,将一部分优化的方式迁移到程度端来操作,并提出优化后会产生多次访问数据库的情况。

这里有一位同学提出异议,认为多次访问数据库,与一次性访问数据库本身相比,一次性访问数据库获得结果是快速的高效的,所以主要的方式还是应该在SQL本身的优化上。关于这个问题我提出了异议

1  时代不同了,ORACLE 的优化思路在某些数据库上是无法继续的,单纯只从SQL的角度出发,无异于杀鸡取卵,不停的压榨数据库本身的能力,不如将这部分压力分散到,该承接的部分。

2  MYSQL的优化器无法和 ORACLE 相提并论,并且提出一次性访问,比多次访问寄存结果的方式要好的理论,在当前已经可以逐步的抛弃了,提出这个理论与强调存储过程是一个思路,在MYSQL中是没有大量使用存储过程的先例,或成功的案例,继续守着ORACLE 的思路来优化MYSQL 如同痴人说梦。

3  一次性访问不一定比多次访问获得结果要好,这样看非常的片面,如在高并发的场景下,每次访问的时间最小化是重点,一次性访问必然会牵扯更多的表,在一个时间分片被锁定资源,高并发中 DML DQL 等混杂,表中的资源最小时间粒度,最低复杂粒度的被占用,这才是MYSQL的数据库的特点,而不是写一坨SQL 然后不断的调优,你一个SQL 是可以,但量表导致质变,治标不治本的方案,还要继续到什么时候。

从更深的角度切入另一个DBA 工作范围的问题

说到SQL 优化和SQL 审核这应该是DBA的天职,或者说你这个职业就是干这个的这应该没有人反对,甚至曾经一度出现过一个DBA的分支,SQL 优化工程师。 但是好日子慢慢的不在了,现在SQL优化工程师这个职位已经很长时间看不到了,同时SQL 优化的文字见的也越来越少,WHY,一度热门的部分怎么就声音减弱了????

下面总结一下相关的原因

1  基于早年的数据库时代无论是 ORACLE , SQL SERVER 等数据库基于开发软件的思路和当时开发软件的能力,都是在基于数据库为中心的开发模式,存储过程,SQL ,函数,大事务,等非常多见,这就导致SQL 优化是一个非常重要的部分,优化好SQL自然数据库就可以在不添加硬件扩展的基础上可以继续的良好的工作,这是一个降本增效的工作,也是一个涉及数据库安全的工作,维稳的工作,这就是当年数据库的工作重点。

但是往日不如今日,整体的数据库软件,开发体系,全都在变革,目前整体的开发的思路已经转移到以微服务为主的开发模式中,也就是集中化的开发思想过时了,每个微服务知识一个模块,从根本上就把大事务和存储过程这个部分消灭了,导致SQL 变得简单,所以优化的部分变得少了。

同时开发中开发自己不写SQL的情况越来越多,通过开发IDE自己撰写SQL,转化SQL的方式越来越多,本身这些开发软件就有SQL的一些优化的特性。除此以外,基于这样的开发方法,SQL基本在这个情况下,无法进行改变,那么继续强调SQL 优化,如同 去了贫困山区,人家饭都吃不饱,你问人家,你怎么不吃肉 ,---- 可笑的是谁???

2  基于硬件的变化,早年间基于数据库的硬件非常昂贵,所以添加硬件本来就是一个费力不讨好的事情,花钱,然后被领导指着SQL优化不好,导致必须硬件抗,所以SQL 优化的好,在数据库方面就可以减少硬件的升级,但目前数据库的硬件本身就可以很好的扩充,整体的硬件体系的变化导致一般的硬件就可以满足目前一些垃圾SQL 的运行,让SQL优化的时间的越来越靠后。

3  基于数据库体系的变化,数据库体系在不断的变化,SQL的优化在有些数据库上,已经变得不那么重要了,分布式数据库本身要求SQL就是短小精悍,同时一些云原生的数据库出现,让快速添加节点,读写分离,自动优化等变得稀松平常,SQL优化的80-90%的工作已经不存在了,剩下那些极端的情况也在上面开发体系的变化中被消磨了,尤其新的项目中,通过数据库自身的一些特性来解决SQL 优化的问题,成为一个新的知识点,数据库的架构如何搭配,分散,解耦,项目中用 3种以上的数据库类型很正常,这也导致复杂的SQL 不存在了,所以新的项目中提到SQL 优化的事情越来越少,并且目前大部分数据库都有并行的模式,这也导致在硬件变强后,SQL 优化的问题又滞后了,让普通业外人士越来越忽视这个问题。

4  数据处理方式的变化,这点也是让一些SQL优化被消磨殆尽的一个原因,原有在数据库处理的OLAP的工作,已经被大数据,新型的数据库产品,处理,数据库本身承担的责任变小了,所以导致SQL持续的简单化,容器化,这也让SQL的优化的工作变少了。尤其MYSQL数据库大大量应用,让数据库容器化的思维模式更加的盛行,周边解决数据库的OLAP的方案甚多,如CLICKHOUSE, HTAP 的方案,如POALRDB FOR MYSQL + IMCI 的方式,让曾经费劲的SQL 优化,在你添加了这些东西后,都不是问题了。

最终方方面的情况叠加,导致SQL的优化工作越来越少。

而另一个关于SQL 审核的工作这方面的工作也在变革中,原来SQL审核主要是在安全性方面进行工作,SQL 写的对不对,写的好不好,有没有安全或性能风险是一个问题,但是现代整体的开发软件的体系的变化,让这个部分也在变化,没有无缘无故的变化,只是日积月累导致你突然发现,SQL 审核的工作中随着应用的数据库种类的变化,市面上少有全栈的SQL审核工具,开源的更是如此,SQL 审核已经成一个问题,同时对于不同数据库对于DDL 的特性的部分,目前的SQL审核工具也没有智能化的发展,比如POSTGRESQL 发现数据字段类型变化就告警的部分,或者MYSQL 8 ,MYSQL 5.7 对于DDL 不同方式的处理,与告警的区别,所以SQL审核工具更加的智能化,兼容更多的数据库产品是一个问题,所以在目前的状态下,SQL 审核的工作还是需要纯人工的,目前看这个工作是DBA 的一个还需要手工操作的部分。

随着各种国产数据库的部分介入,在SQL 优化方面POSTGRESQL 将是一个重要的部分,基于国产数据库大多基于POSTGRESQL 的为源代码组成,理解POSTGRESQL 的一些语句执行和优化的特点,将是下一个SQL 优化工作的重点。

总结:SQL 优化这个工作会继续存在,但会持续的被各种数据库的变化所减弱,chatgpt 对于SQL的撰写与优化也可能成为一种可以实现的事情,所有使用数据库的类型变了,硬件变了,数据库应用开发的场景变了,唯有 SQL 优化是不变的,你自己信吗 !世界在变化,唯不变的,就是一直在变化 !

SQL 优化换汤不换药的时代变了与SQL审核,sql,数据库文章来源地址https://www.toymoban.com/news/detail-570000.html

到了这里,关于SQL 优化换汤不换药的时代变了与SQL审核的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [MySQL]SQL优化之sql语句优化

    🌈键盘敲烂,年薪30万🌈 目录 一、索引优化 回顾: 📕索引分类: 📕索引失效: 📕设计原则: 📕SQL性能分析 二、SQL优化 语句优化 📕 insert语句: 📕 主键优化: 📕 order by优化: 📕 group by优化: 📕 limit 优化 📕 count 优化 📕 update 优化  📕索引分类: 一般分类:主

    2024年02月04日
    浏览(43)
  • 神奇的三门问题,到底换不换门

    熬夜无聊刷b站的时候刷到了一个有趣的视频,讲的是一个概率论问题【三门问题】,感觉很有意思,就记了下来。 这是原视频链接:神奇的三门问题 简单介绍下三门问题:现在有三扇门,两扇门后是山羊,一扇门后是跑车,随机选择一道门,如果门后是跑车,就中奖,否则

    2024年02月16日
    浏览(34)
  • 逻辑(css3)_强制不换行

    需求 如上图做一个跑马灯数据,时间、地点、姓名、提示文本字数都不是固定的。 逻辑思想 个人想法是给四个文本均设置宽度,不然会出现 不能左对齐 的现象。 此时四个文本均左对齐, 垂直排列样式也比较好看,但是出现一个缺点: 某些手机屏幕上会 折行 。 此时可以

    2024年02月06日
    浏览(41)
  • Python中print()打印如何不换行?

    print() 函数用于打印输出,是python中最常见的一个内置函数。 如何在Python中打印两个或多个变量、语句时而不进入新行? 因为python中函数有一个预定义的格式,如果使用print(a_variable) 默认会换行 。 运行后的结果为: 但是有时我们不想转到下一行,在python2 和python3 中使用不

    2024年02月07日
    浏览(50)
  • 解决前端“\n”不换行问题

    在日常开发过程中,换行显示是一种很常见的应用需求,但是偶然发现,有时候使用 \\\"n\\\"并不会换行显示,只会被识别为空格,如下图。 通过上图可以看出,\\\"n\\\"它被识别成了一个空格显示,并没有达到换行的效果,那我们应该如何实现换行呢? 其实很简单,我们只需要对文

    2024年02月07日
    浏览(36)
  • 终端多行刷新实现方法(原位不换行刷新)

    终端多行刷新技术可用于显示特定系统的动态实时视图,代表性程序有Linux系统下的进程管理工具top。多行刷新技术,使得屏幕上的信息能够定期更新而不会出现闪烁的情况。这是通过终端的ANSI转义序列实现的,这些序列允许移动光标或清除屏幕的某些部分。 以下是Python实现

    2024年04月27日
    浏览(47)
  • SQL之SQL优化

    批量插入 手动提交事务 主键顺序插入 如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。操作如下: 主键顺序插入性能高于乱序插入 在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称

    2024年02月04日
    浏览(42)
  • SQL优化(6):count优化

    1 概述 在之前的测试中,我们发现,如果数据量很大,在执行count操作时,是非常耗时的。 MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行 count(*) 的时候会直接返回这个数,效率很高; 但是如果是带条件的count,MyISAM也慢。 InnoDB 引擎就麻烦了,它执行 count(*) 的时候,

    2023年04月26日
    浏览(47)
  • 语义解析技术在大数据时代的应用与前景-自然语言生成SQL与知识图谱问答实战【文末送书-17】

    语义解析技术可以提高人机交互的效率和准确性,在自然语言处理、数据分析、智能客服、智能家居等领域都有广泛的应用前景。特别是在大数据时代,语义解析能够帮助企业更快速地从大量的数据中获取有用的信息,从而提高决策效率。 在大数据时代的背景下,语义解析技

    2024年01月21日
    浏览(57)
  • SQL优化(3):order by优化

    MySQL的排序,有两种方式: Using filesort : 通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。 Using index : 通过有序索引顺序扫描直接返回有序数据,这种情况即为 using

    2024年02月01日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包