【性能优化】MySql数据库查询优化方案

这篇具有很好参考价值的文章主要介绍了【性能优化】MySql数据库查询优化方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

阅读本文你的收获

  1. 了解系统运行效率提升的整体解决思路和方向
  2. 学会MySQl中进行数据库查询优化的步骤
  3. 学会看慢查询、执行计划、进行性能分析、调优

一、问题:如果你的系统运行很慢,你有什么解决方案?

​关于这个问题,我们通常首先考虑的是硬件升级,毕竟服务器的内存、CPU、磁盘IO速度 、网络速度等都是制约我们系统快慢的首要因素。硬件的升级相对来说比较容易,花点钱买台好点的服务器就行了。如果你用的是云服务器,那就更Easy了,花钱升级增配就行了,几分钟就完成了。
那程序(软件)层面我们怎么进行优化呢?我想,主要是以下几个方面:

  1. 前端方面的优化
    页面缓存、前端框架层面的优化等
  2. 应用程序方面的优化:
  • 代码层面进行一些优化,如采用更加适合的数据容器、处理逻辑/算法方便的改进;
  • 采用性能更好的数据库访问技术,如Dapper比EF性能好,执行原生SQL语句比用ORM快等
  • 引入缓存机制,缓存热点数据以减轻数据库I/O压力
  • 采用异步编程,提高接口吞吐量等
  1. 数据库层面的优化
  • 识别慢查询
  • 加索引
  • 通过执行计划,优化SQL语句
  • 采用存储过程
  • 读写分离
  • 分库分表等

除此以外,还有Web服务器,如IIS服务器的调优、系统架构层面的集群优化等,本文主要分享的是数据库层面的调优。

案例的演示环境:

操作系统:Windows10 专业版
MySQL版本:MySql 5.7.17
MySql客户端:Navicat for MySql
开发框架:ASP.NET Core6.0

二、如何进行数据库调优?

2.1 查出那些查询很慢的SQL语句

慢查询(slow_query):是指MySQL中响应时间超过阀值(long_query_time,单位:秒)的SQL语句。

MySQL的慢查询日志是MySQL提供的一种日志记录,专门用来记录慢查询。可以按照以下的步骤来开启和查看慢查询日志:

  1. 修改一下mysql的配置文件,然后重启mysql服务器

    我们首先要知道windows下的配置文件在哪里?如何查看?配置哪些选项?

    在mysql命令行界面,输入以下命令:

    mysql> show variables like ‘%data%’;

【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化

打开my.ini配置文件,并添加/修改如下的配置参数:

[mysqld]
…
slow-query-log=1 #开启慢查询日志,默认为1,即开启
#slow_query_log_file=“WANGXF-PC-slow.log”
slow_query_log_file=D:/mysql/slow.log #慢查询日志的记录文件路径
#long_query_time=10
long_query_time=1 #查询超过1秒语句全部记录,默认值是10秒
log_queries_not_using_indexes=1 #没有使用索引的查询全部记录

改完之后重启mysql的服务
【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化
2. 测试是否记录慢查询!此处用sleep函数来模拟一个很慢的查询,花5秒。
【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化
打开“D:/mysql/slow.log”查看是否记录了慢查询日志:
【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化
3. 慢查询分析工具mysqldumpslow

mysqldumpslow是MySQL自带的分析慢查询的工具。 该命令格式如下:

mysqldumpslow [ OPTS…][ LOGS…]

mysqldumpslow是一个perl脚本,只需下载并赋权即可执行。所以我们首先需要在windows下安装Perl,安装过程很简单,从官网 http://strawberryperl.com/ 下载windows安装包,安装好之后,测试perl -v,如果能显示版本号,表示安装成功。

几个常用的命令

  • 得到返回记录集最多的10条SQL:

perl mysqldumpslow.pl -s r -t 10 D:/mysql/slow.log

  • 得到访问次数最多的10条SQL:

perl mysqldumpslow.pl -s r -t 10 D:/mysql/slow.log

  • 得到按照时间排序的前10条里面含有左连接的SQL:

perl mysqldumpslow.pl -s t -t 10-g “left join” D:/mysql/slow.log

2.2 通过explain查看执行计划

通过上面的步骤锁定了哪些查询是慢查询,接下来我们可以用explain命令查看执行计划,看看是否命中了索引。如果没有索引则创建索引,如果创建了索引但是没有起作用,则可以优化SQL语句来使索引生效。
【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化
创建索引后,再去分析,可以看到他已经命中索引了:
【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化
explain命令的执行结果每一列的说明:

信息 描述
id 查询的序号,包含一组数字,表示查询中执行select子句或操作表的顺序 两种情况 id相同,执行顺序从上往下 id不同,id值越大,优先级越高,越先执行
select_type 查询类型,主要用于区别普通查询,联合查询,子查询等的复杂查询 1、simple ——简单的select查询,查询中不包含子查询或者UNION 2、primary ——查询中若包含任何复杂的子部分,最外层查询被标记 3、subquery——在select或where列表中包含了子查询 4、derived——在from列表中包含的子查询被标记为derived(衍生),MySQL会递归执行这些子查询,把结果放到临时表中 5、union——如果第二个select出现在UNION之后,则被标记为UNION,如果union包含在from子句的子查询中,外层select被标记为derived 6、union result:UNION 的结果
table 输出的行所引用的表
type 显示联结类型,显示查询使用了何种类型,按照从最佳到最坏类型排序 1、system:表中仅有一行(=系统表)这是const联结类型的一个特例。 2、const:表示通过索引一次就找到,const用于比较primary key或者unique索引。因为只匹配一行数据,所以如果将主键置于where列表中,mysql能将该查询转换为一个常量。 3、eq_ref:唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于唯一索引或者主键扫描。 4、ref:非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,它返回所有匹配某个单独值的行,可能会找多个符合条件的行,属于查找和扫描的混合体。 5、range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引,一般就是where语句中出现了between,in等范围的查询。这种范围扫描索引扫描比全表扫描要好,因为它开始于索引的某一个点,而结束另一个点,不用全表扫描。 6、index:index 与all区别为index类型只遍历索引树。通常比all快,因为索引文件比数据文件小很多。 7、all:遍历全表以找到匹配的行。 注意:一般保证查询至少达到range级别,最好能达到ref。
possible_keys 指出MySQL能使用哪个索引在该表中找到行
key 显示MySQL实际决定使用的键(索引)。如果没有选择索引,键是NULL。查询中如果使用覆盖索引,则该索引和查询的select字段重叠。
key_len 表示索引中使用的字节数,该列计算查询中使用的索引的长度 在不损失精度的情况下,长度越短越好。如果键是NULL,则长度为NULL。该字段显示为索引字段的最大可能长度,并非实际使用长度。
ref 显示索引的哪一列被使用了,如果有可能是一个常数,哪些列或常量被用于查询索引列上的值
rows 根据表统计信息以及索引选用情况,大致估算出找到所需的记录所需要读取的行数
Extra 包含不适合在其他列中显示,但是十分重要的额外信息 1、Using filesort:说明mysql会对数据适用一个外部的索引排序。而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成排序操作称为“文件排序” 2、Using temporary:使用了临时表保存中间结果,mysql在查询结果排序时使用临时表。常见于排序order by和分组查询group by。 3、Using index:表示相应的select操作用使用覆盖索引,避免访问了表的数据行。如果同时出现using where,表名索引被用来执行索引键值的查找;如果没有同时出现using where,表名索引用来读取数据而非执行查询动作。 4、Using where :表明使用where过滤 5、using join buffer:使用了连接缓存 6、impossible where:where子句的值总是false,不能用来获取任何元组 7、select tables optimized away:在没有group by子句的情况下,基于索引优化Min、max操作或者对于MyISAM存储引擎优化count(*),不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。 8、distinct:优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作。

2.3 如何进一步进行查询性能分析?

profiling性能分析,可以更进一步去分析每一句sql语句的cpu性能及内存占用。

  1. 该功能默认是关闭的,要开启profiling功能,输入以下命令:
    【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化

执行查询语句,接着显示所有查询的性能分析结果:

mysql> select * from syslog;

【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化
显示query_id为1的查询的性能报告:
【性能优化】MySql数据库查询优化方案,.NET后端,mysql,后端,性能优化

2.4 数据库调优的手段

  1. 索引优化
    可以对where条件后面的条件字段,和order by/group by后面的排序、分组字段创建索引,以提高查询速度。

  2. SQL语句优化

  • select 时不用* 返回所有字段,查询具体字段可以提高一定速度
  • 不用is null或is not null、
  • not in/in 不能使,用exists查询替代
  • 不能用like ‘%xxx’,%开头的模糊查询用不到索引
  • 少用不等于 !=、大于>、小于<的查询
  • or查询用union查询替代
  1. MySQL实现读写分离
    一般数据库都是读多而写少,如果数据量一大,单体数据库服务器造成性能瓶颈,可以采用MySQL数据库集群实现读写分离,一主多从。主库负责写操作,多个从库只负责读操作。

  2. 分库、分表
    按业务系统不同,使用不同的数据库,即“分库”。
    分表则分为垂直分表和水平分表。
    (注:不做展开了,后续专门发文探讨)


本次主要分享的是MySQL数据库的性能优化思路,如果本文对你有帮助的话,请点赞+评论+关注,或者转发给需要的朋友。文章来源地址https://www.toymoban.com/news/detail-770434.html

到了这里,关于【性能优化】MySql数据库查询优化方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 数据库——MySQL高性能优化规范

    所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用 MySQL 保留(如果表名中包含查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过 32 个字符 临时库表必须以 tmp_为前缀并以日期为后缀,

    2024年02月11日
    浏览(32)
  • MySQL——性能优化与关系型数据库

    MySQL——性能优化与关系型数据库

    吞吐与延迟:有些结论是反直觉的,指导我们关注什么。 没有量化就没有改进:监控与度量指标,指导我们怎么去入手。 80/20原则:先优化性能瓶颈问题,指导我们如何去优化。 过早的优化是万恶之源:指导我们要选择优化的时机。 脱离场景谈性能都是耍流氓:指导我们对

    2024年02月01日
    浏览(16)
  • MySQL数据库IO性能优化方法论

    作者:禅与计算机程序设计艺术 随着互联网信息化的发展,网站日益繁荣,用户对网站访问速度要求越来越高。如何提升网站数据库IO性能从而实现快速响应?本文将从数据库的优化角度出发,结合实际应用场景,进行系统地剖析、归纳和总结,为读者提供一个系统性、完整

    2024年02月06日
    浏览(13)
  • 详解数据库分片,大幅提升Spring Boot查询MySQL性能

    详解数据库分片,大幅提升Spring Boot查询MySQL性能

    微服务项目中通常包含各种服务。其中一项服务与存储用户相关的数据有关。我们使用Spring Boot作为后端,使用MySQL数据库。 随着用户基数的增长,服务性能受到了影响,延迟也上升了。由于只有一个数据库和一张表,许多查询和更新由于锁异常返回错误。此外,随着数据库

    2024年01月16日
    浏览(16)
  • MySQL数据库性能优化中常用的方法是什么?

    MySQL数据库性能优化中常用的方法是什么?

    MySQL 是目前广泛使用的关系型 数据库 系统,随着数据量的不断增加和业务需求的提升,MySQL数据库性能优化已经成为开发人员和DBA必须面对的一个重要问题。 查询语句是MySQL数据库中最常用的操作之一,也是造成性能问题的主要原因之一。以下是一些常见的查询语句优化方法

    2024年01月19日
    浏览(15)
  • MySQL数据库索引优化指南:提升查询效率的利器

    MySQL数据库索引优化指南:提升查询效率的利器

    本文将详细探讨MySQL数据库索引的概念、作用以及不同类型的索引,包括主键索引、唯一索引和普通索引。通过实际案例分析,我们将深入理解索引的工作原理,并提供实用的优化建议,帮助读者提升数据库性能。

    2024年02月09日
    浏览(49)
  • MySQL数据库的性能优化----(一步一个脚印)

    一、MySQL数据库的优化目标、基本原则: 1、优化目标: MySQL数据库是常见的两个瓶颈是CPU和I/O的瓶颈,无论是索引优化、还是表结构优化,参数优化,最后都可以归纳到这这两个分类中: (1)减少 I/O 次数: I/O是数据库最容易瓶颈的地方,大部分数据库操作中超过90%的时间

    2024年02月03日
    浏览(13)
  • 玩转MySQL数据库之SQL优化之慢查询

    本系列为:MySQL数据库详解,为千锋资深教学老师独家创作,致力于为大家讲解清晰MySQL数据库相关知识点,含有丰富的代码案例及讲解。如果感觉对大家有帮助的话,可以【关注】持续追更~ 文末有本文重点总结,技术类问题,也欢迎大家和我们沟通交流! 从今天开始本系列

    2024年02月06日
    浏览(53)
  • MySQL语句通过腾讯云数据库智能管家的性能与语法优化

    MySQL语句通过腾讯云数据库智能管家的性能与语法优化

    最近公司项目迁移至腾讯云,用的腾讯云MySQL服务器,MySQL负载一直很高,借助云管家优化了一部分SQL语句,提升了部分性能和释放了部分,MySQL内存占用      

    2024年02月15日
    浏览(16)
  • 掌握MySQL分库分表(一)数据库性能优化思路、分库分表优缺点

    不能⼀上来就说分库分表! 根据实际情况分析,两个角度思考:不分库分表、分库分表 软优化 数据库参数调优 分析慢查询SQL语句,分析执行计划,进行sql改写和程序改写 优化数据库索引结构 优化数据表结构优化 引入NOSQL和程序架构调整 硬优化 提升系统硬件(更快的IO、更

    2023年04月19日
    浏览(14)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包