背景简介
当我们在性能测试过程中,遇到TPS无法上去、请求响应时间过长、各类资源利用率遇到瓶颈时,应该如何对它们进行分析定位。
压测过程中TPS上不去?请求响应时间过长?
- 硬件资源不足:服务器的CPU、内存、磁盘等硬件资源不足,无法支撑高并发的请求处理。可以通过增加硬件资源或者优化服务器配置来提升TPS。
- 网络带宽限制:网络带宽不足,导致服务器无法及时响应请求。可以通过增加网络带宽或者优化网络传输方式来提升TPS。
- 数据库性能问题:数据库的读写性能不足,无法满足高并发的请求。可以通过优化数据库结构、索引、查询语句等方式来提升数据库性能。
- 代码逻辑问题:应用程序中存在性能瓶颈或者死循环等问题,导致请求处理速度变慢。可以通过代码优化来提升性能。也可能存在死锁或其他同步问题导致线程或进程阻塞,从而影响TPS。
- 压测/肉机配置问题:压测工具的配置(如压测肉机数量、压测脚本、场景设计等)可能影响TPS的表现。如压力机可能无法虚拟出预期的用户数,或者压测脚本和场景设计不合理,都会导致TPS无法提升。
- 负载均衡:负载均衡器配置不当可能导致请求分配不均,从而影响性能。检查负载均衡策略,优化配置。
- 依赖服务问题:应用程序依赖的第三方服务性能不稳定或者响应速度较慢,导致整体性能受限。可以通过替换或者优化第三方服务来提升性能。
- 中间件瓶颈:如消息队列堵塞,或有其他排队机制导致无法绕过队列进行高并发请求。
- 服务配置问题:系统的配置参数不合理,如线程池大小、连接池配置等,也会导致响应时间增。
资源利用率遇瓶颈分析
应用cpu瓶颈如何定位分析
定位
- 导致应用cpu使用率高,并且使用核数超出机器的核数(如:申请的机器是4核16g,但核数最大显示6核),有可能是经常上下文切换频繁导致的(上下文切换:就是当前进程请求某种资源(如IO操作)而无法立即得到满足,需要切换到其他进程执行,等待资源就绪后再切换回来);
- 程序使用复杂的算法如加/解密,或代码bug导致。
分析
- 减少上下文切换频繁,可以让配置进程数与压测的机器核数一样(因为一个核就有一个进程),配置完成再查看
- 如果配置好重新压测,cpu使用率依旧还是高,可以看看io是否很高(io操作:读取和写入磁盘上的文件或数据),如果io高,那么有可能出现堵塞
- 如果压测的请求响应时间也比较大,io和cpu也很高,那么有可能是代码有问题,查看火焰图,查看代码耗时是否比较大,还有mysql监控是否有慢查询等,或者连接数比较少导致
- 如果火焰图代码部分,有耗时比较大并且有慢查询的,可以进行sql语句优化
- 如果连接数比较少,设置大一点连接数去重新压,再观察性能情况
- 如果这些都配置好都修改好,还是有问题,可以考虑加资源或者考虑该业务是否可以进行异步处理来提高性能。
应用内存瓶颈如何定位分析
定位
在压测过程中,可以借助使用监控工具实时监测服务的内存使用情况,定期获取内存快照,监控的主要指标包括内存占用率、内存使用量、内存泄漏等。
分析
查看内存在压测完成后,过一段时间是否有下降趋势。如果没有下降趋势,查看火焰图,查看代码属于哪个函数使用的内存占比大导致,然后优化应用/服务代码后重新压,压测完成再过一段时间查看内存是否有下降,对比优化前后内存使用情况,确认优化措施是否有效。
应用磁盘瓶颈如何定位分析
定位
监控磁盘I/O,可使用系统监控工具(如Linux的iostat、iotop,Windows的Resource Monitor等)实时监控磁盘读写速度、等待时间等指标,看是否存在过高延迟或读写速率过低的情况。
分析
一般磁盘瓶颈就是io高,io高的话一般都是磁盘读写比较大导致,导致磁盘读写比较大,可能以下几种原因导致:
- 读写的数据太大导致
- 开发写的代码有问题
- 可能带宽比较小导致
- sql语句写的不规范导致,或者数据库连接数比较少导致,也有可能是mysql配置参数问题,如:数据库缓存配置小,导致不够用,才一直进行磁盘的读写操作(io包括磁盘IO和网络IO)
如果代码都没问题,连接数都没问题,myslq配置也正确,但io还是很高的,可以增加资源来解决后继续进行压测。文章来源:https://www.toymoban.com/news/detail-843418.html
数据库内存瓶颈如何定位分析
定位
- 监控数据库内存使用情况:在压测过程中,使用监控工具实时监测数据库的内存使用情况,包括内存占用量、缓冲池使用情况等。可以通过数据库管理工具或者操作系统工具来监控;
- 分析数据库缓冲池:查看数据库的缓冲池配置,了解缓冲池的大小、命中率等。如果缓冲池命中率低或者缓冲池过小,可能会导致频繁的磁盘读取,从而影响性能;
- 检查数据库索引:检查数据库表的索引情况,确定是否存在缺失或者无效的索引。缺失或者无效的索引可能导致数据库执行大量的全表扫描,增加了磁盘IO的负担;
- 分析数据库查询语句:分析服务对数据库的查询语句,了解查询的复杂度和效率。复杂且低效的查询语句可能会导致数据库内存的过度消耗,从而影响性能;
- 查看数据库日志:查看数据库的错误日志和慢查询日志,了解是否存在异常和性能较差的查询。通过分析日志可以找出潜在的性能问题和优化的方向;
- 检查数据库配置:检查数据库的配置参数,例如内存限制、并发连接数等。如果配置参数不合理,可能会导致内存不足或者并发连接过多,从而影响性能。
分析
- 数据库使用内存高,一般是请求接口需大量的内存进行存储数据,如果内存不够用,会导致请求的接口失败,接口请求失败会导致响应慢等,还有可能会一直分配内存,导致有阻塞从而导致io高,磁盘读写也高,cpu使用率也高,网络io也会高,导致失败不断请求,网络io肯定高,可以新增资源通过负载均衡来解决。
- 根据分析结果,优化数据库查询语句和索引,例如调整查询条件、添加合适的索引等。同时,也可以考虑调整数据库的配置参数,如增加内存限制、调整并发连接数等。
网络io瓶颈如何定位分析
定位
- 可以通过使用网络监控工具如Wireshark、netstat命令等,来查看网络流量、带宽使用率、包丢失率、延迟等指标。如果这些指标异常,可能是网络IO瓶颈;
- 检查网络设备,如路由器、交换机、防火墙等,查看其配置和性能。确保设备的带宽和性能能够满足需求,如果设备配置不合适或者存在故障,可能会引起网络I/O瓶颈。
分析
网络io高,一般是写入读取的数据量大,需要很大的网络流量,如申请的带宽比较小也会导致,可将测机器的带宽网络申请至万兆以上来解决。文章来源地址https://www.toymoban.com/news/detail-843418.html
带宽瓶颈如何定位分析
定位
- 排查系统/服务运行在云环境中,检查云服务商的网络带宽限制;
- 检查系统有多个服务器,检查负载均衡策略是否合理。不恰当的负载分配可能导致某些服务器的带宽过度使用。
分析
- 出现带宽比较小的情况,通过增加带宽来解决遇到的瓶颈;
- 可以增加并发连接数进行测试,观察带宽利用率的变化。如果带宽利用率随着并发连接数的增加而增加,说明带宽瓶颈可能是由于连接数的限制引起的。
redis内存瓶颈如何定位分析
定位
- 使用Redis的监控工具或者第三方监控工具,实时监测Redis的内存使用情况,包括内存占用量、内存碎片、最大使用内存等指标。
- 查看Redis的日志文件,观察是否有内存相关的警告或错误信息,如内存使用过高的问题。
分析
- 如果压测完成,redis的内存不变,一直不会下降,有可能应用/服务存储的key值没有设置过期时间导致,这很容易导致内存泄漏,需检查对应的代码,看是否存储内存的值未设过期时间;
- 检查缓存策略是否有过多的数据被缓存,或者缓存更新策略导致了大量的无效内存占用;
- 以上方法无法解决内存瓶颈问题,可以考虑扩容Redis集群,增加节点的数量和内存容量,以提高整个系统的内存处理能力。
到了这里,关于性能测试分析定位的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!