【操作系统】Linux性能优化诊断pidstat+mpstat详解

1.CPU压测环境准备

（1）目标：分析Linux相关性能指标，找出CPU平均负载升高的进程和原因

• 平均负载升高的主要原因

• 多个进程争抢CPU、等待IO、CPU上下文切换

• 命令：mpstats（全局）多核CPU性能分析程序，实时查看每个CPU的性能指标和全部CPU的平均性能指标

• 命令：pidstats（局部）实时查看进程的CPU、内存、I/O、上下文切换等指标

• 命令：vmstats（全局）实时查看系统的上下文切换（跨进程间，同个进程里多个子线程）、系统中断次数

（2）环境准备

• 命令安装 sysstat

yum install gcc -y
yum install unzip -y

#sysstat资料包下载：https://github.com/sysstat/sysstat，下载完成上传服务器解压
unzip sysstat-master.zip

cd sysstat-master
./configure
make && make install

• 通过 pidstat -V 查看版本

• vmstats（多数系统自带）

• 两大模拟工具介绍+安装

  • stress多进程工具，模拟IO密集型应用、CPU密集型应用、多进程等待CPU调度场景，对CPU、内存、IO等情况进行压测

yum install -y epel-release

yum install stress -y

• sysbench多线程基准测试工具，模拟上下文切换过多场景

yum -y install make automake libtool pkgconfig libaio-devel
yum -y install mariadb-devel openssl-devel
yum -y install postgresql-devel

unzip sysbench-master.zip
cd sysbench-master
./autogen.sh
./configure --without-mysql
make && make install

• sysbench --version

• 什么是基准测试Banchmark Testing

  • 指通过设计科学的测试方法，测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试

  • 技术人员为了确定当前环境、系统、服务器等性能情况而进行的测试，为了在同一环境条件下进行性能优化而进行的测试

  • 场景：数据库sql语句、索引、应用代码、网络、机器硬件配置等

  • 核心点：

    • 测试过程是可重复进行的
    • 每次的基准测试都应该在相同的环境条件下进行，除了某项测试变动，其他的软件和硬件组件等各种保持一致
    • 除了被测试系统是出于运行和可调整状态外，要避免有其他程序或者调整，以免影响基准测试结果

2.pidstat+mpstat命令详解

（1）sysstats工具包的命令mpstats+pidstats

• 【全局命令】mpstats
• 全称Multprocessor Statistics，多核CPU性能分析程序，实时查看每个CPU的性能指标和全部CPU的平均性能指标
• 场景：当系统变慢，CPU平均负载增大时，判断是CPU的使用率增大，还是IO压力增大的情况导致
• 格式 mpstat [-P {|ALL}] [ <时间间隔>] [ <次数> ] 比如 mpstat -P ALL 2 3 每隔2秒出一个报告数据，共出具3次
• 参数说明

• 显示信息

• 【局部命令】pidstat

• 实时查看进程的CPU、内存、I/O、上下文切换等指标

• 格式：pidstat [ 选项 ] [ <时间间隔> ] [ <次数> ] 比如：pidstat -u 2 3 每隔2秒出一个报告数据，一共出具3次

• 输出排序 pidstat -u | sort -k 8 -r

  • sort 排序
  • 指定排序用哪一列，下面的例子中是第8列：%CPU
  • -r 倒序

• 参数信息

• 显示信息

3.CPU密集型应用案例实战

准备机器：2核8ESC服务器

压测工具 stress

• 多进程工具 ，模拟IO密集型应用、CPU密集型应用、多进程等待CPU调度场景, 对CPU，内存，IO等情况进行压测
• 参数说明

（1）模拟用户态CPU密集应用

(1) 模拟一个CPU核的使用率100%，对1个CPU进行压力测试 持续600s stress --cpu 1 --timeout 600
(2) -d 参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat 查看CPU使用率情况，每5s监控所有CPU情况 mpstat -P ALL 5
(4) 查看运行中的进程和任务，每5s刷新一次 pidstat -u 5

当系统变卡时，先看全局，找出系统是哪个资源出问题，是CPU还是IO，然后在具体看某个进程导致的资源问题。

• 当杀掉stress进程时，CPU使用率恢复正常

• **详细分析思路：**uptime运行一分钟后，两个核的CPU负载是1，mpstat查看当前系统的CPU使用率，发现CPU总使用率到达了50%，一个核的使用率到达了100%，%iowait为0，不存在io瓶颈，在通过pidstat对进程核任务的使用情况进行查看，发现stress对CPU其中一核的使用率达到了100%，最终定位到这个问题进程。
• **注意：**CPU使用率高，CPU平均负载也高； CPU平均负载高，CPU使用率不一定高

（2）模拟内核态CPU密集应用

(1) 模拟2个IO进程，持续600s stress --io 2 --timeout 600
(2) -d参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat查看CPU使用率情况，每5s监控CPU使用情况 mpstat -P ALL 5
(4) 查看运行中的进程和任务，每5秒刷新一次 pidstat -u 5

4.IO密集型应用案例实战

（1）pidstat 查看进程IO使用情况，显示各活动进程的IO使用统计

(1) 模拟两个磁盘IO进程，持续600s stress --hdd 2 --hdd-bytes 6G --timeout 600
(2) -d 参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat查看CPU使用率情况，每5秒监控所有CPU情况 mpstat -P ALL 2 3 每隔2秒出一个报告数据，一共出具三次
(4) 查看运行中的进程和任务，每5s刷新一次 pidstat -d 2 3每隔2秒出一个报告数据，一共出具三次

5.CPU多进程调度案例实战

(1) 模拟8个进程，也可以更多，持续600s stress --cpu 8 --timeout 600
(2) -d参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat查看CPU使用率情况，每5秒监控所有CPU情况 mpstat -P ALL 2 3 每隔2秒出一个报告数据，一共出具三次
(4) 查看运行中的进程和任务，每5s刷新一次pidstat -u 2 3 每2s出一个报告数据，一共出具三次

• 对进程和任务的使用情况进行，发现%wait高，说明cpu不够用在等待cpu调度上花费了不少时间

• 8个进程在竞争2个cpu，每个进程等待cpu的时间达到75%（%wait），超出cpu计算能力的进程，导致了负载变高

• pidstat -u CPU情况，默认

• pidstat -d 磁盘IO情况 , 基本很低

6.pidstat命令详解进阶

• pidstat -w 进程上下文切换情况，显示各活动进程的上下文切换情况统计
  • cswch/s 每秒自愿上下文切换的次数
    • 进程获取不了所需要的资源导致上下文切换，比如I/O问题瓶颈，内存资源不足，会发生自愿上下文切换
  • nvcswch/s每秒非自愿上下文切换的次数
    • 进程由于调度算法，时间片已到等原因，被系统【强制调度】发生上下文切换，比如大量进程在抢夺CPU资源时，会发生非自愿上下文切换，CPU瓶颈出现问题

• pidstat -t -p pid 显示进程里面的线程的统计信息

• pidstat -wt -1 组合命令，看具体进程里面的线程上下文切换情况

7.性能监控命令vmstat详解

（1）vmstat命令简介

• 全称是Virtual Meomory Statistics（虚拟内存统计）的缩写，是对系统整体的情况进行统计，不细化到某个进程。实时查看系统CPU的队列情况、内存、块I/O、上下文切换情况、系统中断次数、cpu使用率等
• 格式：vmstat [选项] [时间间隔]/[次数]
• vmstat n 每隔n秒后输出一行信息，一般会加个-w进行加宽显示，比如vmstat -w 1
• vmstat -SM 指定单位显示，默认KB，M表示MB
• vmstat -t 带上时间戳信息
• 更多参数信息 vmstat -h 或 man vmstat

（2）上下文切换和中断的合理范围：没啥CPU负载的时候也有每秒1万次内，不过也取决cpu的性能。

8.CPU上下文切换案例实战

（1）CPU切换的场景

• 系统的调用切换
• 进程上下文切换
• 线程上下文切换
• 中断上下文切换

（2）sysbench命令简介

• sysbench是一款开源的多线程性能测试工具，模拟线程上下文切换过多的场景
• 可以执行CPU/内存/线程/IO/数据库等方面性能测试
• 常用命令：sysbanch --threads=32 --time=300 threads run 32个线程持续运行5分钟，多线程压测。

(1) 模拟32个线程进行压测，持续600s sysbanch --threads=32 --time=300 threads run
(2) -d 参数表示高亮显示变化区域，watch -d uptime
(3) vmstat -w 1 查看系统CPU的队列情况、内存、块I/O、上下文切换情况、系统中断次数、CPU使用率等
(4) pidstat -w 查看正在运行的今后曾和任务上下文切换情况统计，显示个活动进程的上下文切换情况统计
	pidstat -t -p pid 显示进程中线程的统计信息
	pidstat -wt 1 组合命令，查看进程中具体线程的上下文切换情况

pidstat -w 进程上下文切换情况，查看是哪种上下文切换占比高，如果不加t只能看到进程层次的CPU调度

9.top、mpstat、pidstat、vmstat中wait含义

（1）top中的wa解释

wa,IO-wait: time waiting for I/O completion
等待io的时间，一种是网络，一种是磁盘

（2）mpstat中的iowait解释

%iowait Show the percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.
等待io的时间，一种是网络，一种是磁盘

（3）vmstat 中的wa

wa: Time spent waiting for IO.  Prior to Linux 2.5.41, included in idle.
等待io的时间，一种是网络，一种是磁盘

（4）pidstat中的wait解释

%wait : Percentage of CPU spent by the task while waiting to run.
表示进程等待 CPU 的时间百分比, 进程已经就绪等待CPU的分配

文章来源地址https://www.toymoban.com/news/detail-778930.html

• 总结：
  • 等待CPU的进程在CPU的就绪队列中，处于运行状态
  • 等待I/O的进程则处于不可中断状态，有磁盘IO、网络IO

到了这里，关于【操作系统】Linux性能优化诊断pidstat+mpstat详解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！