Linux性能调优 —— 内存篇

这篇具有很好参考价值的文章主要介绍了Linux性能调优 —— 内存篇。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Linux内存的工作原理

内存映射的概念

  大多数计算机用的主存都是动态随机访问内存(DRAM),只有内核才可以直接访问物理内存。Linux内核给每个进程提供了一个独立的虚拟地址空间,并且这个地址空间是连续的。这样进程就可以很方便的访问内存(虚拟内存)。

  虚拟地址空间的内部分为内核空间和用户空间两部分,不同字长的处理器地址空间的范围不同。32位系统内核空间占用1G,用户空间占3G。64位系统内核空间和用户空间都是128T,分别占内存空间的最高和最低处,中间部分为未定义。

  并不是所有的虚拟内存都会分配物理内存,只有实际使用的才会。分配后的物理内存通过内存映射管理。为了完成内存映射,内核为每个进程都维护了一个页表,记录虚拟地址和物理地址的映射关系。页表实际存储在CPU的内存管理单元MMU中,处理器可以直接通过硬件找出要访问的内存。

  当进程访问的虚拟地址在页表中查不到时,系统会产生一个缺页异常,进入内核空间分配物理内存,更新进程页表,进行页面置换,再返回用户空间恢复进程的运行。

  MMU以页为单位管理内存,页大小4KB。为了解决页表项过多问题Linux提供了多级页表HugePage的机制。

  Linux还使用内存中的一部分来存储文件系统和块设备的缓存,以加速对文件和块设备的访问。这被称为文件系统缓存页缓存

  Linux可以将不常用的内存页面交换到磁盘上的交换分区(swap partition)中,以释放物理内存供其他进程使用。交换空间的使用是在物理内存不足时的一种手段,但过度使用交换会降低性能。

虚存空间分布

  用户空间内存从低到高是五种不同的内存段:

  只读段 代码和常量等
  数据段 全局变量等
   动态分配的内存,从低地址开始向上增长
  文件映射 动态库、共享内存等,从高地址开始向下增长
   包括局部变量和函数调用的上下文等,栈的大小是固定的。一般8MB

内存分配与回收

分配

  针对小块内存(<128K),通过移动堆顶位置来分配。内存释放后不立即归还内存,而是被缓存起来。
  针对大块内存(>128K),直接用内存映射来分配,即在文件映射段找一块空闲内存分配。

  前者的缓存可以减少缺页异常的发生,提高内存访问效率。但是由于内存没有归还系统,在内存工作繁忙时,频繁的内存分配/释放会造成内存碎片。

  后者在释放时直接归还系统,所以每次都会发生缺页异常。在内存工作繁忙时,频繁内存分配会导致大量缺页异常,使内核管理负担增加。

回收

  内存紧张时,系统通过以下方式来回收内存:

  · 回收缓存:LRU算法回收最近最少使用的内存页面;
  · 回收不常访问内存:把不常用的内存通过交换分区写入磁盘
  · 杀死进程

内存查看与分析

查看内存使用情况

命令:free

  输入以下命令:

free -h

  输出如下:

              总计         已用        空闲      共享    缓冲/缓存    可用
内存:        62Gi       9.2Gi        22Gi       1.4Gi        31Gi        51Gi
交换:       2.0Gi       1.9Gi        62Mi
  • 总计 (Total):物理内存的总容量。在这个示例中,系统总共有62 GB的物理内存。

  • 已用 (Used):当前已被系统和进程使用的内存量。在这个示例中,已经使用了9.2 GB的内存。

  • 空闲 (Free):当前未被使用的内存量。在这个示例中,有22 GB的内存是空闲的。

  • 共享 (Shared):被多个进程共享的内存量。在这个示例中,有1.4 GB的内存被多个进程共享。

  • 缓冲/缓存 (Buffer/Cache):用于文件系统缓存和磁盘I/O缓冲的内存量。在这个示例中,有31 GB的内存被用于缓冲和缓存。

  • 可用 (Available):系统估计可供新进程使用的内存量,包括未来可能被释放的内存。在这个示例中,有51 GB的内存被估计为可用。

  关于交换空间:

  • 交换总量 (Total Swap):系统中交换空间的总容量。在这个示例中,系统总共有2.0 GB的交换空间。

  • 已用交换 (Used Swap):当前已经在交换空间中使用的量。在这个示例中,已经使用了1.9 GB的交换空间。

  • 剩余交换 (Free Swap):剩余未被使用的交换空间量。在这个示例中,还有62 MB的交换空间是空闲的。

  总体来说,系统的物理内存使用情况看起来还相对充裕,因为大部分内存都是空闲的,而且有相当数量的缓冲和缓存可供使用。交换空间也仅有少量被使用,这是良好的迹象,因为过度使用交换空间可能会影响性能。如果系统性能仍然良好,那么当前的内存和交换空间使用情况可能是可接受的。但是,如果系统出现性能问题,可能需要进一步分析进程和服务的内存使用情况,以确定是否需要采取进一步的措施,如优化或增加内存。

命令:vmstat

  输入以下命令,表示每隔5秒统计一次:

vmstat 5

  输出如下:
Linux性能调优 —— 内存篇,# Linux,linux,服务器,内存,shell,运维
  结果说明

  • r 表示运行队列(就是说多少个进程真的分配到CPU),我测试的服务器目前CPU比较空闲,没什么程序在跑,当这个值超过了CPU数目,就会出现CPU瓶颈了。这个也和top的负载有关系,一般负载超过了3就比较高,超过了5就高,超过了10就不正常了,服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大,表示你的CPU很繁忙,一般会造成CPU使用率很高。

  • b 表示阻塞的进程,这个不多说,进程阻塞,大家懂的。

  • swpd 虚拟内存已使用的大小,如果大于0,表示你的机器物理内存不足了,如果不是程序内存泄露的原因,那么你该升级内存了或者把耗内存的任务迁移到其他机器。

  • free 空闲的物理内存的大小。

  • buff Linux/Unix系统是用来存储,目录里面有什么内容,权限等的缓存

  • cache cache直接用来记忆我们打开的文件,给文件做缓冲,这里是Linux/Unix的聪明之处,把空闲的物理内存的一部分拿来做文件和目录的缓存,是为了提高 程序执行的性能,当程序使用内存时,buffer/cached会很快地被使用。

  • si 每秒从磁盘读入虚拟内存的大小,如果这个值大于0,表示物理内存不够用或者内存泄露了,要查找耗内存进程解决掉。我的机器内存充裕,一切正常。

  • so 每秒虚拟内存写入磁盘的大小,如果这个值大于0,同上。

  • bi 块设备每秒接收的块数量,这里的块设备是指系统上所有的磁盘和其他块设备,默认块大小是1024byte,我本机上没什么IO操作,所以一直是0,但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s,磁盘写入速度差不多140M每秒

  • bo 块设备每秒发送的块数量,例如我们读取文件,bo就要大于0。bi和bo一般都要接近0,不然就是IO过于频繁,需要调整。

  • in 每秒CPU的中断次数,包括时间中断

  • cs 每秒上下文切换次数,例如我们调用系统函数,就要进行上下文切换,线程的切换,也要进程上下文切换,这个值要越小越好,太大了,要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中,我们一般做性能测试时会进行几千并发甚至几万并发的测试,选择web服务器的进程可以由进程或者线程的峰值一直下调,压测,直到cs到一个比较小的值,这个进程和线程数就是比较合适的值了。系统调用也是,每次调用系统函数,我们的代码就会进入内核空间,导致上下文切换,这个是很耗资源,也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换,导致CPU干正经事的时间少了,CPU没有充分利用,是不可取的。

  • us 用户CPU时间,我曾经在一个做加密解密很频繁的服务器上,可以看到us接近100,r运行队列达到80(机器在做压力测试,性能表现不佳)。

  • sy 系统CPU时间,如果太高,表示系统调用时间长,例如是IO操作频繁。

  • id 空闲CPU时间,一般来说,id + us + sy = 100,一般我认为id是空闲CPU使用率,us是用户CPU使用率,sy是系统CPU使用率。

  • wt 等待IO CPU时间

命令:top

  输入以下命令,随后再输入M表示按照内存占用率排序:

top

  输出如下:

Linux性能调优 —— 内存篇,# Linux,linux,服务器,内存,shell,运维

  从上图可以发现,内存占用率较高的是jsvcmysqljsvc可能并不知道是个什么命令,所以我们进一步分析单个进程。

分析单个进程

命令:ps -p

  查看进程1180的运行信息:

ps -p 1180 -o pid,ppid,%cpu,%mem,cmd

  输出如下:
Linux性能调优 —— 内存篇,# Linux,linux,服务器,内存,shell,运维
  cmd表示查看这个进程的执行命令,最终锁定1180进程是tomcat的守护进程。
文章来源地址https://www.toymoban.com/news/detail-722258.html

到了这里,关于Linux性能调优 —— 内存篇的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux服务器增加虚拟交换内存

    使用dd命令创建名为swapfile 的swap交换文件(文件名和目录任意): dev/zero是Linux的一种特殊字符设备(输入设备),可以用来创建一个指定长度用于初始化的空文件,如临时交换文件,该设备无穷尽地提供0,可以提供任何你需要的数目。 bs=1024 :单位数据块(block)同时读入/输出

    2024年02月15日
    浏览(49)
  • linux常用查看服务器内存的命令

    free 命令用来显示系统内存状态,包括系统物理内存、虚拟内存(swap 交换分区)、共享内存和系统缓存的使用情况,其输出和 top 命令的内存部分非常相似。   free 命令的基本格式如下: [root@localhost ~]# free [选项] 表 1 罗列出了此命令常用的选项及各自的含义。 表 1 free 命令

    2024年02月16日
    浏览(86)
  • Linux 查看服务器内存、CPU 命令

    1 查看物理CPU个数:         Procs(进程) 2 查看服务器CPU内核个数 1 linux查看系统内存(硬盘) 2 查看服务器硬盘(当前文件夹下)使用率: 3 查看服务器硬盘(所有文件占用率)使用率: 1 查看内存,不带单位 2 查看内存使用情况,带单位,显示查看结果 显示的参数:       

    2024年02月15日
    浏览(63)
  • linux服务器查看cpu和内存

    cat /proc/cpuinfo | grep \\\"physical id\\\" | sort | uniq | wc -l cat /proc/cpuinfo | grep \\\"cpu cores\\\" | uniq grep processor /proc/cpuinfo|wc -l cat /proc/cpuinfo |grep MHz|uniq less /proc/cpuinfo |grep model free -m free -h

    2024年02月05日
    浏览(68)
  • Linux高性能服务器——状态机

    有的应用层协议头部包含数据包类型字段,每种类型可以映射为逻辑单元的一种执行状态,服务器可以根据它来编写相应的处理逻辑。 状态之间的转移是需要状态机内部驱动的。 TCP / IP 协议都在其头部中提供头部长度字段。程序根据该字段的值就可以知道是否接收到一个完

    2024年02月08日
    浏览(49)
  • Linux服务器的性能监控与分析

     如上图所示,我们在命令vmstat后面添加了两个参数,1表示间隔一秒获取一次,10表示总共获取10次 我们一列一列数据来看: r:代表目前实际运行的指令队列,很高表示CPU很繁忙通常会CPU使用率过高 这个数据如果高于服务器CPU核数就可能出现瓶颈(需要结合后五列CPU使用百

    2024年02月12日
    浏览(43)
  • linux服务器监控之内存、cpu、网络、磁盘

    一、服务器实时内存监控 1、Linux帮助命令 man:Linux下的函数手册命令,可以查看所有命令的使用方法 ls:  ls -al: ll: 2、实时监控命令 top:   能够实时监控系统的运行状态,并且可以按照cpu及内存等进行排序。            语法:top -hv|-bcHiOSs -d secs -n max -u|U user -p pid(s) -o file

    2024年02月09日
    浏览(62)
  • Linux下设置Tomcat服务器的内存大小

    Tomcat 是一个开源的 Java Servlet 容器,用于实现 Java Servlet 和 JavaServer Pages (JSP)。在 Linux 系统下,你可以通过调整 Tomcat 的内存大小来优化服务器的性能。本文将详细介绍如何在 Linux 系统下设置 Tomcat 服务器的内存大小。 打开 Tomcat 的配置文件 Tomcat 的配置文件通常位于 Tomcat 安

    2024年02月05日
    浏览(47)
  • Tomcat 服务器的内存和连接数调优设置

    Tomcat 是一个广泛使用的 Java Web 应用服务器,为了确保其性能和可靠性,我们可以对其进行一些调优设置,特别是内存和连接数方面的设置。本文将介绍如何通过修改 Tomcat 的配置文件来优化内存和连接数。 调整内存设置: Tomcat 的内存设置涉及到两个参数:初始内存 (Xms) 和

    2024年02月22日
    浏览(37)
  • 【Linux】在服务器上创建Crontab(定时任务),自动执行shell脚本

    业务场景:该文即为上次编写shell脚本的姊妹篇,在上文基础上,将可执行的脚本通过linux的定时任务自动执行,节省人力物力,话不多说,开始操作! 连上服务器后,在任意位置都可以执行: crontab -e 如果没有进入 编辑cron任务模式 根据提示查看我们的服务器上是否未安装crontab没有则

    2024年02月14日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包