python 查看程序的GPU显存占用

8月前作者：大米粥哥哥分类：Toy博客阅读(27) 违法举报

这篇具有很好参考价值的文章主要介绍了python 查看程序的GPU显存占用。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

引言

主要针对显卡：nvidia
初衷：想要看某个python程序的GPU显存占用量

一、nvidia-smi

在linux下使用nvidia-smi 可以直接显示GPU使用情况¹:
但是在windows下有的时候显示N/A (如下图所示)：
python 查看程序的GPU显存占用

未解之谜²:Windows下NVIDIA-SMI中为什么看不到GPU Memory

二、windows下的任务管理器

任务管理器也可以查看程序GPU占用信息, 点击详细信息, 看专用GPU
python 查看程序的GPU显存占用

小知识³:专用GPU内存 vs 共享GPU内存

三、pynvml库

比较全⁴:python 输出 GPU内存最大使用率
简洁仅显存⁵:python查看显卡gpu信息

只有输出总GPU的显存占用，并没有找到获取单个程序GPU显存占用的函数
计算单个程序占用会有误差(桌面等程序也会占用GPU,占用量是动态变化的)

四、显存不够用又没钱怎么办

减小batch、减小网络、多用pooling降低数据分辨率 – 可能会降低性能

小知识⁶:Pytorch节省显存小技巧

希望可以做一个不费内存速度快精度还高的实用模型 python 查看程序的GPU显存占用

Linux查看GPU信息和使用情况 ↩︎
Windows下NVIDIA-SMI中为什么看不到GPU Memory ↩︎
专用GPU内存 vs 共享GPU内存 ↩︎
python 输出 GPU内存最大使用率 ↩︎
python查看显卡gpu信息 ↩︎
Pytorch节省显存小技巧 ↩︎文章来源地址https://www.toymoban.com/news/detail-404627.html

到了这里，关于python 查看程序的GPU显存占用的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

在linux中查看运行指定进程资源占用（cpu+gpu）

在运行程序时有时候会需要查看资源占用，以方便部署在其他服务器上时进行参考。以下是总结了我在linux上查找程序进程资源的两种方法（cpu和gpu都有）。如果进程较多，输入 ps -ef | grep + 指令进行搜索。如果运行的是python程序，可以输入 ps -ef | grep python3 比如我想

2024年02月04日
浏览(49)
【Python】pytorch，CUDA是否可用，查看显卡显存剩余容量

CUDA可用，共有 1 个GPU设备可用。当前使用的GPU设备索引：0 当前使用的GPU设备名称：NVIDIA T1000 GPU显存总量：4.00 GB 已使用的GPU显存：0.00 GB 剩余GPU显存：4.00 GB PyTorch版本：1.10.1+cu102 windows先装显卡驱动，再装CUDA10.2，最后装了pytorch。 pip install torch 1.10.1+cu102 torchvision 0.13.1+cu10

2024年02月10日
浏览(34)
Ubuntu下跑Aplaca报错：torch.cuda.0utofMemoryError: CUDA out of memory.解决办法（查看CUDA占用情况&清除GPU缓存）

错误提示： torch.cuda.0utofMemoryError: CUDA out of memory.Tried to allocate 2.00 MiB (PU 0; 23.69 GiB total capacity; 237 BiB already allocated; 18.38 MiB fre; 2.50 GiB reserved in total by PyTorch) If reserved memory is allocated memory try setting max_split_size_mb to avoid fragmentation.See documentation for Memory Management and PYTORCH_CUDA_ALLOC_

2024年02月11日
浏览(44)
Window系统查看端口是否启用以及占用程序

1、打开DOS命令行窗口开始—运行—cmd，或者是 window+R —cmd，调出命令窗口 2、查看当前正在使用的所有端口命令： netstat -ao 包括协议，端口号，端口状态，使用该端口的进程号PID 3、如果端口过多，可以采用管道来查询过滤命令： netstat -ao | findstr \\\"6379\\\" 可以查看到使用端口

2024年02月10日
浏览(42)
如何查看端口是被哪个程序占用的

一、开始----运行----cmd，或者是window+R组合键，调出命令窗口二、输入命令： netstat -ano ，列出所有端口的情况。在列表中我们观察被占用的端口，比如是 8080 ，首先找到它。三、查看被占用端口对应的PID，输入命令： netstat -aon|findstr \\\"8080\\\" ，回车，记下最后一位数字，即PI

2024年02月13日
浏览(41)
【Keil5】Keil查看程序占用flash大小

我们在挑选一款单片机的时候，会查询单片机的主频、内部flash和RAM、封装、各种外设接口资源。其中flash和RAM大小尤为重要。以STM32H750VBT6为例，其内部flash只有128KB，RAM却有1056KB。该选型手册可在该链接中免积分下载：STM32系列产品选型手册该型号的flash容量比F103ZET6的512

2024年02月12日
浏览(38)
[NLP]LLM 训练时GPU显存耗用量估计

全精度llama2 7B最低显存要求：28GB 全精度llama2 13B最低显存要求：52GB 全精度llama2 70B最低显存要求：280GB 16精度llama2 7B预测最低显存要求：14GB 16精度llama2 13B预测最低显存要求：26GB 16精度llama2 70B预测最低显存要求：140GB 8精度llama2 7B预测最低显存要求：7GB 8精度llama2 13B预测最低显

2024年02月12日
浏览(34)
Ubuntu——系统版本、显存、CPU型号、GPU型号查询

一、系统版本查询二、CPU信息查询三、显存查询四、GPU显卡信息查询查询结果如下：系统版本为Ubuntu 20.04.6 LTS 如上图所示，本机的CPU型号信息为 i7-11700k 如上图所示，其显存为12G(12050MiB) 如下图所示，NVIDIA GeForce RTX 3080 Ti 即为本机显卡型号信息

2024年02月06日
浏览(41)
GPU显存占满但利用率却很低

来帕多瓦联培已经一个多月了，最近调代码跑实验又发现了这个问题。这里提供另外一个解决思路。一个原因还是 cpu没跟上gpu节奏。通常我们都会用尽可能大的 batch 来占满显存。但是如果cpu的读取和传输跟不上的话就会导致gpu利用率时上时下，而且训练时间还会变长。这

2024年02月04日
浏览(100)
Chat-GLM 详细部署（GPU显存＞=12GB）

1. 下载安装 miniconda3 ： https://docs.conda.io/en/latest/miniconda.html conda是一个包和环境管理工具，它不仅能管理包，还能隔离和管理不同python版本的环境。类似管理nodejs环境的nvm工具。 2. conda环境变量：新建 CONDA_HOME ：conda安装路径 3. 激活conda: 打开CMD执行conda init 4. 测试conda安装是

2023年04月21日
浏览(34)