python 查看程序的GPU显存占用

这篇具有很好参考价值的文章主要介绍了python 查看程序的GPU显存占用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言

主要针对显卡:nvidia
初衷:想要看某个python程序的GPU显存占用量

一、nvidia-smi

在linux下使用nvidia-smi 可以直接显示GPU使用情况1:
但是在windows下有的时候显示N/A (如下图所示):
python 查看程序的GPU显存占用

未解之谜2:Windows下NVIDIA-SMI中为什么看不到GPU Memory

二、windows下的任务管理器

任务管理器也可以查看程序GPU占用信息, 点击详细信息, 看专用GPU
python 查看程序的GPU显存占用

小知识3:专用GPU内存 vs 共享GPU内存

三、pynvml库

比较全4:python 输出 GPU内存 最大使用率
简洁仅显存5:python查看显卡gpu信息

只有输出总GPU的显存占用,并没有找到获取单个程序GPU显存占用的函数
计算单个程序占用会有误差(桌面等程序也会占用GPU,占用量是动态变化的)

四、显存不够用又没钱怎么办

减小batch、减小网络、多用pooling降低数据分辨率 – 可能会降低性能

小知识6:Pytorch节省显存小技巧

希望可以做一个不费内存速度快精度还高的实用模型 python 查看程序的GPU显存占用


  1. Linux查看GPU信息和使用情况 ↩︎

  2. Windows下NVIDIA-SMI中为什么看不到GPU Memory ↩︎

  3. 专用GPU内存 vs 共享GPU内存 ↩︎

  4. python 输出 GPU内存 最大使用率 ↩︎

  5. python查看显卡gpu信息 ↩︎

  6. Pytorch节省显存小技巧 ↩︎文章来源地址https://www.toymoban.com/news/detail-404627.html

到了这里,关于python 查看程序的GPU显存占用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 在linux中查看运行指定进程资源占用(cpu+gpu)

    在运行程序时有时候会需要查看资源占用,以方便部署在其他服务器上时进行参考。以下是总结了我在linux上查找程序进程资源的两种方法(cpu和gpu都有)。 如果进程较多,输入 ps -ef | grep + 指令 进行搜索。如果运行的是python程序,可以输入 ps -ef | grep python3 比如我想

    2024年02月04日
    浏览(56)
  • 【Python】pytorch,CUDA是否可用,查看显卡显存剩余容量

    CUDA可用,共有 1 个GPU设备可用。 当前使用的GPU设备索引:0 当前使用的GPU设备名称:NVIDIA T1000 GPU显存总量:4.00 GB 已使用的GPU显存:0.00 GB 剩余GPU显存:4.00 GB PyTorch版本:1.10.1+cu102 windows先装显卡驱动,再装CUDA10.2,最后装了pytorch。 pip install torch 1.10.1+cu102 torchvision 0.13.1+cu10

    2024年02月10日
    浏览(41)
  • Ubuntu下跑Aplaca报错:torch.cuda.0utofMemoryError: CUDA out of memory.解决办法(查看CUDA占用情况&清除GPU缓存)

    错误提示: torch.cuda.0utofMemoryError: CUDA out of memory.Tried to allocate 2.00 MiB (PU 0; 23.69 GiB total capacity; 237 BiB already allocated; 18.38 MiB fre; 2.50 GiB reserved in total by PyTorch) If reserved memory is allocated memory try setting max_split_size_mb to avoid fragmentation.See documentation for Memory Management and PYTORCH_CUDA_ALLOC_

    2024年02月11日
    浏览(50)
  • 如何查看端口是被哪个程序占用的

    一、开始----运行----cmd,或者是window+R组合键,调出命令窗口 二、输入命令: netstat -ano ,列出所有端口的情况。在列表中我们观察被占用的端口,比如是 8080 ,首先找到它。 三、查看被占用端口对应的PID,输入命令: netstat -aon|findstr \\\"8080\\\" ,回车,记下最后一位数字,即PI

    2024年02月13日
    浏览(47)
  • Window系统查看端口是否启用以及占用程序

    1、打开DOS命令行窗口 开始—运行—cmd,或者是 window+R —cmd,调出命令窗口 2、查看当前正在使用的所有端口 命令: netstat -ao 包括协议,端口号,端口状态,使用该端口的进程号PID 3、如果端口过多,可以采用管道来查询过滤 命令: netstat -ao | findstr \\\"6379\\\" 可以查看到使用端口

    2024年02月10日
    浏览(50)
  • 【Keil5】Keil查看程序占用flash大小

    我们在挑选一款单片机的时候,会查询单片机的主频、内部flash和RAM、封装、各种外设接口资源。其中flash和RAM大小尤为重要。 以STM32H750VBT6为例,其内部flash只有128KB,RAM却有1056KB。 该选型手册可在该链接中免积分下载:STM32系列产品选型手册 该型号的flash容量比F103ZET6的512

    2024年02月12日
    浏览(47)
  • Ubuntu——系统版本、显存、CPU型号、GPU型号查询

    一、系统版本查询 二、CPU信息查询 三、显存查询 四、GPU显卡信息查询 查询结果如下:系统版本为Ubuntu 20.04.6 LTS 如上图所示,本机的CPU型号信息为 i7-11700k 如上图所示,其显存为12G(12050MiB) 如下图所示,NVIDIA GeForce RTX 3080 Ti 即为本机显卡型号信息

    2024年02月06日
    浏览(49)
  • [NLP]LLM 训练时GPU显存耗用量估计

    全精度llama2 7B最低显存要求:28GB 全精度llama2 13B最低显存要求:52GB 全精度llama2 70B最低显存要求:280GB 16精度llama2 7B预测最低显存要求:14GB 16精度llama2 13B预测最低显存要求:26GB 16精度llama2 70B预测最低显存要求:140GB 8精度llama2 7B预测最低显存要求:7GB 8精度llama2 13B预测最低显

    2024年02月12日
    浏览(42)
  • GPU显存占满但利用率却很低

    来帕多瓦联培已经一个多月了,最近调代码跑实验又发现了这个问题。这里提供另外一个解决思路。一个原因还是 cpu没跟上gpu节奏 。 通常我们都会用尽可能大的 batch 来占满显存。但是如果cpu的读取和传输跟不上的话就会导致gpu利用率时上时下,而且训练时间还会变长。 这

    2024年02月04日
    浏览(133)
  • 深度学习笔记--解决GPU显存使用量不断增加的问题

    目录 1--问题描述 2--问题解决 3--代码         基于 Pytorch 使用 VGG16 预训练模型进行分类预测时,出现 GPU 显存使用量不断增加,最终出现 cuda out of memory 的问题;         出现上述问题的原因在于:输入数据到网络模型进行推理时,会默认构建计算图,便于后续反向传播

    2024年02月17日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包