GPU显存占满但利用率却很低

这篇具有很好参考价值的文章主要介绍了GPU显存占满但利用率却很低。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

来帕多瓦联培已经一个多月了,最近调代码跑实验又发现了这个问题。这里提供另外一个解决思路。一个原因还是 cpu没跟上gpu节奏

通常我们都会用尽可能大的 batch 来占满显存。但是如果cpu的读取和传输跟不上的话就会导致gpu利用率时上时下,而且训练时间还会变长。

这里可以尝试减小batch,以减轻cpu工作负担,增加gpu利用率,同时还能加速训练。 举个例子。

训练 基于resnet101+deeplabv3的语义分割模型:
1. batch size为4:总训练时间一小时;
2. batch size为2:总训练时间半小时;

下图为batch size=4时的设备状态。
可以看到gpu中间是有很多次休息的。
GPU显存占满但利用率却很低
同时训练时间也要一个多小时。
GPU显存占满但利用率却很低

下图为batch size=2时的设备状态。
可以看到,仅仅降低了batch size,就把gpu利用率拉满了。
GPU显存占满但利用率却很低
同时训练时间也缩短了不少。

GPU显存占满但利用率却很低
最后小batch的问题可以通过累积几个batch梯度再优化来解决。

总结

说到底还是不够有钱,这样也好,多出来的内存还能再让我跑跑别的程序!文章来源地址https://www.toymoban.com/news/detail-444945.html

到了这里,关于GPU显存占满但利用率却很低的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker容器cpu利用率问题

    1.top原理 top 是读的/proc/stat文件 比如cat /proc/PID/stat 进程的总Cpu时间processCpuTime = utime + stime + cutime + cstime,该值包括其所有线程的cpu时间 某一进程Cpu使用率的计算 计算方法:       1  采样两个足够短的时间间隔的cpu快照与进程快照,             a每一个cpu快照均为(user、

    2023年04月26日
    浏览(46)
  • 数学建模圈养湖羊的空间利用率

    问题 :规模化的圈养养殖场通常根据牲畜的性别和生长阶段分群饲养,适应不同种类、不同阶段的牲畜对空间的不同要求,以保障牲畜安全和健康;与此同时,也要尽量减少空间闲置所造成的资源浪费。在实际运营中,还需要考虑市场上饲料价格和产品销售价格的波动以及气

    2024年02月09日
    浏览(44)
  • 数学建模之圈养湖羊的空间利用率

    D题最新最全思路已出,欢迎后台私信咨询~~~~ 规模化的圈养养殖场通常根据牲畜的性别和生长阶段分群饲养,适应不同种类、不同阶段的牲畜对空间的不同要求,以保障牲畜安全和健康;与此同时,也要尽量减少空间闲置所造成的资源浪费。在实际运营中,还需要考虑市场上

    2024年02月09日
    浏览(50)
  • 如何提升Linux服务器cpu利用率

        目录 一、安装cpulimit和相关依赖包 1. 安装cpulimit 2. 编写提升cpu利用率脚本,并执行         如何有效提升服务器器CPU利用率,可以通过自定义脚本结合cpulimit达到提升利用率和控制到目标值。 1. 安装cpulimit ##1. 安装cpulimit  yum install -y cpulimit ##2. 安装依赖包 yum -y inst

    2024年02月10日
    浏览(71)
  • FPGA资源评估:如何优化FPGA资源利用率

    FPGA资源评估:如何优化FPGA资源利用率 在FPGA设计中,资源利用率是一个非常重要的指标。如何优化FPGA资源利用率,进一步提高设计效率和性能呢?本文将从FPGA资源评估的角度,介绍如何合理地使用FPGA资源,减少浪费,实现资源的最优配置。 在FPGA设计中,我们经常会遇到资

    2024年02月02日
    浏览(49)
  • linux - 文件利用率快满了 - mongo日志

    https://zhuanlan.zhihu.com/p/82430795 查看文件利用率 df -h 文件夹大小 ls -lh 逐级搜索大文件或目录 du -sh * cd .. 返回上一层 ps -ef | grep mongo 启动: .mongodb/bin/mongod -f mongodb/config/configsvr.conf 关闭 .mongodb/bin/mongod -f mongodb/config/configsvr.conf --shutdown data01/xxx/mongodb/data,下面三个log满了(configs

    2024年02月09日
    浏览(38)
  • linux top命令中 cpu 利用率/mem 使用率与load average平均负载计算方式

    top 命令是 Linux 上一个常用的系统监控工具,它经常用来监控 Linux 的系统状态,是常用的性能分析工具,能够显示较全的系统资源信息,包括系统负载,CPU 利用分布情况,内存使用,进程资源占用情况等。 如下示例: 这里主要看进程的 CPU%, MEM% 和 load averge 字段。 该字段指

    2024年02月03日
    浏览(53)
  • 软路由的负载均衡设置:优化网络性能和带宽利用率

    在现代网络环境中,提升网络性能和最大化带宽利用率至关重要。通过合理配置软路由IP的负载均衡设置,可以有效地实现这一目标,并提高整体稳定性与效果。本文将详细介绍如何进行软路由IP的负载均衡设置,从而优化网络表现、增加带宽利用效率,并为读者呈现一个完善

    2024年02月09日
    浏览(42)
  • 阿里云云原生弹性方案:用弹性解决集群资源利用率难题

    随着上云的认知更加普遍,我们发现除了以往占大部分的互联网类型的客户,一些传统的企业,一些制造类的和工业型企业客户也都开始使用云原生的方式去做 IT 架构的转型,提高集群资源使用率也成为企业上云的一致共识。大家上云的同时,开始思考有没有云原生的方法能

    2024年02月02日
    浏览(49)
  • python实现监控指定进程的CPU利用率、内存占用

            因为需要一直关注被测软件的CPU利用率和内存占用,人工记录十分麻烦,所以想做一个应用程序来代替手工记录。 思路: 1.弹窗,输入进程号 2.获取进程对象 3.日志保存在一个csv文件中,文件命名方式为:进程名+Process+进程号 4.文件第一行写入进程名,第二行表

    2023年04月12日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包