Server - PyTorch BFloat16 “TypeError: Got unsupported ScalarType BFloat16“ 解决方案

这篇具有很好参考价值的文章主要介绍了Server - PyTorch BFloat16 “TypeError: Got unsupported ScalarType BFloat16“ 解决方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://spike.blog.csdn.net/article/details/132665807

Server - PyTorch BFloat16 “TypeError: Got unsupported ScalarType BFloat16“ 解决方案,Server&Program,PyTorch,BFloat16,Unsupported,torch.float

BFloat16 类型是 16 位的浮点数格式,可以用来加速深度学习的计算和存储。BFloat16 类型的特点是保留 32 位浮点数(float32)的 8 位指数部分,但是只有 8 位的有效数字部分(而不是 float32 的 24 位)。这样,BFloat16 类型,可以表示和 float32 类型相同的数值范围,但是精度会降低。BFloat16 类型的优势在于,可以减少内存占用和数据传输的开销,从而提高深度学习模型的训练和推理速度。同时,由于 BFloat16 类型的指数部分和 float32 类型一致,可以更好地处理梯度消失和梯度爆炸的问题,以及在低精度下保持数值稳定性。PyTorch 支持 BFloat16 类型的计算和存储。PyTorch 提供一些工具和方法来使用 BFloat16 类型进行混合精度训练和推理,例如 torch.bfloat16 数据类型,torch.cuda.amp 模块,torch.nn.BFloat16Module 类等。使用 BFloat16 类型进行混合精度训练和推理的基本思路是:对于计算密集型的操作,如卷积和矩阵乘法,使用 BFloat16 类型进行计算;对于其他的操作,如激活函数和归一化层,使用 float32 类型进行计算。这样可以平衡计算速度和精度损失。

在 PyTorch 使用 BFloat16 时,遇到 Bug,TypeError: Got unsupported ScalarType BFloat16,即:

File "[your file].py", line 38, in [function]
    reference_np = reference.detach().cpu().numpy()    
TypeError: Got unsupported ScalarType BFloat16

原因 PyTorch Version: 1.13.0 版本,不支持直接转换 BFloat16 格式, 在 detach() 之后,增加 to(torch.float),再转换 cpu(),即可:

reference_np = reference.detach().to(torch.float).cpu().numpy()

参考:文章来源地址https://www.toymoban.com/news/detail-700674.html

  • Error: TypeError: Got unsupported ScalarType BFloat16
  • 源码:sd-webui-additional-networks commit

到了这里,关于Server - PyTorch BFloat16 “TypeError: Got unsupported ScalarType BFloat16“ 解决方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包