『CV学习笔记』深度理解半精度float16的表示 |
- 深度学习中
int8、float16、float32
的主要却别在于能表示的 数值范围、数值精度。- 半精度是英伟达在2002年搞出来的,双精度和单精度是为了计算,而半精度更多是为了降低数据传输和存储成本。很多场景对于精度要求也没那么高,例如分布式深度学习里面,如果用半精度的话,比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数,使用半精度传输还是非常有价值的。
一. float16的表示方法
- float16顾名思义有16位二进制数,其中有1位固定的符号位,记为sign。剩下15位中5位作为指数&#
文章来源地址https://www.toymoban.com/news/detail-435580.html
文章来源:https://www.toymoban.com/news/detail-435580.html
到了这里,关于『CV学习笔记』深度理解半精度float16的表示的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!