部分安卓端ncnn模型推理输出数据存在大量-nan和nan的问题-Toy模板网

这篇具有很好参考价值的文章主要介绍了部分安卓端ncnn模型推理输出数据存在大量-nan和nan的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

原文issue链接：部分安卓端ncnn模型推理输出数据存在大量-nan的问题 · Issue #3607 · Tencent/ncnn (github.com)

问题描述

onnx、ncnn模型在pc端推理输出结果正确且基本一致，在部分安卓设备上使用同一模型和输入的推理输出数据正常，另一部分安卓端设备上存在大量-nan数值，且推理结果错误。

编译&运行环境

ncnn版本库：预编译库 20220216
PC端运行环境：Ubuntu 18.04 Intel Core i7 9700
Android端出现问题的运行环境：
1、Android 10.0 展锐 uis8581e
2、Android 11.0 高通 Snapdragon 855Plus
3、Harmony 2.0 麒麟 Kirin 980

解决方案

中间层累加可能有fp16溢出问题，对于累加有溢出的层强制用 fp32 计算，在加载后，重新用 fp32 性质初始化该层。（ncnn作者nihui的回复）或者直接像下面这样设置fp16计算。

net.opt.use_fp16_storage = false;
net.opt.use_fp16_arithmetic = false;

当net.opt.use_fp16_storage设置为false时，模型中的参数以及中间计算结果将会以浮点数的32位精度（即float32）进行存储。同样，当net.opt.use_fp16_arithmetic设置为false时，模型的计算也会以float32精度进行。默认情况下，这两个选项的值都为false，即使用float32精度。

启示

对于不同设备端如果在ncnn正确安装和能正常使用后（即推理代码正常编译和运行），如果推理结果不一致，那么就要考虑溢出的问题，一般来说对于fp16的模型加上上述两句，进行fp32推理是可以解决问题的。(至少我解决了一部分问题)。通过安卓端这个问题，也可以引申到其他如linux设备端推理类似问题的解决。文章来源地址https://www.toymoban.com/news/detail-573928.html

到了这里，关于部分安卓端ncnn模型推理输出数据存在大量-nan和nan的问题的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！