提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
之前做人工智能使用RK3399的CPU去推理,发现效果不理想,现在基本上是采用NPU来推理了。我内心不禁萌生一个想法,ARM的CPU算力到底有多少,为什么推理方面干不过NPU,这里我借用经常使用的RK3399来对比下
一、RK3399规格?
RK3399是国产厂商瑞芯微设计的一款ARM产品,基于Cortex-A72+Cortex-A53的大小核架构设计,算是半国产产品吧,Cortex-A72数量2颗,主频1800Mhz;Cortex-A53数量4颗,主频1500Mhz。
二、开始计算
1.参考
我们需要参考官方给出的实际算力表,见下表
表里我们看出
Cortex-A72的DMIPS/MHZ是4.7,也就是每秒,每MHZ执行4.7百万个整数计算指令
Cortex-A53的DMIPS/MHZ是2.3,也就是每秒,没MHZ执行2.3百万个整数计算指令
有了这些数据,我们开始计算实际的整数算力。
2.计算
MOPS:megaOPS,每秒10^6次整数运算,相当于每秒一百万次整数运算
GOPS:gigaOPS,每秒10^9次整数运算,相当于每秒十亿次整数运算
TOPS:teraOPS,每秒10^12次整数运算,相当于每秒一万亿次整数运算
POPS:petaOPS,每秒10^15次整数运算,相当于每秒一千万亿次整数运算
EOPS:exaOPS,每秒10^18次整数运算,相当于每秒一百亿亿次整数运算
有了这些数据,我们就可以开始计算RK3399的算力了,这里我们抛弃其它的干扰,只计算官方给出的数据,结果可能有一定的偏差。
计算公式:频率(MHZ)x核心数xDMIPS/MHZ
Cortex-A72: 1800x2x4.7=16920 DMIPS
Cortex-A53: 1500x4x2.3=13800 DMIPS
合计:30720 DMIPS
这个算力在GOPS核TOPS中间,实际307.2GOPS或0.3072TOPS,看起来和动辄3TOPS的NPU比起来还是有差距的。文章来源:https://www.toymoban.com/news/detail-664815.html
总结
1、市面上很多模型都是基于INT8的,精度和FLOAT肯定是差一些的,大多数人都是采用牺牲一些精度换取大量的性能提升,这个是目前边端设备上的主流做法。
2、没有测试GPU,RK3399这个GPU在嵌入式设备上还是蛮强的,但是实际上在推理场景发挥有限,至少我是没有获得过巨大的性能提升。
3、边端设备上推理还是采用NPU更划算,单纯依靠CPU还是不太现实,或者只能满足受限制的小场景。文章来源地址https://www.toymoban.com/news/detail-664815.html
到了这里,关于ARM整形算力计算的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!