香橙派5使用NPU加速yolov5的实时视频推理（一）-Toy模板网

这篇具有很好参考价值的文章主要介绍了香橙派5使用NPU加速yolov5的实时视频推理（一）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言：

寒假里，博主完成了树莓派4B搭载yolofastest-V2的ncnn加速，效果挺不错的，但总感觉还是稍微差点意思，于是就购买了一块香橙派5，想要用RK3588芯片自带的NPU来加速深度学习的部署，在2023年3月4日也是完成了香橙派5的NPU加速深度学习部分，其效果也确实非常可观，在画质较低的情况下，运行速度达到了100fps以上，下面是我在B站发布的效果视频点我跳转。这篇博客也是为了总结一下玩香橙派5的时候遇到的坑。

准备材料：

1、香橙派5

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

2、一台windows10或windows11的电脑

3、一个内部带有Ubuntu20.04的移动硬盘（如果没有，也可以用VMware安装个虚拟机也行）。

3、USB摄像头（某宝上有卖的，啥都可以）用来做视频识别

4、64G内存卡（烧录了官方的Debian11系统）、HDMI线、显示屏、官方的电源线、键鼠套装

5、香橙派5官方提供的无线网卡（其他网卡应该也行，只不过当时我买了，即使安装了驱动也没上成网）

6、散热壳（也是某宝买的，不是官方的）

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

说明：

关于RKNN，官方给出了两种思路，一种是关于C的，另一种是关于Python的，这里我只介绍Python有关部分。

在接下来的操作中，一和二是在windows系统上进行操作的，三是在Ubuntu20.04系统上进行的，四是在香橙派5上操作的，大家注意区分！！！

一、使用官方指定的yolov5版本去训练：

不瞒大家，对于yolov5来说，博主本人在寒假之前也没用过，这个寒假才学会了yolov5的训练和应用，在此之前，我甚至都不知道yolov5还分为多个版本，RKNN官方教程

进入教程后，首先点击框内链接跳转至yolov5的GitHub仓库

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

博主这里跳转过后是403，没关系，我们直接点击yoloV5官方库跳转至如下界面。

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

点击左上角箭头所指区域，搜索c5360f6e7009eb4d05f14d1cc9dae0963e949213，跳转至如下界面，按顺序点击箭头所指区域

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

进入如下界面后，点击Browse file yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

这样，我们就找到了正确的版本了

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

把代码保存到本地，接下来，我们点击Releases · ultralytics/yolov5 · GitHub，进入如下界面

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

滚动滑轮大概在界面的中部位置，点击箭头所指区域

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

进入如下界面

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件滑动滚轮到页面底部，下载我们的预训练模型yolov5s.pt

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

然后就是开始我们的yolov5的简单训练了，这里我参考的是这篇博客，这位博主写的很好，对小白很友好小白YOLOv5全流程-训练+实现数字识别_yolov5数字识别_牛大了2022的博客-CSDN博客

当然了，我们因为选择了不同的版本，会出现一点小的问题，这里我也记录了下来。

1、这里一定要采用单引号，否则就会报出这个错误ValueError: too many dimensions ‘str‘

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

2、当出现OSError: [WinError 1455] 页面文件太小,无法完成操作，一般是要去给Anaconda所在的盘符分配一定的虚拟内存，同时把train.py里的'--batch-size'选项调小，我是轻薄本，于是就改成了4，虚拟内存分配了50G，此外，如果多次输出这个错误的话，就尽量不要用python终端去执行命令了，直接修改train.py里面的参数，然后运行train.py

3、当出现如下错误的时候，不要慌张，可以把所有的np.int修改成np.int_即可

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

4、如果以上错误都解决了的话，已经开始训练了，结果出现下面的错误

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

这样的话，就要进入loss.py函数，修改两个地方，第一个地方：

for i in range(self.nl):
anchors = self.anchors[i]

改为如下所示：

 for i in range(self.nl):
        anchors, shape = self.anchors[i], p[i].shape

第二个地方：

indices.append((b, a, gj.clamp_(0, gain[3] - 1), gi.clamp_(0, gain[2] - 1)))  # image, anchor, grid

改为：

indices.append((b, a, gj.clamp_(0, shape[2] - 1), gi.clamp_(0, shape[3] - 1)))  # image, anchor, grid

以上的错误解决完了就可以训练了。博主我啊，为了写这篇博客，还把这整个操作给又弄了一遍，各位看在这么辛苦的份上，给我点个赞吧。

二、将训练好的best.pt转为best.onnx

这里，我们再次进入RKNN官方教程这里，按照官方提供的步骤来操作。

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

这一步一定要等训练完成后，再对export.py进行修改，然后我们要把得出的best.pt复制到export.py同一级文件夹下。

python export.py --weights best.pt --img 640 --batch 1 --include onnx

我确实报了一大堆警告，最开始我没有去管，后来到了转rknn的时候，出了个大问题

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件

这是报的错误

WARNING: The shape inference of prim::Constant type is missing, so it may result in wrong shape inference for the exported graph. Please consider adding it in symbolic function.

我们要到export.py文件里面，把'--opset'选项该成11，再次运行代码，弹出下面的界面，没有了上面说的警告，但还是会有一些警告，博主上网查了一些，说是深度神经网络的网络结构太灵活，网络结构中出现不少if else 语句，需要去掉，这个我没在意，后续也没出啥问题。

yolo npu,香橙派5,YOLO,人工智能,嵌入式硬件