yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快-Toy模板网

这篇具有很好参考价值的文章主要介绍了yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

特别说明：参考官方开源的yolov8代码、瑞芯微官方文档、地平线的官方文档，如有侵权告知删，谢谢。

模型和完整仿真测试代码，放在github上参考链接模型和代码。

因为之前写了几篇yolov8模型部署的博文，存在两个问题：部署难度大、模型推理速度慢。该篇解决了这两个问题，且是全网部署难度最小、模型运行速度最快的部署方式。相对之前写的一篇【yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署】将DFL写在后处理中模型加速了，针对后处理进行优化后时耗略微增加。

1 模型和训练

训练代码参考官方开源的yolov8训练代码。

2 导出 yolov8 onnx

导出onnx增加以下几行代码：
yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快,YOLO
如果所用的yolov8版本和当时写博客的版本不一样，在同样的地方增加这几行是一样的。
以下是新版本hend文件

        # 导出 onnx 增加
        y = []
        for i in range(self.nl):
            t1 = self.cv2[i](x[i])
            t2 = self.cv3[i](x[i])
            y.append(t1)
            y.append(t2)
        return y

增加保存onnx模型代码
yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快,YOLO

        print("===========  onnx =========== ")
        import torch
        dummy_input = torch.randn(1, 3, 640, 640)
        input_names = ["data"]
        output_names = ["reg1", "cls1", "reg2", "cls2", "reg3", "cls3"]
        torch.onnx.export(self.model, dummy_input, "./weights/yolov8_relu_80class_ZQ1.onnx", verbose=False, input_names=input_names, output_names=output_names, opset_version=11)
        print("======================== convert onnx Finished! .... ")

修改完以上两个地方，运行推理脚本（运行会报错，但不影响onnx文件的生成）。

from ultralytics import YOLO
# 推理
model = YOLO('./weights/yolov8n_relu_ZQ_80class.pt')
results = model(task='detect', mode='predict', source='./images/test.jpg', line_width=3, show=True, save=True, device='cpu')

3 yolov8 onnx 测试效果

onnx模型和测试完整代码，放在github上代码。
yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快,YOLO

4 tensorRT 优化前后时耗

上一篇【yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署】tensorRT部署推理10000次的平均时耗（显卡 Tesla V100、cuda_11.0）
yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快,YOLO
本篇tensorRT部署推理10000次的平均时耗（显卡 Tesla V100、cuda_11.0）

5 rknn 板端C++部署

C++完整部署代码和模型示例参考

把板端C++代码的模型和时耗也给贴出来供大家参考，使用芯片rk3588。相对之前在rk3588上推理40ms，降到了17ms，后处理稍微有增加。

上一篇【yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署】部署到rknn3588上的C++时耗
yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快,YOLO
本篇部署方法时耗

2024年1月12日：后处理代码针对rknn进行了优化，后处理时耗大幅度降低。（检测类别越多效果越明显，检测1个类别就没有优化效果，代码已同步到对应的代码仓中）
yolov8n 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署，部署工程难度小、模型推理速度快,YOLO 文章来源地址https://www.toymoban.com/news/detail-792268.html