OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测

7月前作者：DennisJcy 分类：Toy博客阅读(30) 违法举报

这篇具有很好参考价值的文章主要介绍了OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 前言

之前把ORT的一套推理环境框架搭好了,在项目中也运行得非常愉快,实现了cpu/gpu,fp32/fp16的推理运算,同onnx通用模型在不同推理框架下的性能差异对比贴一下,记录一下自己对各种推理框架的学习状况

YoloV8模型大小
模型名称	参数量
NANO	3.2M
...	...

2. CPU篇

CPU推理框架性能比较
框架	推理耗时(i5-11400H@2.70GHz)/ms
OnnxRuntime	95
DNN	80

OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测,人工智能,c++,python,深度学习

OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测,人工智能,c++,python,深度学习

3. GPU篇

说明一下,懒得编译OpenCV的CUDA版了.也是菜,不想编译qwq

GPU推理框架性能比较
框架	推理耗时(RTX3050 LapTop)/ms
OnnxRuntime	17
TensorRT	6

OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测,人工智能,c++,python,深度学习

OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测,人工智能,c++,python,深度学习

4. 总结

cpu选择onnxruntime或者dnn都可以,建议选择ort.gpu选择tensorrt,如果有兼容需求就只能选择onnxruntime了.

不得不说,gpu推理上TRT把ORT薄纱了,不需要warm-up,对工业生产环境非常友好,因为在实际生产环境中,都不是实时推理,而是有间隔的推理,ORT在一段间隔时间后cuda性能会有所衰减,当然也可能是我还没摸透ort这个框架,欢迎大佬指正.文章来源地址https://www.toymoban.com/news/detail-620680.html

到了这里，关于OnnxRuntime TensorRT OpenCV::DNN性能对比(YoloV8)实测的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

yolov8 opencv dnn部署 github代码

源码地址本人使用的opencv c++ github代码,代码作者非本人实现推理源码中作者的yolov8s.onnx 推理条件 windows 10 Visual Studio 2019 Nvidia GeForce GTX 1070 opencv4.7.0 (opencv4.5.5在别的地方看到不支持yolov8的推理，所以只使用opencv4.7.0) c++部署先将源码复制到下图位置中环境和代码的大致步骤跟

2024年01月23日
浏览(32)
yolov8 opencv dnn部署自己的模型

源码地址本人使用的opencv c++ github代码,代码作者非本人使用github源码结合自己导出的onnx模型推理自己的视频推理条件 windows 10 Visual Studio 2019 Nvidia GeForce GTX 1070 opencv4.7.0 (opencv4.5.5在别的地方看到不支持yolov8的推理，所以只使用opencv4.7.0) 导出yolov8模型 yolov8版本: version = ‘8.

2024年01月24日
浏览(36)
Ubuntu环境下C++使用onnxruntime和Opencv进行YOLOv8模型部署

目录环境配置系统环境项目文件路径文件环境 config.txt CMakeLists.txt type.names 读取config.txt配置文件修改图片尺寸格式读取缺陷标志文件生成缺陷随机颜色标识模型推理推理结果获取缺陷信息还原并显示总代码 Ubuntu18.04 onnxruntime-linux-x64 1.12.1：https://github.com/microsof

2024年01月17日
浏览(33)
如何加载模型YOLOv8 ONNXRuntime

YOLOv8 是 YOLO（You Only Look Once）目标检测系统的最新版本（v8）。YOLO 是一种实时、一次性目标检测系统，旨在在网络的单次前向传递中执行目标检测，使其快速高效。YOLOv8是之前YOLO模型的改进版本，具有更高的精度和更快的推理速度。 ONNX（开放神经网络交换）是一种表示深度

2024年02月14日
浏览(25)
【YOLOv8】实战三：基于LabVIEW TensorRT部署YOLOv8

‍‍🏡博客主页： virobotics的CSDN博客：LabVIEW深度学习、人工智能博主 🎄所属专栏：『LabVIEW深度学习实战』 🍻上期文章：【YOLOv8】实战二：YOLOv8 OpenVINO2022版 windows部署实战 📰如觉得博主文章写的不错或对你有所帮助的话，还望大家多多支持呀！欢迎大家✌关注、👍点赞

2024年02月07日
浏览(33)
AI模型部署 | onnxruntime部署YOLOv8分割模型详细教程

本文首发于公众号【DeepDriving】，欢迎关注。 0. 引言我之前写的文章《基于YOLOv8分割模型实现垃圾识别》介绍了如何使用 YOLOv8 分割模型来实现垃圾识别，主要是介绍如何用自定义的数据集来训练 YOLOv8 分割模型。那么训练好的模型该如何部署呢？ YOLOv8 分割模型相比检测模型

2024年04月24日
浏览(28)
YOLOv8-Openvino和ONNXRuntime推理【CPU】

CPU：i5-12500 2.1 Openvino简介 Openvino是由Intel开发的专门用于优化和部署人工智能推理的半开源的工具包，主要用于对深度推理做优化。 Openvino内部集成了Opencv、TensorFlow模块，除此之外它还具有强大的Plugin开发框架，允许开发者在Openvino之上对推理过程做优化。 Openvino整体框架为

2024年02月20日
浏览(37)
【Yolov8】基于C#和TensorRT部署Yolov8全系列模型

该项目主要基于TensorRT模型部署套件，在C#平台部署Yolov8模型，包括Yolov8系列的对象检测、图像分割、姿态识别和图像分类模型，实现C#平台推理加速Yolov8模型。完整范例代码： GitHub平台：guojin-yan/Csharp_deploy_Yolov8 (github.com) Gitee平台：Guojin Yan/基于Csharp部署Yolov8系列模

2024年02月06日
浏览(36)
记录我的tensorrt 部署yolov8

系统：ubuntu 18.04 代码：https://github.com/triple-Mu/YOLOv8-TensorRT conda 环境：按照上面代码环境安装 python==3.8 cuda : 11.8 tensorrt : 8.5.1.7-1+cuda11.8 没有cudnn nvidia-tensorrt(conda) : 8.4.1.5 Driver Version: 530.41.03 在我电脑上加速 3倍左右我电脑设备 3060

2024年02月10日
浏览(26)
yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）

C++ 结合 TensorRT 部署深度学习模型有几个关键优势，这些优势在各种工业和商业应用中极其重要：高效的性能：TensorRT 通过优化深度学习模型来提高推理速度，减少延迟。这对于实时处理应用（如视频分析、机器人导航等）至关重要。降低资源消耗：TensorRT 优化了模型以在

2024年04月13日
浏览(30)