本文全文参考文章为 win10下 yolov8 tensorrt模型加速部署【实战】
本文使用的代码仓库为 TensorRT-Alpha
注:其他 Yolov8 TensorRT 部署项目:YOLOv8 Tensorrt Python/C++部署教程
一、前期准备工作
安装Visual Studio 2019或者Visual Studio 2022、Nvidia驱动
安装cuda,cudnn、opencv、tensorrt并进行相应的环境配置,这里不做配置教程
二、属性表的创建
制作属性表的3个步骤:
1. 拷贝include路径
2. 拷贝lib路径,外加设置dll到系统环境变量
3. 拷贝lib文件名称
打开 VS 2019,创建新项目 Yolov8_TensorRT
2.1 创建OpenCV属性表
如上图将项目设置为 Debug x64
或者 Release x64
模式即可
接着切换到 属性管理器
,这里以 Release x64
为例,右键选择 添加新项目属性表
,命名为 OpenCV_ReleaseX64.props
接下来要对属性表进行编辑,双击建好的属性表,主要编辑内容为:通用属性
-> VC++目录
-> 包含目录
和 库目录
以及 链接器
-> 输入
-> 附加依赖项
首先对 包含目录
进行编辑,这里将 OpenCV 头文件路径拷贝进去,并确定
路径如下:
path/to/opencv/build/include
path/to/opencv/build/include/opencv2
接下来,对 库目录
进行编辑,将库路径拷贝进去,并确定
路径如下:
path/to/opencv/build/x64/vc15/lib
然后对 链接器
-> 输入
-> 附加依赖项
进行编辑,将opencv_world460.lib
添加进去
(只需要文件名,不同版本文件名不一样,我OpenCV版本是4.6.0所以这里是460
)
该文件本地路径是 opencv/build/x64/vc15/lib/opencv_world460.lib
最后点击 应用
,确定
即可
结束完这个操作后,Release x64
的 OpenCV 属性表
就配置完成了
实现Debug x64
的 OpenCV 属性表
,只需要将最后 链接器
-> 输入
-> 附加依赖项
文件名改为 opencv_world460d.lib
,其余操作和上面流程一致
2.2 创建TensorRT属性表
同样在 Release | X64
下右键选择 添加新项目属性表
,命名为 TensorRT_X64.props
与 OpenCV属性表
类似,需要编辑的内容为:通用属性
-> VC++目录
-> 包含目录
和 库目录
以及 链接器
-> 输入
-> 附加依赖项
首先对 包含目录
进行编辑,这里将 TensorRT 头文件路径拷贝进去,头文件路径如下:
path/to/TensorRT-8.4.3.1/include
path/to/TensorRT-8.4.3.1/samples/common
path/to/TensorRT-8.4.3.1/samples/common/windows
接下来,对 库目录
进行编辑,将库路径拷贝进去
文件路径如下:
path/to/TensorRT-8.4.3.1/lib
然后对 链接器
-> 输入
-> 附加依赖项
进行编辑,文件名为:
# 文件目录 path/to/TensorRT-8.4.3.1/lib
nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib
最后,修改 TensorRT属性表
:通用属性
->C/C++
-> 预处理器
-> 预处理器定义
-> 添加指令:_CRT_SECURE_NO_WARNINGS
到此,TensorRT属性表配置完成
2.3 创建CUDA属性表
CUDA属性表直接使用官方的,路径为:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\visual_studio_integration\MSBuildExtensions\CUDA 11.6.props
这样,所有的属性表就配置完成了
三、YOLOv8 模型部署
3.1 导出训练权重的 onnx 文件
进入YOLOv8的项目中使用以下命令导出 onnx 文件
yolo export model=weights/Animal/animal.pt format=onnx dynamic=True simplify=True
3.2 使用 TensorRT 编译 onnx 文件
使用以下命令对onnx文件进行编译
D:/TensorRT-8.4.3.1/bin/trtexec.exe --onnx=./weights/Animal/animal.onnx --saveEngine=./weights/Animal/animal.trt --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
3.3 编译运行
先下载 TensorRT-Alpha
git clone https://github.com/FeiYull/TensorRT-Alpha.git
3.3.1设置项目文件
将 TensorRT-Alpha/yolov8
中选中的文件拷贝到项目的 源文件
中
将TensorRT-Alpha/utils
中选中的文件拷贝到项目的 头文件
中
最后将TensorRT-8.4.3.1/samples/common
下的 logger.cpp、sampleOptions.cpp
文件拷贝到项目的 资源文件
中
接下来设置 生成依赖项
,选择 CUDA 11.6
(若没有,见下文 遇到的问题
中有解决方案)
然后设置 NVCC 编译 .cu及其对应头文件
选择下图中框选的文件右键 属性
->项类型
更改为 CUDA C/C++
,然后点击应用、确定即可
最后,右键 Yolov8_TensorRT
-> 属性
-> 配置属性
-> 高级
-> 字符集
,设置为 未设置
接着点击 生成
-> 生成解决方案
,直到成功
(这里可能会出现问题: 由于找不到 opencv_world460d.dll, 无法执行代码,重新安装程序可能会解决此问题
,见下文 遇到的问题
中有解决方案)
上述所有步骤都成功完成后,即可设置命令行参数,编译运行啦
3.3.2 编译运行
运行前先修改为自己的 类别数和类别名
类别数
在 app_yolov8.cpp
中修改类别名
在 utils.h
中修改
使用如下命令进行图像的推理
--model=E:/Git_Projects/ultralytics/weights/Animal/animal.trt --size=640 --batch_size=1 --img=E:/Data/Animal/27.jpg --savePath=E:/Data/Animal/Animal_27 # --show
右键项目 -> 属性
-> 属性配置
-> 调试
-> 命令参数
,将上述命令添加进去
最后,点击 本地Windows调试器
即可
命令行推理
# 推理图片
./Yolov8_TensorRT.exe --model=path/to/xxx.trt --size=640 --batch_size=1 --img=path/to/xxx.jpg --show --savePath=path/to/xxx
./Yolov8_TensorRT.exe --model=path/to/xxx.trt --size=640 --batch_size=8 --img=path/to/xxx.jpg --show --savePath=path/to/xxx
# 推理视频
./Yolov8_TensorRT.exe --model=path/to/xxx.trt --size=640 --batch_size=8 --video=path/to/xxx.mp4 --show --savePath=../
# 在线推理相机视频
./Yolov8_TensorRT.exe --model=path/to/xxx.trt --size=640 --batch_size=2 --cam_id=0 --show
## 1280
# infer camera
./Yolov8_TensorRT.exe --model=path/to/xxx.trt --size=1280 --batch_size=2 --cam_id=0 --show
四、推理效果
五、可能遇到的问题
5.1 在对项目设置 生成依赖项,未出现 CUDA 版本选项
解决方法:
将 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\visual_studio_integration\MSBuildExtensions
下的4个文件全部复制到C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\MSBuild\Microsoft\VC\v160\BuildCustomizations
即可解决问题文章来源:https://www.toymoban.com/news/detail-515101.html
5.2 由于找不到 opencv_world460d.dll,无法执行代码,重新安装程序可能会解决此问题
解决方法:
将 opencv 安装路径 path/to/opencv/build/x64/vc15/bin
中所有后缀是 .dll
的应用程序扩展复制到 C:/Windows/System32
中,即可解决文章来源地址https://www.toymoban.com/news/detail-515101.html
到了这里,关于【YOLO】Windows 下 YOLOv8 使用 TensorRT 进行模型加速部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!