1. Toy模板网首页
  2. > Toy博客

linux下 yolov8 tensorrt模型部署

10月前 作者：韩师兄_ 分类：Toy博客 阅读(44) 违法举报

这篇具有很好参考价值的文章主要介绍了linux下 yolov8 tensorrt模型部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

  • TensorRT系列之 Windows10下yolov8 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov5 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolox tensorrt模型加速部署

  • TensorRT系列之 Linux下 u2net tensorrt模型加速部署

  • 更多（点我进去）…

ubuntu下yolov8 tensorrt模型加速部署【实战】

TensorRT-Alpha基于tensorrt+cuda c++实现模型end2end的gpu加速，支持win10、linux，在2023年已经更新模型：YOLOv8, YOLOv7, YOLOv6, YOLOv5, YOLOv4, YOLOv3, YOLOX, YOLOR,pphumanseg,u2net,EfficientDet。
仓库TensorRT-Alpha：https://github.com/FeiYull/TensorRT-Alpha

一、加速结果展示

1.1 性能速览

🚀快速看看yolov8n 在移动端RTX2070m(8G)的新能表现：

model video resolution model input size GPU Memory-Usage GPU-Util
yolov8n 1920x1080 8x3x640x640 1093MiB/7982MiB 14%

下图是yolov8n的运行时间开销，单位是ms：
linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉

更多TensorRT-Alpha测试录像在B站视频：
B站：YOLOv8n
B站：YOLOv8s

linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉

1.2精度对齐

下面是左边是python框架推理结果，右边是TensorRT-Alpha推理结果。
linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉

yolov8n : Offical( left ) vs Ours( right )

linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉

yolov7-tiny : Offical( left ) vs Ours( right )

linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉

yolov6s : Offical( left ) vs Ours( right )

linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉

yolov5s : Offical( left ) vs Ours( right )

YOLOv4 YOLOv3 YOLOR YOLOX略。

二、Ubuntu18.04环境配置

如果您对tensorrt不是很熟悉，请务必保持下面库版本一致。
请注意: Linux系统安装以下库，务必去进入系统bios下，关闭安全启动(设置 secure boot 为 disable)

2.1 安装工具链和opencv

sudo apt-get update 
sudo apt-get install build-essential 
sudo apt-get install git
sudo apt-get install gdb
sudo apt-get install cmake

sudo apt-get install libopencv-dev  
# pkg-config --modversion opencv

2.2 安装Nvidia相关库

注：Nvidia相关网站需要注册账号。

2.2.1 安装Nvidia显卡驱动

ubuntu-drivers devices
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-470-server # for ubuntu18.04
nvidia-smi

2.2.2 安装 cuda11.3

  • 进入链接: https://developer.nvidia.com/cuda-toolkit-archive
  • 选择：CUDA Toolkit 11.3.0(April 2021)
  • 选择：[Linux] -> [x86_64] -> [Ubuntu] -> [18.04] -> [runfile(local)]

    在网页你能看到下面安装命令，我这里已经拷贝下来：
wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
sudo sh cuda_11.3.0_465.19.01_linux.run

cuda的安装过程中，需要你在bash窗口手动作一些选择，这里选择如下：

  • select：[continue] -> [accept] -> 接着按下回车键取消Driver和465.19.01这个选项，如下图(it is important!) -> [Install]

    linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉
    bash窗口提示如下表示安装完成
#===========
#= Summary =
#===========

#Driver:   Not Selected
#Toolkit:  Installed in /usr/local/cuda-11.3/
#......

把cuda添加到环境变量：

vim ~/.bashrc

把下面拷贝到 .bashrc里面

# cuda v11.3
export PATH=/usr/local/cuda-11.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-11.3

刷新环境变量和验证

source ~/.bashrc
nvcc -V

bash窗口打印如下信息表示cuda11.3安装正常

nvcc: NVIDIA (R) Cuda compiler driver<br>
Copyright (c) 2005-2021 NVIDIA Corporation<br>
Built on Sun_Mar_21_19:15:46_PDT_2021<br>
Cuda compilation tools, release 11.3, V11.3.58<br>
Build cuda_11.3.r11.3/compiler.29745058_0<br>

2.2.3 安装 cudnn8.2

  • 进入网站：https://developer.nvidia.com/rdp/cudnn-archive
  • 选择： Download cuDNN v8.2.0 (April 23rd, 2021), for CUDA 11.x
  • 选择： cuDNN Library for Linux (x86_64)
  • 你将会下载这个压缩包: “cudnn-11.3-linux-x64-v8.2.0.53.tgz”
# 解压
tar -zxvf cudnn-11.3-linux-x64-v8.2.0.53.tgz

将cudnn的头文件和lib拷贝到cuda11.3的安装目录下：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

2.2.4 下载 tensorrt8.4.2.4

本教程中，tensorrt只需要下载\、解压即可，不需要安装。

  • 进入网站： https://developer.nvidia.cn/nvidia-tensorrt-8x-download
    网站更新2023.12：https://developer.nvidia.com/nvidia-tensorrt-8x-download
    （顺便，法克 Nvidia）
  • 把这个打勾： I Agree To the Terms of the NVIDIA TensorRT License Agreement
  • 选择: TensorRT 8.4 GA Update 1
  • 选择: TensorRT 8.4 GA Update 1 for Linux x86_64 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6 and 11.7 TAR Package
  • 你将会下载这个压缩包: “TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz”
# 解压
tar -zxvf TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
# 快速验证一下tensorrt+cuda+cudnn是否安装正常
cd TensorRT-8.4.2.4/samples/sampleMNIST
make
cd ../../bin/

导出tensorrt环境变量(it is important!)，注：将LD_LIBRARY_PATH:后面的路径换成你自己的！后续编译onnx模型的时候也需要执行下面第一行命令

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxx/temp/TensorRT-8.4.2.4/lib
./sample_mnist

bash窗口打印类似如下图的手写数字识别表明cuda+cudnn+tensorrt安装正常
linux运行yolo,TensorRT-Alpha,YOLO高级篇,深度学习,目标检测,人工智能,c++,计算机视觉

2.2.5 下载仓库TensorRT-Alpha并设置

git clone https://github.com/FeiYull/tensorrt-alpha

设置您自己TensorRT根目录:

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/cmake
vim common.cmake
# 在文件common.cmake中的第20行中，设置成你自己的目录，别和我设置一样的路径eg:
# set(TensorRT_ROOT /root/TensorRT-8.4.2.4)

三、YOLOv8模型部署

3.1 获取YOLOv8onnx文件

直接在网盘下载 weiyun or google driver 或者使用如下命令导出onnx:

# 🔥 yolov8 官方仓库: https://github.com/ultralytics/ultralytics
# 🔥 yolov8 官方教程: https://docs.ultralytics.com/quickstart/
# 🚀TensorRT-Alpha will be updated synchronously as soon as possible!

# 安装 yolov8
conda create -n yolov8 python==3.8 -y
conda activate yolov8
pip install ultralytics==8.0.5
pip install onnx==1.12.0

# 下载官方权重(".pt" file)
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8s.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8m.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8l.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8x.pt
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8x6.pt

导出 onnx:

# 640
yolo mode=export model=yolov8n.pt format=onnx dynamic=True  opset=12  #simplify=True
yolo mode=export model=yolov8s.pt format=onnx dynamic=True  opset=12  #simplify=True
yolo mode=export model=yolov8m.pt format=onnx dynamic=True  opset=12  #simplify=True
yolo mode=export model=yolov8l.pt format=onnx dynamic=True  opset=12  #simplify=True
yolo mode=export model=yolov8x.pt format=onnx dynamic=True  opset=12  #simplify=True
# 1280
yolo mode=export model=yolov8x6.pt format=onnx dynamic=True opset=12  #simplify=True

新增更新：
如何使用代码导出onnx文件。在yolov8官方源码目录下新建my_export.py文件，如下代码：
yaml是官方提供的配置文件，如果是自己训练的模型，那就设置为自定义yaml文件即可。

from ultralytics import YOLO
# Load a model
model = YOLO('ultralytics/cfg/models/v8/yolov8.yaml')
model = YOLO('yolov8n.pt')  # load an official model
# Export the model
model.export(format='onnx', dynamic=True, opset=12) # 第2、3个参数禁止修改

3.2 编译 onnx

# 把你的onnx文件放到这个路径:tensorrt-alpha/data/yolov8
cd tensorrt-alpha/data/yolov8
# 请把LD_LIBRARY_PATH:换成您自己的路径。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-8.4.2.4/lib
# 640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8n.onnx  --saveEngine=yolov8n.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8s.onnx  --saveEngine=yolov8s.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8m.onnx  --saveEngine=yolov8m.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8l.onnx  --saveEngine=yolov8l.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8x.onnx  --saveEngine=yolov8x.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
# 1280
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=yolov8x6.onnx  --saveEngine=yolov8x6.trt  --buildOnly --minShapes=images:1x3x1280x1280 --optShapes=images:4x3x1280x1280 --maxShapes=images:8x3x1280x1280

你将会的到例如：yolov8n.trt、yolov8s.trt、yolov8m.trt等文件。

3.3 编译运行

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/yolov8
mkdir build
cd build
cmake ..
make -j10
# 注: 效果图默认保存在路径 tensorrt-alpha/yolov8/build

# 下面参数解释
# --show 表示可视化结果
# --savePath 表示保存，默认保存在build目录
# --savePath=../ 保存在上一级目录

## 640
# 推理图片
./app_yolov8  --model=../../data/yolov8/yolov8n.trt --size=640 --batch_size=1  --img=../../data/6406407.jpg   --show --savePath
./app_yolov8  --model=../../data/yolov8/yolov8n.trt --size=640 --batch_size=4  --video=../../data/people.mp4  --show --savePath

# 推理视频
./app_yolov8  --model=../../data/yolov8/yolov8n.trt     --size=640 --batch_size=4  --video=../../data/people.mp4  --show --savePath=../

# 在线推理相机视频
./app_yolov8  --model=../../data/yolov8/yolov8n.trt     --size=640 --batch_size=2  --cam_id=0  --show

## 1280
# infer camera
./app_yolov8  --model=../../data/yolov8/yolov8x6.trt     --size=1280 --batch_size=2  --cam_id=0  --show

yolov8 tensorrt cuda模型推理加速部署TensorRT-Alpha《ski facility》

yolov8 tensorrt cuda模型推理加速部署TensorRT-Alpha《NewYork-Stree》

yolov7 tensorrt cuda模型推理加速部署TensorRT-Alpha《Korea-Night》

四、如何部署自己训练的yolov8模型

未必避免文章太长，直接给出演示视频：
yolov8 tensorrt 部署自己训练的模型

五、参考

https://github.com/FeiYull/TensorRT-Alpha文章来源地址https://www.toymoban.com/news/detail-713518.html

到了这里，关于linux下 yolov8 tensorrt模型部署的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 记录我的tensorrt 部署yolov8

    系统 ：ubuntu 18.04 代码 ：https://github.com/triple-Mu/YOLOv8-TensorRT conda 环境 ： 按照上面代码环境安装  python==3.8 cuda : 11.8 tensorrt : 8.5.1.7-1+cuda11.8 没有cudnn nvidia-tensorrt(conda) : 8.4.1.5  Driver Version: 530.41.03 在我电脑上加速 3倍左右   我电脑设备 3060

    2024年02月10日
    浏览(32)
  • YOLOv8 Tensorrt Python/C++部署教程

    YOLOv8 Tensorrt Python/C++部署教程

    https://www.bilibili.com/video/BV1Pa4y1N7HS https://github.com/Monday-Leo/YOLOv8_Tensorrt 基于 Tensorrt 加速 Yolov8 ，本项目采用 ONNX转Tensorrt 方案 支持 Windows10 和 Linux 支持 Python/C++ Tensorrt 8.4.3. Cuda 11.6 Cudnn 8.4.1 onnx 1.12.0 安装 yolov8 仓库，并下载官方模型。 使用官方命令 导出ONNX模型 。 使用本仓库

    2023年04月25日
    浏览(80)
  • yolov8量化部署（基于openvino和tensorrt）

    yolov8量化部署（基于openvino和tensorrt）

    环境配置： 将pytorch模型转为openvino模型: python量化脚本：（改编自https://github.com/openvinotoolkit/openvino_notebooks/blob/main/notebooks/230-yolov8-optimization/230-yolov8-optimization.ipynb） python推理： C++推理：（openvino库读取xml文件在compile_model时报错，暂时不明原因，改用onnx格式推理） 参考：h

    2024年02月09日
    浏览(47)
  • yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）

    yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）

    C++ 结合 TensorRT 部署深度学习模型有几个关键优势，这些优势在各种工业和商业应用中极其重要： 高效的性能 ：TensorRT 通过优化深度学习模型来提高推理速度，减少延迟。这对于实时处理应用（如视频分析、机器人导航等）至关重要。 降低资源消耗 ：TensorRT 优化了模型以在

    2024年04月13日
    浏览(43)
  • YOLOv8-TensorRT C++ ubuntu部署

    YOLOv8-TensorRT C++ ubuntu部署

    先要安装好显卡驱动、CUDA、CUDNN 以ubuntu20.04、显卡1650安装470版本的显卡驱动、11.3版本的CUDA及8.2版本的CUDNN为例 进入网站： https://developer.nvidia.com/nvidia-tensorrt-8x-download 进行勾选下载： TAR是免安装直接解压可用的 解压： 终端打印出如下内容表明cuda+cudnn+tensorrt安装正常： 可以

    2024年01月20日
    浏览(43)
  • YOLOv8在NX上的tensorrt的加速部署（60帧率）

    YOLOv8在NX上的tensorrt的加速部署（60帧率）

    所有过程均可以参考本人所写的文章 （1）虚拟环境工具 MInforge3-Linux-aarch64 Jetson 平台都是RAM架构，平常的conda都是基于X86架构平台的。环境搭建参考文章 （2）YOLOv8_ros代码，采用自己创建的yolov_ros代码。yolov8_ros参考文章 （3）jetpack 环境（本篇文章是 jetpack5.1.2 )jetpack升级参考

    2024年01月18日
    浏览(31)
  • 改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝（TensorRT及NCNN部署）

    改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝（TensorRT及NCNN部署）

    2022.10.30 复现TPH-YOLOv5 2022.10.31 完成替换backbone为Ghostnet 2022.11.02 完成替换backbone为Shufflenetv2 2022.11.05 完成替换backbone为Mobilenetv3Small 2022.11.10 完成EagleEye对YOLOv5系列剪枝支持 2022.11.14 完成MQBench对YOLOv5系列量化支持 2022.11.16 完成替换backbone为EfficientNetLite-0 2022.11.26 完成替换backbone为

    2024年01月17日
    浏览(71)
  • 【YOLO系列】YOLOv8算法（尖端SOTA模型）

    【YOLO系列】YOLOv8算法（尖端SOTA模型）

    在这里粗略回顾一下YOLOv5，这里直接提供YOLOv5的整理的结构图吧 Backbone：CSPDarkNet结构，主要结构思想的体现在C3模块，这里也是梯度分流的主要思想所在的地方； PAN-FPN：双流的FPN，必须香，也必须快，但是量化还是有些需要图优化才可以达到最优的性能，比如cat前后的scal

    2024年02月02日
    浏览(43)
  • 【TensorRT】TensorRT 部署Yolov5模型（C++）

    【TensorRT】TensorRT 部署Yolov5模型（C++）

      该项目代码在本人GitHub代码仓库开源，本人GitHub主页为：GitHub   项目代码：   NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK，可为深度学习推理应用提供低延迟和高吞吐量。详细安装方式参考以下博客： NVIDIA TensorRT 安装 (Windows C++)   经典的一个TensorRT部署模型步骤为

    2023年04月26日
    浏览(49)
  • 【YOLO】YOLOv8实操：环境配置/自定义数据集准备/模型训练/预测

    【YOLO】YOLOv8实操：环境配置/自定义数据集准备/模型训练/预测

    源码链接：https://github.com/ultralytics/ultralytics yolov8和yolov5是同一作者，相比yolov5，yolov8的集成性更好了，更加面向用户了 YOLO命令行界面(command line interface, CLI) 方便在各种任务和版本上训练、验证或推断模型。CLI不需要定制或代码，可以使用yolo命令从终端运行所有任务。 如果

    2023年04月24日
    浏览(61)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包