使用TensorRT对yolov5进行部署(基于python,超详细)

这篇具有很好参考价值的文章主要介绍了使用TensorRT对yolov5进行部署(基于python,超详细)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

哈喽大家好 ! 我是唐宋宋宋,很荣幸与您相见!!!

我的环境:

cuda:11.1

cudnn:8.7.0

TensorRT:8.4.1.5

首先需要下载TensorRT,官网链接附下:

NVIDIA TensorRT 8.x Download | NVIDIA Developer

注:下载TensorRT版本需要和你电脑上的cuda版本对应

yolov5的代码需要大家上github自己扒 链接已经提供。

GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

查看cuda版本,打开anaconda prompt 终端

使用TensorRT对yolov5进行部署(基于python,超详细)

输入 conda env list查看你的虚拟环境

使用TensorRT对yolov5进行部署(基于python,超详细)

激活虚拟环境 ctivate pythonProject1cpu3.7

使用TensorRT对yolov5进行部署(基于python,超详细)

输入命令 nvcc -V 查看cuda版本 如图

使用TensorRT对yolov5进行部署(基于python,超详细)

查看cudnn版本 输入路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include

默认是c盘的路径 有一个名cudnn_version.h文件使用.txt打开

使用TensorRT对yolov5进行部署(基于python,超详细)

cudnn版本8.7.0

接着通过你的cuda版本和cudnn版本去官网下载适合你电脑配置的TensorRT

注:下载GA版本

使用TensorRT对yolov5进行部署(基于python,超详细)
使用TensorRT对yolov5进行部署(基于python,超详细)

下载完成tensorRT版本我们就开始配置环境。

打开python文件

使用TensorRT对yolov5进行部署(基于python,超详细)

选择和你pycharm虚拟环境对应的版本 3.7即cp37 ,3.8即cp38

使用TensorRT对yolov5进行部署(基于python,超详细)

打开pycharm 终端开始安装 (需要进入到我们刚找好的对应版本路径下才可以pip)这里拿我的作为例子

使用TensorRT对yolov5进行部署(基于python,超详细)
使用TensorRT对yolov5进行部署(基于python,超详细)

在终端输入命令:

pip install tensorrt-8.4.1.5-cp37-none-win_amd64.whl

开始安装,安装完毕检查是否装上,继续终端输入命令:

pip list
使用TensorRT对yolov5进行部署(基于python,超详细)

这里补充一下我们还需要安装一个包,用来生成engine文件。

pip install onnxruntime

以上搞定我们的环境配置就已经完成,接下来就开始调试代码,代码好调就是配置这些环境会耗时间,这里我大概讲一下部署的流程,首先我们使用tensorrt部署的目的就是为了优化模型,这里我们就需要把我们的原始模型换成tensorrt可以接受的.onnx格式,这是一个中转,有了.onnx我们就可以通过使用tensorrt生成我们的tensorrt engine文件(生成tensorrt engine需要使用tensorrt runtime API接口),然后通过我们的tensorrt engine文件在进行推理对比。 就是这么简单!

打开代码的export.py文件

使用TensorRT对yolov5进行部署(基于python,超详细)

我们可以看到

--weight 使用的是我们需要优化的权重,我这里用yolov5s.pt为例

--opset 这里的参数如果你报错的话可以试着改小一点

--include填写的就是我们第一步生成的onnx文件

然后运行会发现在项目的同级别下生成了一个.onnx文件

使用TensorRT对yolov5进行部署(基于python,超详细)

然后继续通过上面的步骤 ,

--weight填写 yolov5s.onnx

--include 填写 engine

继续运行会发现在项目的同级别下生成了一个.engine文件

使用TensorRT对yolov5进行部署(基于python,超详细)

注:如果输入.onnx生成engine报错的话可以直接在--weight填我们需要优化的权重

--include 直接填写engine,因为直接生成engine的过程中也会升成一个.onnx。

感谢大家阅读!🙏🙏🙏文章来源地址https://www.toymoban.com/news/detail-467869.html

到了这里,关于使用TensorRT对yolov5进行部署(基于python,超详细)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧

    大家好,我是微学AI,今天给大家介绍一下深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧,TensorRT是NVIDIA公司提供的一个深度学习推理(inference)优化器和运行时库。它专门为生产环境下的高性能深度学习推理提供优化支持。TensorRT可以加速深度学习模型在

    2024年02月02日
    浏览(44)
  • 【TensorRT】TensorRT 部署Yolov5模型(C++)

      该项目代码在本人GitHub代码仓库开源,本人GitHub主页为:GitHub   项目代码:   NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK,可为深度学习推理应用提供低延迟和高吞吐量。详细安装方式参考以下博客: NVIDIA TensorRT 安装 (Windows C++)   经典的一个TensorRT部署模型步骤为

    2023年04月26日
    浏览(48)
  • 【YOLOv5】LabVIEW+TensorRT的yolov5部署实战(含源码)

    ‍‍🏡博客主页: virobotics的CSDN博客:LabVIEW深度学习、人工智能博主 🎄所属专栏:『LabVIEW深度学习实战』 🍻上期文章: 手把手教你使用LabVIEW TensorRT实现图像分类实战(含源码) 📰如觉得博主文章写的不错或对你有所帮助的话,还望大家多多支持呀! 欢迎大家✌关注、

    2024年02月14日
    浏览(31)
  • 【YOLO】Windows 下 YOLOv8 使用 TensorRT 进行模型加速部署

    本文全文参考文章为 win10下 yolov8 tensorrt模型加速部署【实战】 本文使用的代码仓库为 TensorRT-Alpha 注:其他 Yolov8 TensorRT 部署项目:YOLOv8 Tensorrt Python/C++部署教程 安装Visual Studio 2019或者Visual Studio 2022、Nvidia驱动 安装cuda,cudnn、opencv、tensorrt并进行相应的环境配置,这里不做配

    2024年02月11日
    浏览(34)
  • Jetson AGX Xavier实现TensorRT加速YOLOv5进行实时检测

    link 上一篇:Jetson AGX Xavier安装torch、torchvision且成功运行yolov5算法 下一篇:Jetson AGX Xavier测试YOLOv4         由于YOLOv5在Xavier上对实时画面的检测速度较慢,需要采用TensorRT对其进行推理加速。接下来记录一下我的实现过程。  如果还没有搭建YOLOv5的python环境,按照下文步骤

    2024年02月10日
    浏览(41)
  • 改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)

    2022.10.30 复现TPH-YOLOv5 2022.10.31 完成替换backbone为Ghostnet 2022.11.02 完成替换backbone为Shufflenetv2 2022.11.05 完成替换backbone为Mobilenetv3Small 2022.11.10 完成EagleEye对YOLOv5系列剪枝支持 2022.11.14 完成MQBench对YOLOv5系列量化支持 2022.11.16 完成替换backbone为EfficientNetLite-0 2022.11.26 完成替换backbone为

    2024年01月17日
    浏览(68)
  • 详细介绍 Yolov5 转 ONNX模型 + 使用ONNX Runtime 的 Python 部署(包含官方文档的介绍)

    对ONNX的介绍强烈建议看,本文做了很多参考:模型部署入门教程(一):模型部署简介 模型部署入门教程(三):PyTorch 转 ONNX 详解 以及Pytorch的官方介绍:(OPTIONAL) EXPORTING A MODEL FROM PYTORCH TO ONNX AND RUNNING IT USING ONNX RUNTIME C++的部署:详细介绍 Yolov5 转 ONNX模型 + 使用 ONNX Runti

    2024年02月01日
    浏览(47)
  • 【深度学习】YOLOv5实例分割 数据集制作、模型训练以及TensorRT部署

    yolov5-seg:官方地址:https://github.com/ultralytics/yolov5/tree/v6.2 TensorRT:8.x.x 语言:C++ 系统:ubuntu18.04 前言:由于yolo仓中提供了标准coco的json文件转txt代码,因此需要将labelme的json文件转为coco json. labelme JSON 转COCO JSON 使用labelme的CreatePolygons按钮开始绘制多边形,然后保存为json格式。

    2024年02月06日
    浏览(54)
  • 【jetson nano】jetson nano环境配置+yolov5部署+tensorRT加速模型

    断断续续地前后花了一个多星期配置环境以及部署模型,期间也报了无数错误,参考了很多文档,求助了身边的朋友,因此尽可能详细的记录一下这个过程。 此处感谢Xnhyacinth在配置过程中对我的帮助哈哈哈꒰ঌ( ⌯’ \\\'⌯)໒꒱ 我主机上的环境是python3.9,cuda11.6 jetson nano环境

    2023年04月12日
    浏览(52)
  • 利用python版tensorRT导出engine【以yolov5为例】

    环境说明: tensorRT:8.2.4.2 CUDA:10.2 pytorch:1.7 显卡:NVIDIA 1650 Windows10 python 3.7 另一篇文章中写过C++版的trt推理。本篇文章是python版本的trt yolov5推理。 构建engine一般有两种方式。 方式1:torch模型-wts(序列化网络)-engine-推理 方式2:torch模型-onnx-engine-推理 第一种方式如果网络结构简

    2023年04月11日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包