windows下安装tensorrt(python调用)

这篇具有很好参考价值的文章主要介绍了windows下安装tensorrt(python调用)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型,可以转化为TensorRT的格式,然后利用TensorRT推理引擎去运行我们这个模型,从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。
————————————————

0.根据我这边是踩坑实验结论

1.在windows是使用tensorrt加速还要通过python进行调用的话,需要选择tensorrt (windows版本) 8或以上的版本,然后才能在python里面如下进行调用

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import tensorrt as trt
if __name__ == "__main__":
    print(trt.__version__)
    print("hello trt!!")

2.python版本用的话可以不需要使用vs2019进行编译,vs2019只是通过运行tensorrt加速模块里面的手写数字的例子进行验证用的

一.下载tensorrt安装包并移动文件

官网的tensorrt连接
注意:EA 版本代表抢先体验(在实际发布之前)。GA 代表一般可用性。GA 是稳定版,经过全面测试。
所以我们建议您使用 TensorRT 最新版本的 GA 版本。如下是cuda11.3对应的
windows下安装tensorrt(python调用)

cuda10.0

我上传的0积分tensorrt windwos下的8.2版本cuda内的添加文件下载
我上传的0积分tensorrt windwos下的8.2版本python3.7whl文件下载
————————————————————————————————

cuda11.3

我上传的0积分tensorrt windwos下的8.4版本全

官方链接

--------------------------------------------------

然后将下载好后的部分,
如我这的TensorRT-8.2.0.6文件夹中的include文件移动到你的CUDA文件夹下的include,我这是(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0),

如我这的TensorRT-8.2.0.6文件夹中的lib中的dll与lib文件分别放到CUDA下的bin与lib\x64文件夹中

否则按照别的链接里面说的为其添加环境变量
windows下安装tensorrt(python调用)

windows下安装tensorrt(python调用)

二.pip安装包内的whl文件

一共需要安装4个whl文件如下箭头的文件夹里面,安装方式如下,注意安装tensorrt的whl的时候,要根据你python环境来,我这里是3.7版本,所有就选的cp37

pip install tensorrt-8.2.0.6-cp37-none-win_amd64.whl

windows下安装tensorrt(python调用)
windows下安装tensorrt(python调用)

三.运行例子

如果你运气好的话就可以成功运行下面的了,也就代表tensorrt安装好了

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import tensorrt as trt
if __name__ == "__main__":
    print(trt.__version__)
    print("hello trt!!")

然而我运气比较差,报错说缺了一堆dll文件,具体在bin文件夹下

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

如下我直接该改了加载dll文件的那部分代码(报错后你点击报错点可以直接跳过去的哈,不要傻乎乎的按照我下面的路径翻),打印了下加载的那个部分,然后缺什么dll补什么dll进bin文件夹里面…
bin的路径如下

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

windows下安装tensorrt(python调用)
以下图片内容就是我上传的dll文件,下载自取,缺啥补啥
我打包的dll文件
——————————————————————————
dll文件缺失查找网址
windows下安装tensorrt(python调用)
windows下安装tensorrt(python调用)

补VS2019验证

上面成功了也可以不验证,不过如果还是出错搭建个这个环境验证下也行

参考这个链接vs2019运行内部数字识别例子的流程

成功如下效果windows下安装tensorrt(python调用)
注意vs2019里面配置弄对,不然 右击生成不出来
windows下安装tensorrt(python调用)

补2 pytorch和torchvision各版本下载地址:

pytorch和torchvision各版本下载地址传送门

pytorch版本对应关系查看网址

cuda11.3下torch与torchvison版本选择

参考链接:

TensorRT(一)Windows+Anaconda配置TensorRT环境 (Python版 )

linux下一键安装环境教学视频文章来源地址https://www.toymoban.com/news/detail-420314.html

到了这里,关于windows下安装tensorrt(python调用)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【TensorRT】基于C#调用TensorRT 部署Yolov5模型 - 上篇:构建TensorRTSharp

      NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK,可为深度学习推理应用提供低延迟和高吞吐量。详细安装方式参考以下博客: NVIDIA TensorRT 安装 (Windows C++)   前文中已经介绍了在C++中利用TensorRT 部署Yolov5模型,但在实际应用中,经常会出现在C#中部署模型的需求,目前T

    2023年04月24日
    浏览(53)
  • 【MMDeploy&MMPose】手把手教你在Windows上使用MMDeploy1.x进行ONNX和TensorRT的部署(Python篇)

    2023.9.8更新 C++ SDK篇已经发布,点击这里传送到文章 MMDeploy 提供了一系列工具,帮助我们更轻松的将 OpenMMLab 下的算法部署到各种设备与平台上。 MMDeploy 定义的模型部署流程,这里直接使用了官方文档的内容,如下图所示:  1)模型转换(Model Converter) 模型转换的主要功能是

    2024年01月16日
    浏览(50)
  • 机器学习笔记 - windows基于TensorRT的UNet推理部署

            NVIDIA TensorRT是一个用于高性能深度学习推理的平台。TensorRT适用于使用CUDA平台的所有NVIDIA GPU。所以如果需要基于TensorRT部署,至少需要一个NVIDIA显卡,算力5.0以上,比Maxwell更新的架构,可以参考下表。 CUDA GPUs - Compute Capability | NVIDIA Developer https://developer.nvidia.com

    2024年02月05日
    浏览(36)
  • tensorRT安装

    官方指导文档:Installation Guide :: NVIDIA Deep Learning TensorRT Documentation 适配很重要!!!! 需要cuda, cuDNN, tensorRT三者匹配。我的cuda11.3 所以对应的cuDNN和tensorRT下载的是如下版本: cudnn-linux-x86_64-8.9.4.25_cuda11-archive.tar.xz TensorRT-8.0.3.4.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz 服务器直接下载

    2024年02月11日
    浏览(22)
  • ubuntu tensorrt 安装

    官网,非常详细,比大部分博客写的都好,强烈推荐 具体的点进链接

    2024年02月10日
    浏览(38)
  • Pytorch TensorRT 安装使用流程

    安装流程1 安装流程2 执行命令: 需要等待一会,等待安装完成。 配置 trtexec或路径工具创建engine文件 创建完成后,生成对应engine文件

    2024年02月13日
    浏览(47)
  • 【YOLO】Windows 下 YOLOv8 使用 TensorRT 进行模型加速部署

    本文全文参考文章为 win10下 yolov8 tensorrt模型加速部署【实战】 本文使用的代码仓库为 TensorRT-Alpha 注:其他 Yolov8 TensorRT 部署项目:YOLOv8 Tensorrt Python/C++部署教程 安装Visual Studio 2019或者Visual Studio 2022、Nvidia驱动 安装cuda,cudnn、opencv、tensorrt并进行相应的环境配置,这里不做配

    2024年02月11日
    浏览(38)
  • 【模型部署】TensorRT的安装与使用

    https://blog.csdn.net/qq_44747572/article/details/122453926?spm=1001.2014.3001.5502 下载链接:https://developer.nvidia.com/nvidia-tensorrt-8x-download 我的cuda版本是11.0,因此下面以此做演示: 下载tensorRT的zip文件 将下载好的文件夹进行解压: 系统环境配置: 高级系统环境–环境变量–系统变量–Path(添

    2024年02月15日
    浏览(45)
  • YOLOv5 Tensorrt Python/C++部署

    https://www.bilibili.com/video/BV113411J7nk?p=1 https://github.com/Monday-Leo/Yolov5_Tensorrt_Win10 基于 Tensorrt 加速 Yolov5 6.0 支持 Windows10 支持 Python/C++ Tensorrt 8.2.1.8 Cuda 10.2 Cudnn 8.2.1( 特别注意需安装两个cuda10.2补丁 ) Opencv 3.4.6 Cmake 3.17.1 VS 2017 GTX1650 从yolov5 release v6.0下载.pt模型,这里以yolov5s.pt为例。

    2024年01月21日
    浏览(51)
  • YOLOv8 Tensorrt Python/C++部署教程

    https://www.bilibili.com/video/BV1Pa4y1N7HS https://github.com/Monday-Leo/YOLOv8_Tensorrt 基于 Tensorrt 加速 Yolov8 ,本项目采用 ONNX转Tensorrt 方案 支持 Windows10 和 Linux 支持 Python/C++ Tensorrt 8.4.3. Cuda 11.6 Cudnn 8.4.1 onnx 1.12.0 安装 yolov8 仓库,并下载官方模型。 使用官方命令 导出ONNX模型 。 使用本仓库

    2023年04月25日
    浏览(80)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包