离线编译 onnxruntime-with-tensortRT

10月前作者：Zip-List 分类：Toy博客阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了离线编译 onnxruntime-with-tensortRT。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

记录为centos7的4090开发机离线编译onnxruntime的过程，因为在离线的环境，所以踩了很多坑。

https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html
这里根据官网的推荐安装1.15 版本的onnx
离线编译 onnxruntime-with-tensortRT,c++,ai
因为离线环境，所以很多都是要自己手动编译安装的
onnx 源码 1.51
cmake 3.26.6 (本地环境的3.16不可以)
Python 3.8.12
cuda 11.8
cudnn 8.97.29
patch 2.7.6
TensorRT 8.6.1.6
gcc11(要求gcc>7)

patch是onnx给他的某些依赖库打补丁用的，centos中yum install patch即可，这里本地只能自己编译
python是因为系统自带的python只有可执行文件，编译过程需要头文件和python的库文件

压缩包+安装路径的截图如下
离线编译 onnxruntime-with-tensortRT,c++,ai

对应的环境变量设置如下文章来源地址https://www.toymoban.com/news/detail-822593.html


export PATH=/home/users/zyx/cmake26_install/bin:$PATH
export PATH=/home/users/zyx/python3.8/bin:$PATH
export LD_LIBRARY_PATH=/home/users/zyx/python3.8/lib:$LD_LIBRARY_PATH
export C_INCLUDE_PATH=/home/users/zyx/python3.8/include:$C_INCLUDE_PATH

到了这里，关于离线编译 onnxruntime-with-tensortRT的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

CentOS GCC 离线升级编译安装 8.3.0

从系统自带的 gcc-4.8.5 版本升级至 gcc-8.3.0 版本目录下载源代码：下载依赖：编译（约一个小时）重开控制台确认是否生效 https://ftp.gnu.org/gnu/gcc/gcc-8.3.0/gcc-8.3.0.tar.gz https://ftp.gnu.org/gnu/gcc/gcc-8.3.0/gcc-8.3.0.tar.gz 其他版本下载：https://ftp.gnu.org/gnu/gcc 解压： https://ftp.gnu.org/pub/g

2024年02月10日
浏览(51)
编译GreatSQL with RocksDB引擎

GreatSQL里也能用上RocksDB引擎 RocksDB 是基于Facebook 开源的一种支持事务的、高度可压缩、高性能的MyRocks存储引擎，特别适用于高度压缩和大容量的数据。以下是一些关键特点：高性能： LSM 树结构使得RocksDB在写入密集型负载下表现卓越。它能够处理大量的写入操作，并且在写

2024年03月13日
浏览(62)
Jetson Xavier NX编译OpenCV(with cuda)

Jetson Xavier NX默认安装的OpenCV 4.5.4(不带cuda)，因项目要求OpenCV使用cuda作加速，因此，须重新编译OpenCV。这里为了方便直接在目标机上面编译，避免复杂的环境及依赖。下载地址： OpenCV · GitHub 我这里下载opencv-4.5.4，opencv_contrib-4.5.4，下载后并解压。查看是否卸载： libs: versi

2024年02月11日
浏览(46)
【ARM 嵌入式编译系列 2.2 -- GCC 编译参数学习 assembler-with-cpp 使用介绍】

请阅读【嵌入式开发学习必备专栏之 ARM GCC 编译专栏】在 rt-thread 的编译脚本中经常会看到下面编译参数： arm-none-eabi-gcc 是针对 ARM 架构的交叉编译器，用于编译嵌入式 ARM 应用程序。在 GCC 中， -x 选项用于指定要编译的输入文件的语言。当与 assembler-with-cpp 一起使用时，

2024年01月23日
浏览(45)
Android13 编译ninja failed with: exit status 137

现象很奇怪，主机是ubuntu 18.04，内存有32G，并且系统中有两份Android13代码，有一份编译正常，另外一份编译不正常，一度以为是因为下载源码不齐全导致，后面仔细看日志，原来是内存不够，导致OOM-killer杀死了。分析：当前界面没有太多可以参考的出错信息，看日志：

2024年02月22日
浏览(49)
【C语言&C++编译器】VS2019离线安装版，附详细安装步骤和安装包

网盘链接下载地址:链接：https://pan.baidu.com/s/1mj6ssEcyc1DBKTmRr_uoxw?pwd=2023 提取码：2023 --来自百度网盘超级会员V1的分享 —BD网盘链接点击跳转 1.右键 VS2019.rar ，选择解压到 VS2019 2.打开 vs2019vs2019_offlin 找到 vs_setup.exe 并双击启动 3.弹出界面选择继续 4.在界面勾选以下如图选项，注

2024年02月11日
浏览(64)
Windows系统编译libhv带SSL，开启WITH_OPENSSL

需要开发一个https的服务，使用libhv来做，需要重新编译libhv，需要开启 WITH_OPENSSL，前面编译一直很顺利，但是打开VS生成动态库的时候，报错，找不到ssl相关的文件，看了官方的文档，说需要自己配置ssl。然后研究怎么编译OPENSSL，和编译支持HTTPS的libhv花了一点时间，所以想

2024年04月10日
浏览(37)
windows11编译OpenCV4.5.0 with CUDA（附注意事项）

从OpenCV4.2.0 版本开始允许使用 Nvidia GPU 来加速推理。本文介绍最近使用windows11系统编译带CUDA的OpenCV4.5.0的过程。文中使用【特别注意：…】为大家标识出容易出错的地方。安装成功后，使用CPU与GPU调用yolov4模型进行推理的耗时测试结果： GPU CPU 4ms 311ms 从差距上看，还是值

2024年02月12日
浏览(82)
Android Studio升级后，编译出错FAILURE: Build completed with 3 failures.

出错信息如下： Executing tasks: [:app:assembleDebug] in project D:AndroidStudioProjectscheckinsys Task :app:preBuild UP-TO-DATE Task :identify:preBuild UP-TO-DATE Task :identify:preDebugBuild UP-TO-DATE Task :identify:checkDebugManifest FAILED Task :identify:compileDebugAidl NO-SOURCE Task :identify:packageDebugRenderscript NO-SOURCE Task :app:prepa

2024年02月03日
浏览(94)
IOS编译出现Command PhaseScriptExecution failed with a nonzero exit code

在 Github 上下载了一个用 SwiftUI 开发的仿微信Demo.用Xcode15运行报以下错误. 首先我们得找到具体的错误，这报错太抽象啦. 那我们要在哪里看到具体的报错信息呢? 通过在 Stackoverflow 上搜索发现，点击导航栏最右边的图标选中最近的build，在右边就能看到具体详细的编译错误信

2024年01月24日
浏览(39)