【JetsonNano】onnxruntime-gpu 环境编译和安装,支持 Python 和 C++ 开发

这篇具有很好参考价值的文章主要介绍了【JetsonNano】onnxruntime-gpu 环境编译和安装,支持 Python 和 C++ 开发。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 设备

centos7编译onnxruntime-gpu,python,开发语言,人工智能,c++

2. 环境

sudo apt-get install protobuf-compiler libprotoc-dev
 
export PATH=/usr/local/cuda/bin:${PATH}
export CUDA_PATH=/usr/local/cuda
export cuDNN_PATH=/usr/lib/aarch64-linux-gnu
export CMAKE_ARGS="-DONNX_CUSTOM_PROTOC_EXECUTABLE=/usr/bin/protoc"

3.源码

mkdir /code
cd /code
git clone --recursive https://github.com/Microsoft/onnxruntime.git 
# 从 tag v1.16.0 切换分支进行编译
git checkout -b v1.16.0 v1.16.0

git submodule update --init --recursive --progress
cd /code/onnxruntime

4.编译

# --parallel 2  使用 2 个 cpu 进行编译,防止内存和CPU性能不足导致编译识别
./build.sh --config Release --update --build --parallel 2 --build_wheel \
--use_tensorrt --cuda_home /usr/local/cuda --cudnn_home /usr/lib/aarch64-linux-gnu \
--tensorrt_home /usr/lib/aarch64-linux-gnu

若编译识别,内存不足,可进行扩大交换内存

https://labelnet.blog.csdn.net/article/details/136538479

编译完成标识

...
build complate!

5. 安装

cd /build/Linux/Release
sudo make install

centos7编译onnxruntime-gpu,python,开发语言,人工智能,c++

6.查看

/usr/lcoal 查看安装

7.下载

(1) 整个 build 目录,包含 build/Linux/Relase

https://download.csdn.net/download/LABLENET/88943160

(2) 仅 Python3.8 安装文件,onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64.whl

https://download.csdn.net/download/LABLENET/88943155

8. 静态库编译安装

1)编译

添加 l --build_shared_lib

./build.sh --config Release --update --build --parallel --build_shared_lib --build_wheel \
--use_tensorrt --cuda_home /usr/local/cuda --cudnn_home /usr/lib/aarch64-linux-gnu \
--tensorrt_home /usr/lib/aarch64-linux-gnu

2)安装

sudo cmake install

centos7编译onnxruntime-gpu,python,开发语言,人工智能,c++

9. 静态库下载使用

C++, 见文件 https://download.csdn.net/download/LABLENET/88943411

centos7编译onnxruntime-gpu,python,开发语言,人工智能,c++

10 C++ 开发

CMakeList.txt 中配置使用

...
# onnxruntime
find_package(onnxruntime REQUIRED)
message(onnxruntime_dir: ${onnxruntime_DIR})
target_link_libraries (
    ${MODULE_NAME} PUBLIC
    onnxruntime::onnxruntime
)

C++ 代码

#include <onnxruntime_cxx_api.h>

int main()
{
    auto providers = Ort::GetAvailableProviders();
    cout << Ort::GetVersionString() << endl;
    for (auto provider : providers)
    {
        cout << provider << endl;
    }
}

centos7编译onnxruntime-gpu,python,开发语言,人工智能,c++

11. Python 开发

安装依赖包

pip3 install onnxruntime_gpu-1.16.0-cp38-cp38-linux_aarch64.whl   -i https://pypi.tuna.tsinghua.edu.cn/simple/

开发

import onnxruntime

print("OnnxRuntime Provider : ", onnxruntime.get_available_providers())

输出文章来源地址https://www.toymoban.com/news/detail-852238.html

OnnxRuntime Provider :  ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']

到了这里,关于【JetsonNano】onnxruntime-gpu 环境编译和安装,支持 Python 和 C++ 开发的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • onnxruntime推理时切换CPU/GPU以及修改onnx输入输出为动态

    前言 onnx模型作为中间模型,相较于pytorch直接推理,是有加速度效果的,且推理代码简单,不需要load各种网络。最近某些项目因为显存不够,onnxruntime推理时切换CPU/GPU,实现某些模型在CPU上推理,某些在GPU上推理。 查了一些别人的文章发现很多人都说onnxruntime推理没法像py

    2024年02月12日
    浏览(51)
  • Yolov7如期而至,奉上ONNXRuntime的推理部署流程(CPU/GPU)

    一、V7效果真的的v587,识别率和速度都有了极大的提升,这里先放最新鲜的github链接: https://github.com/WongKinYiu/yolov7 二、v7的训练我这里就不做过多的赘述了,这里主要是进行讲解怎么把.pt文件转为onnx和后续的推理问题:  2.1首先是pip的版本非常重要,博主亲自测试了,发现

    2024年02月10日
    浏览(42)
  • YOLOv5在C++中通过Onnxruntime在window平台上的cpu与gpu推理

    本项目gitee链接:点击跳转 本项目资源链接:点击跳转 欢迎批评指正。 CPU:i5-9400F GPU:GTX1060 yolov5使用onnxruntime进行c++部署:跳转链接 详细介绍 Yolov5 转 ONNX模型 + 使用 ONNX Runtime 的 C++ 部署(包含官方文档的介绍):跳转链接 yolov5-v6.1-opencv-onnxrun:跳转链接 【推理引擎】从源码看

    2024年02月14日
    浏览(46)
  • 离线编译 onnxruntime-with-tensortRT

    记录为centos7的4090开发机离线编译onnxruntime的过程,因为在离线的环境,所以踩了很多坑。 https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html 这里根据官网的推荐安装1.15 版本的onnx 因为离线环境,所以很多都是要自己手动编译安装的 onnx 源码 1.51 cmake 3.26.6 (本地环境

    2024年01月25日
    浏览(34)
  • Windows环境下GPU版本pytorch安装

    通过官网引导就可以完成安装,或者通过下面网址复制conda安装命令,安装历史版本 Previous PyTorch Versions | PyTorch ​ 输出: 参考: Windows环境下Gpu版本的Pytorch安装_pytorch向下兼容吗_晓码bigdata的博客-CSDN博客

    2024年02月12日
    浏览(53)
  • GPU机器docker环境离线安装

    秋风阁(https://focus-wind.com/) docker 二进制包下载位置 在无法联网的环境中安装软件包,我们无法依赖于现成的包管理工具,只能通过一个一个的下载包的方式来进行软件的下载安装,但这样操作难免会遇到依赖问题,复杂的依赖问题会严重的影响我们环境的下载。所以可以通过

    2024年02月16日
    浏览(38)
  • 从头安装与使用一个docker GPU环境

    导入源仓库的GPG key 将 Docker APT 软件源添加到你的系统 安装命令如下: 验证安装过程,查看安装的docker 版本,如果返回docker 版本,证明安装成功 在 Docker 中寻找专为深度学习和 GPU 计算准备的基础镜像,通常您会使用 Docker Hub,这是 Docker 的官方镜像仓库,包含了大量的社区

    2024年02月02日
    浏览(47)
  • win10下wsl2使用记录(系统迁移到D盘、配置国内源、安装conda环境、配置pip源、安装pytorch-gpu环境、安装paddle-gpu环境)

    安装好后环境测试效果如下,支持命令nvidia-smi,不支持命令nvcc,usr/local目录下没有cuda文件夹。 系统迁移到非C盘 wsl安装的系统默认在c盘,为节省c盘空间进行迁移。 1、输出 wsl -l 查看要迁移的系统名称 2、执行导出命令: wsl --export Ubuntu-20.04 ./Ubuntu-20.04.tar ,以下命令将系统

    2024年02月20日
    浏览(56)
  • pytorch的深度学习环境安装配置(GPU版)

    目录 一些概念理解  0.anaconda配置国内镜像源  1.anaconda建立一个新的虚拟环境  2. 更新显卡驱动CUDA Driver  3. 安装pytorch 3.1 法(一):利用pip安装Pytorch 3.1.1 法(一)在线pip安装  3.1.2 法(二)本地pip安装 3.2 法(一):利用conda安装Pytorch 3.3 验证pytorch是否安装成功  4. Pychar

    2023年04月15日
    浏览(42)
  • 基于全新电脑环境安装pytorch的GPU版本

    距离第一次安装深度学习的GPU环境已经过去了4年多(当时TensorFlow特别麻烦),现在发现安装pytorch的GPU版本还是很简单方便的,流程记录如下。 Free Download | Anaconda 直接下载最新版本到电脑里,并安装。 win+R 然后输入cmd调出命令窗,输入 nvidia-smi 通过搜索找到”设备管理器”

    2024年02月10日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包