rk3588使用npu进行模型转换和推理，加速AI应用落地

10月前作者：振华OPPO 分类：Toy博客阅读(45) 违法举报

这篇具有很好参考价值的文章主要介绍了rk3588使用npu进行模型转换和推理，加速AI应用落地。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

🍉零、引言

本文完成于2022-07-02 20:21:55。博主在瑞芯微RK3588的开发板上跑了deepsort跟踪算法，从IP相机中的server拉取rtsp视频流，但是fps只有1.2，和放PPT一样卡顿，无法投入实际应用。本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是Arm的手机gpu，没有Nvidia的cuda，所以这条路行不通。那么转过来，使用开发板自带的NPU进行加速推理，岂不是更加可行，而且它本身就是深度学习嵌入式板子，不用NPU真的可惜。

🏅问题来了：怎么使用NPU？在开发板上还是在自己的PC上？要安装什么环境？怎么安装？这些问题都需要依次考虑清楚。因为我在此之前也没有接触过NPU，所以为此做了很多功课，看了很多教程，总计有10h以上。然后今天自己成功实践了下转换rknn模型，并使用npu推理。为了让后面的同学少走弯路，特此花1个h记录下这个使用过程，因为官方教程真的很不详细，很多地方都需要自己踩坑然后填好，那么开始正题！文章来源地址https://www.toymoban.com/news/detail-411650.html

到了这里，关于rk3588使用npu进行模型转换和推理，加速AI应用落地的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

RK3588平台开发系列讲解（AI 篇）RKNPU 推理软件框架

沉淀、分享、成长，让自己和他人都能有所收获！😄 📢本篇章主要讲解什么是 RKNPU 。 RKNPU 硬件层 RKNPU 驱动层 RKNPU 的驱动层是连接上层应用和 RKNPU 硬件的桥梁。驱动层的主要作用是将应用程序需要推理的内容提交给 RKNPU 进行计算，从而加速神经网络的训练和推理过程。具

2024年02月13日
浏览(42)
在RK3588上使用Gstreamer做推拉流并推理记录

角色版本 rknn-toolkit2 1.2.0 python 3.7.3 视频流拉取：视频流推流或显示：推理结构： 2.1 Gstreamer安装测试，在终端输入以下正常运行则安装成功 2.2 opencv安装不能使用python3-opencv，通过pip安装的opencv无法支持gstreamer，必须使用源码编译安装确保opencv开启对gstreamer与python支持的

2024年02月11日
浏览(45)
香橙派5 RK3588 yolov5模型转换rknn及部署踩坑全记录 orangepi 5

由于距离写这篇文章过去很久，有的部分，官方已更新，请多结合其他人的看，并多琢磨、讨论~ 另外打个小广告：博客 https://blog.vrxiaojie.top/ 欢迎大家前来做客玩耍，提出问题~~ 以后的文章都会在博客发布了，CSDN这边可能这是最后一篇文章。 (1) 使用官方提供的Ubuntu镜像：

2024年02月05日
浏览(53)
yolov5训练pt模型并转换为rknn模型，部署在RK3588开发板上——从训练到部署全过程

目录一、任务介绍二、实验过程 2.1 使用正确版本的yolov5进行训练(平台：x86机器windows系统) 2.2 best.pt转换为best.onnx（平台：x86机器window系统） 2.3 best.onnx转换为best.rknn（平台：x86机器Linux系统） 2.3.1 环境准备和工具包安装 2.3.2 onnx转换为rknn 2.4 RK3588部署rknn实现NPU加速（平台：

2024年02月03日
浏览(49)
RK3588平台开发系列讲解（AI 篇）RKNN-Toolkit2 模型的加载

沉淀、分享、成长，让自己和他人都能有所收获！😄 📢 RKNN-Toolkit2 目前支持 Caffe 、 TensorFlow 、 TensorFlowLite 、 ONNX 、 DarkNet 、 PyTorch 等模型的加载转换，这些模型在加载时需调用对应的接口，以下为这些接口的详细说明。

2024年02月11日
浏览(53)
使用 TensorRT、卡尔曼滤波器和 SORT 算法进行实时对象检测和跟踪：第 2 部分将模型转换为 TensorRT 并进行推理

在本博客文章系列的第 1 部分中，我们展示了如何使用 mmdetection 框架训练对象检测模型并在 BDD100K 数据集上对其进行微调。在第 2 部分中，我们将介绍将模型转换为 TensorRT 并在 Nvidia GPU 上执行推理的过程。在本博客文章系列的第 2 部分中，我们将讨论以下主题：将模型转换

2024年02月15日
浏览(49)
Banana Pi BPI-M7 RK3588开发板运行RKLLM软件堆AI大模型部署

关于Banana Pi BPI-M7 Banana Pi BPI-M7 采用Rockchip RK3588，板载8/16/32G RAM内存和 64/128G eMMC存储，支持无线wifi6和蓝牙5.2。2x2.5G网络端口，1个HDMIout标准输出口，2x USB3.0，2xTYPE-C，2x MIPI CSI接口和1x MIPI DSI接口，1x M.2 KEY M接口，40 PIN GPIO，迷你尺寸仅92x62mm 香蕉派BPI-M7采用睿芯最新旗舰RK35

2024年04月22日
浏览(43)
昇腾910b部署Chatglm3-6b进行流式输出【pytorch框架】NPU推理

配套软件包Ascend-cann-toolkit和Ascend-cann-nnae 适配昇腾的Pytorch 适配昇腾的Torchvision Adapter 下载ChatGLM3代码下载chatglm3-6b模型，或在modelscope里下载每个人的服务器都不一样，在ChatGLM3/issues中别人只需要修改指定驱动，但是我的不行删除模型文件包中的model.safetensors.index.json，否则加

2024年01月21日
浏览(73)
12秒内AI在手机上完成作画！谷歌提出扩散模型推理加速新方法

本文源自：量子位只需12秒，只凭手机自己的算力，就能拿Stable Diffusion生成一张图像。而且是完成了20次迭代的那种。要知道，现在的扩散模型基本都超过了10亿参数，想要快速生成一张图片，要么基于云计算，要么就是要本地硬件够强大了。而随着大模型应用逐渐普及开

2024年02月01日
浏览(51)
rknn3588如何查看npu使用情况

2024年02月13日
浏览(42)