rk3588使用npu进行模型转换和推理，加速AI应用落地

• 人工智能

文章目录

  • ?零、引言
  • ?一、主要功能
  • ?二、系统依赖
  • ?三、安装RKNN-Toolkit
    • 1、安装Python3.6和pip3
    • 2、 安装相关依赖
    • 3、获取RKNN-Toolkit2安装包
    • 4、安装Python环境
    • 5、安装RKNN-Toolkit2
    • 6、检验是否安装成功
  • ?四、在PC上仿真运行示例
    • 1、进入目录
    • 2、运行程序
    • 3、模型和推理结果

?零、引言

本文完成于2022-07-02 20:21:55。博主在瑞芯微RK3588的开发板上跑了deepsort跟踪算法，从IP相机中的server拉取rtsp视频流，但是fps只有1.2，和放PPT一样卡顿，无法投入实际应用。本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是Arm的手机gpu，没有Nvidia的cuda，所以这条路行不通。那么转过来，使用开发板自带的NPU进行加速推理，岂不是更加可行，而且它本身就是深度学习嵌入式板子，不用NPU真的可惜。

?问题来了：怎么使用NPU？在开发板上还是在自己的PC上？要安装什么环境？怎么安装？这些问题都需要依次考虑清楚。因为我在此之前也没有接触过NPU，所以为此做了很多功课，看了很多教程，总计有10h以上。然后今天自己成功实践了下转换rknn模型，并使用npu推理。为了让后面的同学少走弯路，特此花1个h记录下这个使用过程，因为官方教程真的很不详细，很多地方都需要自己踩坑然后填好，那么开始正题！

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/20bc8b7cfe.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐