[问答]

如何将常用接口封装成类似于NCNN的接口调用形式？

1148

问答对人有帮助，内容完整，我也想知道答案 0 如何将常用接口封装成类似于NCNN的接口调用形式？ 0 [RV1109/RV1126系列]-3.RV1109/1126 RKNN API接口的C++封装.pdf 151.17 KB , 下载次数: 0
2022-3-10 07:08:29　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × liutiefu 该类别下有 26 个回答。邀请回答 ze55me 该类别下有 20 个回答。邀请回答 tigerwang711 该类别下有 20 个回答。邀请回答杀狼000 该类别下有 19 个回答。邀请回答 zhuzb0754 该类别下有 19 个回答。邀请回答冰箱洗衣机该类别下有 18 个回答。邀请回答 YYXIAO 该类别下有 18 个回答。邀请回答河神大人该类别下有 17 个回答。邀请回答 mede1001 该类别下有 17 个回答。邀请回答安德森大该类别下有 17 个回答。邀请回答 CDCNKA 该类别下有 17 个回答。邀请回答 jjll652 该类别下有 17 个回答。邀请回答熊本熊该类别下有 16 个回答。邀请回答 YOYOOO 该类别下有 16 个回答。邀请回答麻酱该类别下有 16 个回答。邀请回答世态薄凉该类别下有 16 个回答。邀请回答 musicalboy 该类别下有 15 个回答。邀请回答万航渡路该类别下有 15 个回答。邀请回答 wuli北该类别下有 15 个回答。邀请回答五斤麻辣油该类别下有 15 个回答。邀请回答举报李平相关推荐 • stm32f407上的rj45接口，如何类似于串口一样发送接收数据？ 271 • 如何将CCS3.3工程中.C文件封装成OBJ库文件 5653 • 如何将数据传递到MiniTab并启动类似于使用Excel的MiniTab？ 4093 • 如何将应用从串行接口移植到USB接口？ 1049 • cyusb3014怎样能转为类似于Slave fifo模式？同时保留使用FV，LV，PCLK和DQ0~DQ15接口方式？ 289 • labview调用bartender .NET封装成EXE后加载报错 3719 • 求助：寻找芯片封装厂 8452 • 如何将DAC与FPGA接口？ 1968 • 求点AD各种接口封装库 4683 • 如何将接口的结果提供给jtag chain 1652 1个回答

当我们转换并量化好模型后，在PC端简单验证后，一定想将自己的模型部署到板端运行测试，但瑞芯微官方给的纯C接口使用起来，感觉较为繁琐。抱着试一试的态度，本人尝试了将常用接口封装成类似于NCNN的接口调用形式，方便自己在工程部署上的应用，目前使用效果还凑合，特将其分享给大家，其中不足之处还望各位大佬指正。

1.RKNN API函数返回值错误码

[tr]错误码错误详情[/tr]

RKNN_SUCC(0)	执行成功
RKNN_ERR_FAIL(-1)	执行出错
RKNN_ERR_TIMEOUT（-2）	执行超时
RKNN_ERR_DEVICE_UNAVAILABLE（-3）	NPU 设备不可用
RKNN_ERR_MALLOC_FAIL（-4）	内存分配失败
RKNN_ERR_PARAM_INVALID（-5）	传入参数错误
RKNN_ERR_MODEL_INVALID（-6）	传入的 RKNN 模型无效
RKNN_ERR_CTX_INVALID（-7）	传入的 rknn_context 无效
RKNN_ERR_INPUT_INVALID（-8）	传入的 rknn_input 对象无效
RKNN_ERR_OUTPUT_INVALID（-9）	传入的 rknn_output 对象无效
RKNN_ERR_DEVICE_UNMATCH（-10）	版本不匹配
RKNN_ERR_INCOMPATILE_PRE_COMPILE_MODEL（-11）	RKNN 模型使用 pre_compile 模式，但是和当前驱动不兼容
RKNN_ERR_INCOMPATILE_OPTIMIZATION_LEVEL_VERSION（-12）	RKNN 模型设置了优化等级的选项，但是和当前驱动不兼容
RKNN_ERR_TARGET_PLATFORM_UNMATCH（-13）	RKNN 模型和当前平台不兼容，一般是将 RK1808 的平台的 RKNN 模型放到了 RV1109/RV1126 上。
RKNN_ERR_NON_PRE_COMPILED_MODEL_ON_MINI_DRIVER（-14）	RKNN 模型不是 pre_compile 模式，在 mini-driver 上无法执行

2.RKNN API函数介绍

rknn_init
- 函数说明：初始化RKNN
- 入参：
  
  1.rknn_context *context:rknn_context 指针。函数调用之后,context 将会被赋值。
  
  2.void *model:RKNN 模型的二进制数据。
  
  3.uint32_t size:模型大小。
  
  4.uint32_t flag:特定的初始化标志。
- 返回值：int 错误码（见 1.RKNN API函数返回值错误码）。
rknn_destroy
- 函数说明：销毁 rknn_context 对象及其相关资源。
- 入参：rknn_context context：要销毁的 rknn_context 对象。
- 返回值：int 错误码（见 1.RKNN API函数返回值错误码）。
rknn_query
- 函数说明：查询模型与 SDK 的相关信息。
- 入参：
  
  1.rknn_context context：rknn_context 对象。
  
  2.rknn_query_cmd cmd：查询命令。
  
  3.void* info：存放返回结果的结构体变量。
  
  4.uint32_t size：info 对应的结构体变量的大小。
- 返回值：int 错误码（见 1.RKNN API函数返回值错误码）。
rknn_inputs_set
- 函数说明：设置模型输入数据。
- 入参：
  
  1.rknn_context context：rknn_contex 对象。
  
  2.uint32_t n_inputs：输入数据个数。
  
  3.rknn_input inputs[]：输入数据数组，数组每个元素是 rknn_input 结构体对象。
- 返回值：int 错误码（见 1.RKNN API函数返回值错误码）。
rknn_run
- 函数说明：执行一次模型推理。
- 入参：
  
  1.rknn_context context：rknn_context 对象。
  
  2.rknn_run_extend* extend：保留扩展，当前没有使用，传入 NULL 即可。
- 返回值：int 错误码（见 1.RKNN API函数返回值错误码）。
rknn_outputs_get
- 函数说明：获取模型推理输出
- 入参：
  
  1.rknn_context context：rknn_context 对象。
  
  2.uint32_t n_outputs：输出数据个数。
  
  3.rknn_output outputs[]：输出数据的数组，其中数组每个元素为 rknn_output 结构体对象，代表模型的一个输出。
  
  4.rknn_output_extend* extend：保留扩展，当前没有使用，传入 NULL 即可。
- 返回值：int 错误码（见 1.RKNN API函数返回值错误码）。
rknn_outputs_release
- 函数说明：释放 rknn_output 对象。
- 入参：
  
  1.rknn_context context：rknn_context 对象。
  
  2.uint32_t n_outputs：输出数据个数。
  
  3.rknn_output outputs[]：要销毁的 rknn_output 数组。
- 返回值：int 错误码（见 1.RKNN API函数返回值错误码）。

3.封装代码

net.h

#ifndef _RKNN_NET_H
#define _RKNN_NET_H

#include "opencv2/opencv.hpp"
#include "rknn_api.h"

typedef struct {
  int w;
  int h;
  int c;
  float* data;
} Tensor;

class Extractor;
class Net {
public:
  rknn_context ctx;
  Net() = default;
  ~Net();
  Net(const Net& rhs) = delete;
  Net& operator=(const Net& rhs) = delete;
  void clear();
  int loadModel(const char* filename);
  Extractor createExtractor() const;
};

class Extractor {
private:
  const Net* net;
  rknn_input_output_num io_num;
  rknn_output* outputs;
  rknn_tensor_attr* output_attr;

public:
  ~Extractor();
  int input(const cv::Mat& in);
  int extract(int blob_index, Tensor& feat);

protected:
  friend Extractor Net::createExtractor() const;
  Extractor(const Net* net);
};

#endif

net.cpp

#include "rknn_net.h"

#include
#include

Net::~Net() { clear(); }

int Net::loadModel(const char *filename) {
  FILE *fp = fopen(filename, "rb");
  if (fp == nullptr) {
   printf("fopen %s fail!n", filename);
   return -1;
  }
  fseek(fp, 0, SEEK_END);
  size_t model_len = ftell(fp);
  unsigned char *model = (unsigned char *)malloc(model_len);
  fseek(fp, 0, SEEK_SET);
  if (model_len != fread(model, 1, model_len, fp)) {
   printf("fread %s fail!n", filename);
   free(model);
   model = nullptr;
   return -2;
  }
  if (fp) {
   fclose(fp);
  }
  int ret = rknn_init(&ctx, model, model_len, 0);
  if (ret < 0) {
   free(model);
   model = nullptr;
   printf("rknn_init fail! ret=%dn", ret);
   return -3;
  }
  free(model);
  model = nullptr;
  return 0;
}

Extractor Net::createExtractor() const { return Extractor(this); }

void Net::clear() {
  if (ctx >= 0) {
   rknn_destroy(ctx);
  }
}

Extractor::Extractor(const Net *_net) : net(_net) {
  int ret =
   rknn_query(net->ctx, RKNN_QUERY_IN_OUT_NUM, &io_num, sizeof(io_num));
  if (ret != RKNN_SUCC) {
   printf("rknn_query fail! ret=%dn", ret);
   return;
  }

  outputs = (rknn_output *)malloc(sizeof(rknn_output) * io_num.n_output);
  memset(outputs, 0, sizeof(rknn_output) * io_num.n_output);
  for (size_t i = 0; i < io_num.n_output; i++) {
   outputs.want_float = 1;
  }

  output_attr =
   (rknn_tensor_attr *)malloc(sizeof(rknn_tensor_attr) * io_num.n_output);
  memset(output_attr, 0, sizeof(rknn_tensor_attr) * io_num.n_output);

  for (size_t i = 0; i < io_num.n_output; i++) {
   output_attr.index = i;
   ret = rknn_query(net->ctx, RKNN_QUERY_OUTPUT_ATTR, &(output_attr),
                     sizeof(rknn_tensor_attr));
   if (ret != RKNN_SUCC) {
      printf("rknn_query fail! ret=%dn", ret);
   }
  }
}

Extractor::~Extractor() {
  rknn_outputs_release(net->ctx, io_num.n_output, outputs);
  if (outputs) {
   free(outputs);
   outputs = nullptr;
  }
  if (output_attr) {
   free(output_attr);
   output_attr = nullptr;
  }
}

int Extractor::input(const cv::Mat &in) {
  if (in.empty()) {
   return -1;
  }
  rknn_input inputs[io_num.n_input];
  memset(inputs, 0, sizeof(inputs));
  inputs[0].index = 0;
  inputs[0].type = RKNN_TENSOR_UINT8;
  inputs[0].size = in.cols * in.rows * in.channels();
  inputs[0].fmt = RKNN_TENSOR_NHWC;
  inputs[0].buf = in.data;

  int ret = rknn_inputs_set(net->ctx, io_num.n_input, inputs);
  if (ret < 0) {
   printf("rknn_input_set fail! ret=%dn", ret);
   return -3;
  }
  ret = rknn_run(net->ctx, nullptr);
  if (ret < 0) {
   printf("rknn_run fail! ret=%dn", ret);
   return -4;
  }
  ret = rknn_outputs_get(net->ctx, io_num.n_output, outputs, NULL);
  if (ret < 0) {
   printf("rknn_outputs_get fail! ret=%dn", ret);
   return -5;
  }
  return 0;
}

int Extractor::extract(int blob_index, Tensor &feat) {
  feat.c = output_attr[blob_index].dims[2];
  feat.h = output_attr[blob_index].dims[1];
  feat.w = output_attr[blob_index].dims[0];
  feat.data = (float *)outputs[blob_index].buf;
  return 0;
}