瑞芯微Rockchip开发者社区
直播中

大红枣

11年用户 630经验值
私信 关注
[问答]

请大神解答一下有关RKNN内存分配与I/O时间的疑问

1. 调用内存查询可以看到网络所用内存,NPU memory 和 System memory是独立还是共用?大小是否可调?======================================================
            Memory Profile Info Dump                  
======================================================
System memory:
    maximum allocation : 167.06 MiB
    total allocation   : 184.52 MiB
NPU memory:
    maximum allocation : 38.08 MiB
    total allocation   : 48.97 MiB

Total memory:
    maximum allocation : 205.14 MiB
    total allocation   : 233.50 MiB

INFO: When evaluating memory usage, we need consider  
the size of model, current model size is: 6.62 MiB      
======================================================


2. 对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值

    1) `rknn_inputs_set` : 5.6ms
    2) `rknn_run` : 0.6ms
    3) `rknn_outputs_get` : 8.7ms

用RKNN_QUERY_PERF_RUN得到其中网络运行时间为1.8ms,那么rknn_outputs_get内部还做了什么工作?rknn_inputs_set内部做了什么工作?

回帖(3)

siyugege

2022-4-22 16:27:14
非公用,NPU有自己独立的2G的DDR
举报

大红枣

2022-4-22 16:27:35
对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值. 用RKNN_QUERY_PERF_RUN得到其中网络运行时间为1.8ms, 那么rknn_outputs_get 8.7ms内部还做了什么工作?rknn_inputs_set 5.6ms内部做了什么工作?
举报

siyugege

2022-4-22 16:27:44
从NPU到3399 DDR的时间,和从3399DDR到NPU的时间。
这和GPU独显原理是一样的,有个数据交互的拷贝过程。
举报

更多回帖

发帖
×
20
完善资料,
赚取积分