[文章]OpenHarmony AI图像识别开发—基于润和Hi3516开发套件

阅读量0
0
4
1. 概述
我们将在Hi3516DV300 SDK的基础之上进行开发,分别为手部检测+手势识别实验,垃圾分类实验。手部检测+手势识别实验以及垃圾分类实验,主要基于训练好的wk模型在板端进行部署,并充分发挥海思IVE、NNIE硬件加速能力,完成AI推理和业务处理。

2. 目录
ai_sample在Hi3516DV300 SDK基础上进行开发,在利用媒体通路的基础上,通过捕获VPSS帧进行预处理操作,并送至NNIE进行推理,结合AI CPU算子最终得到AI Flag并进行相应业务处理,该AI sample集成了垃圾分类、手势检测识别两个基础场景,运用到媒体理论、多线程、IPC通信、IVE、NNIE等思想,实现了一个轻量级sample,方便开发者了解taurus Hi3516DV300的AI能力,ai_sample目录结构如下:
  1. //device/soc/hisilicon/hi3516dv300/sdk_linux/sample/taurus/ai_sample
  2. │  BUILD.gn                    # 编译ohos ai_sample需要的gn文件
  3. ├─ai_infer_process             # AI前处理、推理、后处理相关接口
  4. │  ├─ai_infer_process.c
  5. │  └─ai_infer_process.h
  6. ├─dependency                  # ai sample依赖的一些功能,如语音播报
  7. │  ├─audio_test.c
  8. │  └─audio_test.h
  9. ├─ext_util                                          # 常用的基础接口、可移植操作系统接口posix等
  10. │  ├─base_interface.c
  11. │  ├─base_interface.h
  12. │  ├─misc_util.c
  13. │  ├─misc_util.h
  14. │  ├─posix_help.c
  15. │  └─posix_help.h
  16. ├─mpp_help                             # 封装的媒体相关接口
  17. │  ├─include
  18. │  │  ├─ive_img.h
  19. │  │  └─vgs_img.h
  20. │  └─src
  21. │    ├─ive_img.c
  22. │    └─vgs_img.c
  23. ├─scenario
  24. │  ├─cnn_trash_classify        # 垃圾分类sample
  25. │  │   ├─cnn_trash_classify.c
  26. │  │   └─cnn_trash_classify.h
  27. │  └─hand_classify             # 手部检测+手势识别sample
  28. │      ├─hand_classify.c
  29. │      ├─hand_classify.h
  30. │      ├─yolov2_hand_detect.c
  31. │      └─yolov2_hand_detect.h
  32. └─smp                                           # ai sample主入口及媒体处理文件
  33.   ├─sample_ai_main.cpp
  34.   ├─sample_media_ai.c
  35.   └─sample_media_ai.h
复制代码

3.拷贝第三方库
步骤1:在源码的根目录下,分步执行下面的命令,拷贝第三方库至ai sample中
  1. mkdir device/soc/hisilicon/hi3516dv300/sdk_linux/sample/taurus/ai_sample/third_party/src/ -p

  2. cp third_party/iniparser device/soc/hisilicon/hi3516dv300/sdk_linux/sample/taurus/ai_sample/third_party/src/ -rf
复制代码
21b445d82b9de71462bac815c99fc9f3.png


步骤2:使用IDE打开device/soc/hisilicon/hi3516dv300/sdk_linux/sample/taurus/ai_sample/third_party/src/iniparser/src/iniparser.c文件,把第15行的1024改成8192。
  1. #define ASCIILINESZ         ((8192))  // (1024)
复制代码
233abe080b82a68233c97fedd78acfee.png


4. 编译
在编译ai_sample之前,需确保OpenHarmony 小型系统的主干代码已经整编通过,且已经按照《修改源码及配置文件适配Taurus开发板》的内容进行修改。在单编ai_sample之前,需修改目录下的一处依赖,进入//device/soc/hisilicon/hi3516dv300/sdk_linux目录下,通过修改BUILD.gn,在deps下面新增target,"sample/taurus/ai_sample:hi3516dv300_ai_sample",如下图所示:
6fcb62b034dccba9f7c961f8f80bcba2.png

点击Deveco Device Tool工具的Build按键进行编译,具体的编译过程这里不再赘述,编译成功后,如下图所示:
074abdf3c02c7dce6d222ca0aef8fbba.png

编译成功后,即可在out/hispark_taurus/ipcamera_hispark_taurus_linux/rootfs/bin目录下,生成 ohos_camera_ai_demo可执行文件,如下图所示:
960719510777086f64cece6537a84079.png

5. 拷贝可执行程序和依赖文件至开发板的mnt目录下
方式一:使用SD卡进行资料文件的拷贝

首先需要自己准备一张SD卡

步骤1:将编译后生成的可执行文件拷贝到SD卡中。

步骤2:将devicesochisiliconhi3516dv300sdk_linuxoutlib目录下的libvb_server.so和 libmpp_vbs.so拷贝至SD卡中

步骤3:将device/soc/hisilicon/hi3516dv300/sdk_linux/sample/taurus/目录下的models文件夹和aac_file文件夹拷贝至SD卡中。(前提是按照《获取sample依赖的资源文件到本地》文档获取了资源文件)

18c7a1e3ba33b70351010e22839cee2b.png

步骤4:可执行文件拷贝成功后,将内存卡插入开发板的SD卡槽中,可通过挂载的方式挂载到板端,可选择SD卡 mount指令进行挂载。
  1. mount -t vfat /dev/mmcblk1p1 /mnt

  2. # 其中/dev/mmcblk1p1需要根据实际块设备号修改

复制代码

挂载成功后,如下图所示:
7e52d1c33a29e3b500f97734a26d6184.png

方式二:使用NFS挂载的方式进行资料文件的拷贝

首先需要自己准备一根网线

步骤1:参考博客链接中的内容,进行nfs的环境搭建

步骤2:将编译后生成的可执行文件拷贝到Windows的nfs共享路径下

步骤3:将devicesochisiliconhi3516dv300sdk_linuxoutlib目录下的libvb_server.so和 libmpp_vbs.so拷贝至Windows的nfs共享路径下

步骤4:将device/soc/hisilicon/hi3516dv300/sdk_linux/sample/taurus/目录下的models文件夹和aac_file文件夹拷贝至Windows的nfs共享路径下(前提是按照《获取sample依赖的资源文件到本地》文档获取了资源文件)

7cc05619c4777663aaf546f8db802de0.png

步骤5:依赖文件拷贝至Windows的nfs共享路径下后,执行下面的命令,将Windows的nfs共享路径挂载至开发板的mnt目录下
  1. mount -o nolock,addr=192.168.200.1 -t nfs 192.168.200.1:/d/nfs /mnt
复制代码

6.拷贝mnt目录下的文件至正确的目录下
执行下面的命令,拷贝mnt目录下面的ohos_camera_ai_demo至userdata目录,拷贝mnt目录下面的libvb_server.so和 libmpp_vbs.so至/usr/lib/目录下,再将models和aac_file文件夹拷贝至userdata目录下
  1. cp /mnt/ohos_camera_ai_demo  /userdata/

  2. cp /mnt/*.so /usr/lib/

  3. cp /mnt/models  /userdata/ -rf

  4. cp /mnt/aac_file  /userdata/ -rf

复制代码
db2c38c473ec0bba38069c82a4d5d482.png


执行下面的命令,给ohos_camera_ai_demo文件可执行权限
  1. chmod 777 /userdata/ohos_camera_ai_demo
复制代码


回帖

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容图片侵权或者其他问题,请联系本站作侵删。 侵权投诉
链接复制成功,分享给好友