一. 概述
本Demo是基于Hi3516开发板,使用开源OpenHarmony3.0-LTS开发的应用。通过获取摄像头数据,实现预览拍照以及路视频等功能。并且通过后台AI服务识别唤醒词来进行语音控制拍照及录视频。
1. 应用运行效果图:
此为相机的预览界面。
2. 智能相机使用示意图
如上图所示,用户对着相机说对应的唤醒此,相机收集到对应的音频,经过AI服务识别对应的文字,最后传到相机进行对应的操作。
二. 快速上手
1. 开发环境准备硬件准备
1)预装windows系统的PC机
2)Hi3516DV300 IoT Camera开发板
3)USB转串口线、网线(Windows工作台通过USB转串口线、网线与Hi3516DV300 开发板连接)
其中Hi3516开发板介绍参照文档:Hi3516开发板介绍
Linux编译服务器基础环境准备
开发基础环境由windows 工作台和Linux 编译服务器组成。windows 工作台可以通过samba 服务或ssh 方式访问Linux编译服务器。其中windows 工作台用来烧录和代码编辑,Linux编译服务器用来编译OpenHarmony代码,为了简化步骤,Linux编译服务器推荐安装Ubuntu20.04。
安装和配置Python- 打开Linux终端。
- 输入如下命令,查看python版本号,需要使用python3.7以上版本,否则参考 系统基础环境搭建。
- <font size="4">python3 --version</font>
复制代码
- 安装并升级Python包管理工具(pip3)。
- <font size="4">sudo apt-get install python3-setuptools python3-pip -y
- sudo pip3 install --upgrade pip</font>
复制代码
安装LLVM- 下载LLVM工具。
- 解压LLVM安装包至~/llvm路径下。
- <font size="4">tar -zxvf llvm.tar -C ~/</font>
复制代码
- 设置环境变量。
- <font size="4">vim ~/.bashrc</font>
复制代码
将以下命令拷贝到.bashrc文件的最后一行,保存并退出。
- <font size="4">export PATH=~/llvm/bin:$PATH</font>
复制代码
- 使环境变量生效。
- <font size="4">source ~/.bashrc</font>
复制代码
安装hb- 运行如下命令安装hb。
- <font size="4">python3 -m pip install --user ohos-build</font>
复制代码
- 设置环境变量。
- <font size="4">vim ~/.bashrc</font>
复制代码
将以下命令拷贝到.bashrc文件的最后一行,保存并退出。
- <font size="4">export PATH=~/.local/bin:$PATH</font>
复制代码
执行如下命令更新环境变量。
- <font size="4">source ~/.bashrc</font>
复制代码
- 执行"hb -h",有打印以下信息即表示安装成功。
- <font size="4">usage: hb
- OHOS build system
- positional arguments:
- {build,set,env,clean}
- build Build source code
- set OHOS build settings
- env Show OHOS build env
- clean Clean output
- optional arguments:
- -h, --help show this help message and exit</font>
复制代码
Hi3516开发环境准备将Linux shell改为bash查看shell是否为bash,在终端运行如下命令
- <font size="4">ls -l /bin/sh</font>
复制代码
如果显示为“/bin/sh -> bash”则为正常,否则请按以下方式修改:
- <font size="4">sudo rm -rf /bin/sh
- sudo ln -s /bin/bash /bin/sh</font>
复制代码
安装编译依赖基础软件(仅Ubuntu 20+需要)
- <font size="4">sudo apt-get install build-essential && sudo apt-get install gcc && sudo apt-get install g++ && sudo apt-get install make && sudo apt-get install zlib* && sudo apt-get install libffi-dev</font>
复制代码
安装文件打包工具- 打开Linux编译服务器终端。
- 运行如下命令,安装dosfstools。
- <font size="4">sudo apt-get install dosfstools</font>
复制代码
- 运行如下命令,安装mtools。
- <font size="4">sudo apt-get install mtools</font>
复制代码
- 运行如下命令,安装mtd-utils。
- <font size="4">sudo apt-get install mtd-utils</font>
复制代码
安装hc-gen- 打开Linux编译服务器终端。
- 下载hc-gen工具。点击下载地址下载。
- 解压hc-gen安装包到Linux服务器~/hc-gen路径下。
- <font size="4">tar -xvf hc-gen-0.65-linux.tar -C ~/</font>
复制代码
- 设置环境变量。
- <font size="4">vim ~/.bashrc</font>
复制代码
将以下命令拷贝到.bashrc文件的最后一行,保存并退出。
- <font size="4">export PATH=~/hc-gen:$PATH</font>
复制代码
- 使环境变量生效。
- <font size="4">source ~/.bashrc</font>
复制代码
安装Java 虚拟机环境- 打开Linux编译服务器终端。
- 安装Java运行时环境(JRE)。
- <font size="4">sudo apt-get install default-jre</font>
复制代码
- 安装Java sdk开发工具包。
- <font size="4">sudo apt-get install default-jdk</font>
复制代码
PS:
java虚拟机是应用签名打包时才会用到的,SDK中默认的3个系统应用是需要签名打包,所以需要安装java虚拟机,没有安装的话,应用签名打包时会报如下错误:
如果不涉及到应用的签名打包,可以不用安装此环境。
源码下载&&编译准备
环境搭完后,就该准备代码了。
OpenHarmony源码下载方法多种多样,本文重点介绍linux + repo方式下载。
下载repo
- <font size="4">#curl https://gitee.com/oschina/repo/raw/fork_flow/repo-py3 > /usr/local/bin/repo
- #chmod a+x /usr/local/bin/repo
- #pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple requests</font>
复制代码
下载OpenHarmony源码
- <font size="4">#特别注意:请下载OpenHarmony 3.0 LTS 版本,后续会更新支持OpenHarmony其他版本
- #repo init -u git@gitee.com:openharmony/manifest.git -b OpenHarmony-3.0-LTS --no-repo-verify
- #repo sync -c
- #repo forall -c 'git lfs pull'</font>
复制代码
下载智能相机代码
具体仓库地址: knowledge_demo_smart_home
通过git命令下载(方便后期代码上传管理,建议先将仓库fork到自己账号目录,然后再下载):
- <font size="4">git clone git@gitee.com:xxxxxxx/knowledge_demo_smart_home.git
- 其中xxxxxxx为fork后相关账号名字。</font>
复制代码
代码拷贝
a. 在OpenHarmony的vendor目录下新建一个team_x的目录:
- <font size="4">mkdir vendor/team_x</font>
复制代码
b. 将下载的智能中控屏代码的代码拷贝到新建的team_x下面:
- <font size="4">cp -rf ../knowledge_demo_smart_home/dev/team_x/smart_camera/ vendor/team_x/</font>
复制代码
到此,代码就准备完成,可以进行编译了。
2. 代码编译代码目录结构
在编译代码前,可以先了解一下代码目录结构,我们的demo主要包含2个部分,一个是相机(demo_cameraApp),负责相机相关功能,其次就是AI语音识别服务(demo_keyword_spotting),否则语音是采集以及识别。
demo_cameraApp 代码目录结构:
- <font size="4">|—— BUILD.gn // 编译脚本
- |—— resources // 资源文件
- |—— config.json // 安装包所需要的json文件
- |—— include
- | |—— smart_camera_ability.h // 入口类的头文件
- | |—— smart_camera_ability_slice.h // 相机页面类定义的头文件
- | |—— camera_manager.h // 相机功能封装类的头文件
- | |—— event_listener.h // 监听事件类的头文件
- | |—— server_socket.h // socket 服务相关接口的头文件
- | |__ ui_config.h // 相机UI相关宏定义的头文件
- |
- |__ src
- |—— smart_camera_ability.cpp
- |—— smart_camera_ability_slice.cpp // 相机页面相关实现
- |—— camera_manager.cpp // 相机功能封装类的实现
- |__ server_socket.c // socket 服务相关接口的实现,主要用来接收ai识别后的结果</font>
复制代码
demo_keyword_spotting 代码目录结构:
- <font size="4">|—— BUILD.gn // 编译脚本
- |—— kws_app.cpp // 应用入口
- |—— kws_manager.cpp // 语音识别管理相关实现
- |—— kws_manager.h // 语音识别管理头文件
- |—— audio_cache.cpp // 语音采集相关实现
- |—— audio_cache.h // 语音采集头文件
- |—— client_socket.c // socket 服务相关接口的实现,主要用来发送识别后的结果
- |__ client_socket.h // socket 服务相关接口的头文件</font>
复制代码
特别说明: AI语音识别服务是一个后台服务应用,因此我们需要通过设置让它自启动,配置文件如下
- <font size="4">vendor/team_x/smart_camera/init_configs/init_liteos_a_3516dv300.cfg</font>
复制代码
具体修改步骤:
- <font size="4">"services" : [
- .
- .
- .
- {
- "name" : "kws_app",
- "path" : ["/bin/smart_kws_app"],
- "uid" : 2,
- "gid" : 2,
- "once" : 0,
- "importance" : 0,
- "caps" : []
- }
- ]</font>
复制代码
在jobs模块中找到"name" : "post-init",在"cmd"的最后加上”start kws_app“
- <font size="4"> {
- "name" : "post-init",
- "cmds" : [
- .
- .
- .
- "start kws_app"
- ]
- }</font>
复制代码
代码编译
源码和环境准备完后,接下来就是编译,编译涉及的指令有2条,hb set和hb build -f 。
hb set -- 设置工程目录和选择对应的目标,通过键盘的上下键来选择。
hb build -f -- 开始全量编译。(hb build 为增量编译)
编译完后会生成对应整个系统固件(u-boot-hi3516dv300.bin,OHOS_Image.bin, rootfs_vfat.img, userfs_vfat.img)以及我们应用对应的so文件。
其中u-boot-hi3516dv300.bin在device/hisilicon/hispark_taurus/sdk_liteos/uboot/out/boot/:
OHOS_Image.bin, rootfs_vfat.img,以及userfs_vfat.img在out目录下:
对应的libsmart_camera.so在out/hispark_taurus/smart_camera/usr/lib/ 目录下:
AI服务可执行程序在out/hispark_taurus/smart_camera/bin/ 目录下:
以下表格为所有生成的固件及对应的位置:
生产固件及应用文件的名称 | 对应文件路径 | 文件说明 | u-boot-hi3516dv300.bin | device/hisilicon/hispark_taurus/sdk_liteos/uboot/out/boot/ | 系统启动引导程序 | OHOS_Image.bin | out/hispark_taurus/smart_camera/ | 系统内核固件 | rootfs_vfat.img | out/hispark_taurus/smart_camera/ | 文件系统 | userfs_vfat.img | out/hispark_taurus/smart_camera/ | 用户数据分区 | libsmart_camera.so | out/hispark_taurus/smart_camera/libs/usr/ | 智能相机应用的库文件 | smart_kws_app | out/hispark_taurus/smart_camera/bin/ | ai语音识别服务执行程序 |
3. 固件烧录烧录工具选择
固件编译完后,是需要烧录到单板的。这里我们用的是HiTool工具烧录的。(HiTool工具下载地址:HiHope官网)
烧录步骤
打开HiTool工具,如下图:
烧写步骤按照图中标注即可。点击烧入后,烧录工具会提示重新上电,此时重启单板即可。
烧录结果
烧录成功后,会弹出如下提示,单板也会自行启动。
烧录失败的话需要根据失败提示查找一下原因。一般情况需要检查一下串口是否连接正常,网线是否正确插入,IP是否选择正常等。
查看IP的方法:当单板上电后并正确插入网线后,点击工具上刷新按钮,此时单板IP会自动添加到服务器IP列表中。
IDE烧录
另外,OpenHarmony官网有提供一种通过IDE来烧录的,具体烧录步骤请参考文档:3516上快速运行Hello OHOS。
特别说明
如果是第一次烧录程序的话,单板在启动的时候需要设置bootargs,否则不能正常启动。单板第一次启动会停在hisilicon界面:
我们需要输入以下指令:
- <font size="4">setenv bootcmd "mmc read 0x0 0x80000000 0x800 0x4800; go 0x80000000";
- setenv bootargs "console=ttyAMA0,115200n8 root=emmc fstype=vfat rootaddr=10M rootsize=20M rw";
- saveenv
- reset</font>
复制代码
到此,烧录已经完成,设备也正常启动。
4. 应用安装打包应用
本demo是以安装包的形式安装到系统中启动运行的。因此,在安装应用前,需要将应用打包成安装包。
将编译好的libsmart_camera.so文件与工程目录下的res以及config.json文件通过压缩打包成zip格式(三个文件直接压缩,不能压缩文件夹),并将后缀名改为hap(smart_camera.hap)。
挂载NFS
应用打包后,我们是通过NFS方式将单板挂载到本地,通过相关的指令来安装的,NFS挂载方法参照社区文章:Hi3516通过NFS挂载方式与Windows共享文件。
安装
通过nfs是单板连接到本地电脑后,我们可以通过bm安装指令进行安装。bm 安装工具在系统编译完后会自动生成,路径在:
out/hispark_taurus/smart_camera/dev_tools/bin/
由于bm默认安装的应用为已经签名的应用,所以我们在安装前需要先将签名去掉。
- <font size="4">bm set -s disable // 去签名
- bm install -p filename // 安装应用filename, filename需要指定路径</font>
复制代码
安装完后桌面会显示对应应用的ICON,直接点击ICON即可以启动相机的应用。
5. 使用指南
- 由于本demo涉及到摄像头的读写,故需要申请了相关的权限。在使用本demo前需要在setting中打开对应的权限。具体操作:
点击 setting-->应用-->smart_camera,然后将所有权限打开。
- 本demo带有相机的所有功能,包含预览,拍照,录像以及跳转到图库查看对应拍的图片和录制的视频。
- 本demo最主要的功能是语音控制相机,需要对准板子上的mic风说唤醒词,目前支持2个唤醒词(Hi,xiaowen以及Nihao,wenwen),分别对应控制相机的拍照以及录像功能。
|