[开源项目]

用全志XR806开发板实现语音紧急呼叫系统

2024-1-15 10:41:39 4176 语音识别

0 1.背景介绍老人和小孩子独自在家的时候如果遇到紧急情况，通过拨打电话或者微信的方式通知家人存在操作不便的问题。例如，如果老人摔倒了手机很可能不在身边，对小孩来说手机的操作又过于复杂。针对这种情况，研发一种主动语音上报的系统，语音实时识别人的求救声，然后通过网络发送信息告知家人。 2.硬件选型在该语音主动告警系统中，需要语音时别模块和网络告警模块。xr806有丰富的外围接口，能够采集外部多种传感器的数据，功耗低，可以采用移动电源供电，支持wifi和bt，体积小，可以灵活部署于房间的各个角落。语音模块选用天问的ASRPRO模块，该模块集成度高，支持模块化编程，识别率高的特点。硬件连接框图如下所示，Speech Module支持uart通信和gpio信号，本次实验选用gpio通信，即当识别到特定词汇时拉高gpio向xr806发送信后，xr806接收到信号后发送信息给mqtt client。硬件实物链接如下图所示 3.软件实现3.1 软件流程软件整体的流程如下图所示。xr806完成初始化以后，连接网络，建立mqtt连接等待语音模块的输入，接收到信号后，发送mqtt信息给broken，订阅该topic的所有client都会收到该告警信号。语音试别模块上电完成初始化以后输入语音提示信息并循坏等待语音的输入，匹配到对应语音后拉高gpio发送信号给x806，延迟一秒下拉gpio，并输入提示语音。 3.2 语音识别（ASR）的实现天问的语音试别模块支持类似Scrach的模块化图形编程，程序代码如下。程序编写完成后先生成模型，然后编译下载即可。 3.3 XR806主机编程3.3.1 工程的建立工程建立和编译参考【XR806开发板试用】全志XR806开发板FreeRTOS代码包及开发环境搭建教程 3.3.2 代码开发官方SDK中提供了参考，代码位于xr806_sdk/project/example，本次实现主要参考gpio和mqtt两个文件，基于mqtt的代码完成整体工程的开发。官方例程是采用的阿里云的mqtt broken服务，使用前需要注册，本次开发采用EMQX提供的免费的公共MQTT服务器，相关信息如下：按照此信息修改代码的定义： #define MQTT_DEMO_CLIENT_ID "xr806-mqtt" #define MQTT_DEMO_HOST_NAME "mqtt://broker.emqx.io" #define MQTT_DEMO_PORT "1883" // #define MQTT_DEMO_USERNAME "xr806_senor_set0&vo84Hm3xbUj" // #define MQTT_DEMO_PASSWORD "4f9ebb2143f01e4489133c1ea55051fbbfc4c44e" #define MQTT_DEMO_TOPIC "/topic/xr806-sos" 复制代码客户端采用EMQX免费的MQTTX，该工具跨平台且提供网页版。手机端可以搜到MQTT助手等类似工具。 GPIO直接套用实例中的即可，需要完成默认func等配置的初始化： static void gpio_input_init(void) { GPIO_InitParam param; param.driving = GPIO_DRIVING_LEVEL_1; param.mode = GPIOx_Pn_F0_INPUT; param.pull = GPIO_PULL_NONE; HAL_GPIO_Init(GPIO_INPUT_PORT, GPIO_INPUT_PIN, ¶m); } static uint8_t gpio_input_read(void) { return (uint8_t)HAL_GPIO_ReadPin(GPIO_INPUT_PORT, GPIO_INPUT_PIN); } 复制代码修改mqtt_demo_fun的while(1)代码块，先判断采集到的gpio信号，然后再publish信息，相关修改如下： while (1) { if (gpio_input_read()) { /* publish message to topic / mqtt_demo_publish(MQTT_DEMO_TOPIC, MQTT_DEMO_MSG_TEXT); ret = MQTTYield(&mqtt_demo_client, 300); if (ret != 0) { printf("mqtt yield err, ret:%dn", ret); reconnect: printf("mqtt reconnectn"); mqtt_demo_disconnect(); ret = mqtt_demo_connect(MQTT_DEMO_HOST_NAME, MQTT_DEMO_PORT); if (ret != 0) { reconnect_times++; if (reconnect_times > 5) goto exit; OS_MSleep(5000); //5s goto reconnect; } } } OS_MSleep(10); //10ms } 复制代码* 3.3.3 编译执行编译步骤可以参考工程建立章节提供的链接，官方实例，mqtt的启动依赖于网络的建立，因此系统启动后需要先建立网络，建立网络的命令如下： # net sta config [ssid] [password] # net sta enable 复制代码系统启动以后，说一句“救命”，XR806就会发送"SOS"信息到broken，同时语音试别模块会发出“我来了”的提示信息。订阅/topic/xr806-sos该topic的Client会收到sos信息，如下： 0 本主题由 dianzi_0101 于 2024-1-15 13:47 审核通过
2024-1-15 10:41:39　　评论淘帖0 举报相关推荐 • 如何用XR806实现语音紧急呼叫系统的设计呢？ 1264 • 【XR806开发板试用】语音紧急呼叫系统 787 • 全志XR806开发板原理图 11 • 全志XR806+TinyMaix，在全志XR806上实现ML推理 772 • 用全志XR806开发板轻松连上华为云实现物联网 1082 • 基于全志XR806开发板的家用环境监测传感器设计 638 • 全志XR806基于FreeRTOS的SoftAp配网实现 824 • 【XR806开发板试用】基于FreeRtos的XR806 WLAN测试 517 • 全志XR806 FreeRTOS快速开发入门 2774 • 全志XR806底板位号图 0