项目名称:基于图像的手语识别机器人系统
试用计划:申请理由
本人是物联网专业在校大学生,疫情期间曾设计过基于勘智K210的口罩人脸离线识别打卡门禁系统,熟悉使用tensorflow lite iot部署,对计算机图像标定技术,图像识别,基于标识的跟踪注册技术有一定程度的学习和探索。想借助发烧友论坛和华为HarmonyOS平台完善基于图像识别技术的手语识别机器人的本科毕业开源设计。
项目计划
①根据文档,对HarmonyOS 快速入门
②通过学习HarmonyOS 的软件和系统,了解实际应用案例,熟悉开发过程
③基于HarmonyOS 边缘端侧部署tinyML的基本项目筹备(分析软硬件需求)
④项目模型边缘端微量部署,优化,实现脱离电脑云,离线的情况下便捷的识别手语图像输入。
⑤开源分享。
预计成果
①目前已经完成神经网络部分权重训练,根据OpenPose人体姿态开源模型和YOLOv3自训练手部模型检测视频和图像,再把数字特征进行分类器模型预测,将预测结果以文本和语音形式展现出来。
②把训练模型进行裁剪量化部署到IOT设备上,实现脱离电脑云,离线的情况下便捷的识别手语图像输入。
分享项目的开展,实施,结果过程,展示项目结果。