聆思CSK6视觉语音大模型AI开发板入门资源合集（硬件资料、大模型语音/多模态交互/英语评测SDK合集）

2024-6-18 17:33:19 5114 AI大模型

大模型开发板AI视觉能力演示

本帖最后由 jf_40317719 于 2024-6-18 17:39 编辑

视觉语音大模型 AI 开发套件( CSK6-MIX )是围绕 CSK6011A 芯片设计的具备丰富语音图像功能与硬件外设的开发板，采用具备丰富组件生态的 Zephyr RTOS作为操作系统，官方提供了十几种开源SDK，包含大模型语音交互、大模型拍照识图、文生图、人脸识别、头肩追踪、手势识别、坐姿提醒等。

聆思科技还提供了模型训练推理工具将自己的算法模型部署至芯片上，也可以配合这个工具构建自己的 AI 应用。

使用聆思 CSK6011A 芯片作为主控，板载 16MB Flash
集成摄像头、麦克风、扬声器、屏幕等丰富外设配件
配套多模态应用示例，支持快速上手体验大模型语音交互、智能视觉等 AI 应用
板载 DAPLINK 调试器，外接一条USB 线即可实现烧录、调试、串口日志查看
板载网络模组，支持开发联网类应用

开发板硬件资源

编号	资源	说明
1	CSK USB 接口	CSK6 芯片的 USB 接口，可通过本接口使用 CSK6 的 USB 硬件功能，支持对开发板进行供电。
2	DAPLink 调试器接口	可通过本接口查看日志、烧录固件、调试仿真，支持对开发板进行供电。
3	电源开关	控制开发板总电源开关。
4	外扩排针	引出 CSK6 芯片的可用 IO 口，包括部分由扩展 IO 芯片 (19编号)外接的 IO口，开发者可按需进行使用。
5	摄像头模组	默认配套 30W 像素的摄像头模组，型号为 GC0328。
6	扬声器接口	用于连接扬声器进行播音。
7	RGB LED	支持编程控制的 LED。
8	触摸显示屏	分辨率 320*240 的触摸显示屏，屏显硬件接口为 SPI，触摸硬件接口为 I2C 。
9	麦克风	板载的两个麦克风，连接芯片的 Audio ADC，用于语音相关应用的录音。
10	硬回采开关	用于控制第二路录音链路用于麦克录音(默认)还是硬件回采。
11	SD卡槽	用于插入 SD 存储卡。
12	网络模组调试座	可用语烧录网络模组的固件与调试。
13	网络模组	使用 ESP32 C3 作为网络模组。
14	扩展按键区	通过扩展 IO 芯片 CH32 扩展引出的按键，支持轮询检测。
15	CSK6 功能按键区	包括 CSK6 芯片的复位、BOOT、自定义功能按键。
16	电源LED	指示开发板的供电状态，供电正常使，LED亮起。

配套SDK资源
大模型示例SDK清单

SDK集成了星火大模型，可以二次开发改接其他大模型，示例清单见下表，可以直接通过链接进行固件烧录并下载：

序号	大模型功能	功能说明
1	大模型多模态	套件出厂默认应用。包含大模型语音问答、拍照识图、大模型绘图等丰富供能示例，支持语音唤醒、多轮语音交互。
2	智能对话	除了大模型语音对话，还集成了可离线运行的坐姿检测算法，是一个大模型在线服务+离线AI能力的示例。
3	智能对话 + 文生图 + 设备控制	该示例展示了如何通过大模型实现语音输入意图的理解，实现对话、绘图和控制开发板屏幕颜色进行切换，用户可参考代码与教程自行修改。
4	接入自定义应用	讲解如何在云端快速建立一个自定义大模型应用并接入到开发套件上实现语音交互，由浅入深地展示如何开发自己的大模型助手。

离线AI能力示例SDK清单

序号	AI 能力
1	语音唤醒 + 坐姿检测
2	语音合成
3	坐姿检测
4	人脸识别
5	单词评测
6	头肩检测 & 手势识别

LNN AI示例SDK清单

LNN是用于移植适配算法至CSK6芯片的工具，提供了视觉、语音相关的示例SDK，如果想在CSK6上移植适配自己的算法，可以参照这些示例：

序号	能力
1	拍照物体识别
2	鼾声检测
3	英译中

开发板设计资料下载

文件	操作
大模型开发套件 V2.0 硬件设计	https://oshwhub.com/lshuangyu/leaf-technology-multimodal-devel
CSK6系芯片引脚功能表 V1.0	https://docs2.listenai.com/zz/3294.xlsx?shortId=nTn9kMMCU