智能硬件接入主流大模型做语音交互（附文心一言、豆包、kimi、智谱glm、通义千问示例）

2024-8-21 19:13:20 2198 AI大模型智能语音交互文心一言 Kimi

1 智能硬件接入国内主流大模型语音交互演示本帖最后由 jf_40317719 于 2024-8-21 19:17 编辑多模态交互离不开硬件载体，近期有不少开发者在研究聆思CSK6大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须可以的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入为例，分享具体的接入步骤，大家按照文档步骤操作即可。当前SDK方案是把开发套件当做输入端，文字或图片内容先上传到聆思的大模型平台（LSPlatform），然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。链路说明 ● 链路1: 可通过inject节点调用大模型节点，并将结果输出到output1。 ● 链路2: 可通过web对话页调用大模型节点，最终将大模型结果输出到对话页面上。 ● 链路3: 可通过开发板调用大模型节点，最终将大模型输出的结果进行语音合成实现端侧播报。目前已经接通文心一言、豆包、kimi、智谱glm、通义千问等国内主流大模型，详细操作步骤可以参考附件文档。实操时也可以对照视频进行： https://b23.tv/vn6By9F 0 本主题由 ElecFans小喇叭于 2024-8-22 09:21 审核通过手把手教你在智能硬件上接入国内主流大模型实现语音对话.zip 7.06 MB , 下载次数: 1
举报淘帖0 只看该作者最近下载过的用户(1) 相关推荐 • 【实操文档】在智能硬件的大模型语音交互流程中接入RAG知识库 5758 • 【附实操视频】聆思CSK6大模型开发板接入国内主流大模型（星火大模型、文心一言、豆包、kimi、智谱glm、通义千问） 3251 • 聆思CSK6视觉语音大模型AI开发板入门资源合集（硬件资料、大模型语音/多模态交互/英语评测SDK合集） 4027 • Firefly智能语音套件通过CAEDemo程序实现语音识别功能 2468 • Azero + SoundPi 智能语音交互软硬一体化开发套件 7404 • 智能硬件新品上线，让WIFI设备能听会说的法宝 2121 • 基于AliOS Things玩转智能语音 2418 • 人工智能电视十宗罪语音识别不准全家人的千人千面有难度 3448 • 智能音箱混战远场语音交互只是开始 2280 • 雷雄国-智能硬件的人性化语音交互PPT—中国硬件创新大赛上海培训会 6536