本帖最后由 jf_40317719 于 2024-8-21 19:17 编辑
多模态交互离不开硬件载体，近期有不少开发者在研究聆思CSK6大模型
开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须可以的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以聆思CSK6大模型开发板接入为例，分享具体的接入步骤，大家按照文档步骤操作即可。
当前SDK方案是把开发套件当做输入端，文字或图片内容先上传到聆思的大模型平台（LSPlatform），然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。
链路说明
● 链路1: 可通过inject节点调用大模型节点，并将结果输出到output1。
● 链路2: 可通过web对话页调用大模型节点，最终将大模型结果输出到对话页面上。
● 链路3: 可通过开发板调用大模型节点，最终将大模型输出的结果进行语音合成实现端侧播报。
目前已经接通文心一言、豆包、kimi、智谱glm、通义千问等国内主流大模型，详细操作步骤可以参考附件文档。
实操时也可以对照视频进行：
https://b23.tv/vn6By9F
