【youyeetoo X1 windows 开发板体验】少儿AI智能STEAM积木平台

youyeetoo X1 | 风火轮Wiki

这次非常有幸，能够得到深圳风火轮youyeetoo X1的体验机会，感谢电子发烧友和风火轮。

在申请youyeetoo X1之前，已经通过风火轮的官方WiKi做过了一下了解，官方的介绍简介给力：

经过了解，更增添了我对youyeetoo X1的兴趣。

详细的WiKi网址：youyeetoo X1 | 风火轮Wiki ，感兴趣的同学可以前往了解。

一、开箱

玩板子最开心的事情，就是开箱了。
拆开寄过来的箱子，一共有三个部分：

分别是主机(SBC)、屏幕、NFC板。

打开后，内容不少：

核心看一下主机：

以及屏幕：

主机的正反面，都接口丰富，通过官方WiKi可以了解到：
接口图-正面(中文).jpg

接口图_背面(1).jpg

具体的硬件参数，有一长溜，我就不贴了，可以从官方WiKi了解。

套件中的屏幕，是一块7寸MIPI屏幕，具体介绍如下：

二、配件

在官方WiKi上，列出了可用的配件：

因为提前做过了解，所以我给youyeetoo X1准备了不少基础配件，具体如下图：

分别为：

绿联USB HUB
8欧小音箱
翼联（EDUP）EP-1696S，RTL8832AU WiFi6双频无线网卡
EDUP EP-N1572无线网卡，RTL8192CU
EC20 4G Cat
RTL8852BE WIFI6E 5G双频内置无线网卡
USB蓝牙
RTC电池
512G M.2 SSD
64G U盘
256G SD卡
PWLink2 Lite调试器：Arm版和RISC-V版
USB鼠标
蓝牙键盘
积木版屏幕支架

另外，还有USB摄像头，没有在上面一起列出。
此外，在项目中用到的模块配件，在后续更新中，会陆续更新上来。

三、开机

将开发板、屏幕，以及主要配件连接好，就可以连上电源开始使用了。

默认情况下，可以直接连接HDMI，然后按照官方说明，刷BIOS，以便开启MIPI屏幕。
在我实际测试过程中，HDMI和MIPI屏幕，是可以同时使用的。
另外，官方WiKi也提供了进行系统安装的指导。

我第一时间刷了BIOS，装了系统，所以下面展示直接使用情况。

连接后，整体如下：

进入Windows10系统后，首先了解具体系统情况：

然后进行系统更新。

更新完系统，一切准备妥当，那就跑分好了。
使用鲁大师进行了评测，具体情况如下：
综合评分：

AI评分：

四、项目计划

要进行的项目，是作为一个探索型的项目，将在youyeetoo X1硬件和系统平台上，结合AI大模型、AI Agent技术和IoT硬件，构建一个少儿AI智能STEAM积木平台。
使用的少儿可以通过智能积木搭建的方式，来完成STEAM创意的初步构建，然后通过自然语言对话进行沟通，最终通过AI大模型来完成最终的创意，并进行实时的动画展现。

具体的实现过程，将会在更新的过程中，逐步进行分享。

HonestQiao · 2024-3-14 11:47:35

大模型接口调用

在youyeetoo X1 windows 开发板本地运行大模型效率不高，所以转而使用在线的大模型。
这次使用的大模型为阿里千问，虽然比不上OpenAI的，但效果还是非常不错的。

一、安装Anaconda建立专用环境
在youyeetoo X1 windows 开发板的Windows11系统重，直接通过winget安装即可：

winget install Anaconda.Anaconda3

复制代码

然后，使用conda来构建专用建立专用环境：

二、安装SDK
要使用阿里千问，需要先安装对应的SDK：

pip install dashscope

复制代码

三、申请API KEY：
参考千问官方指导，开通权限，获取KEY：如何开通DashScope并创建API-KEY_模型服务灵积(DashScope)-阿里云帮助中心 (aliyun.com)，并将KEY放置到~/.dashscope/api_key文件中

四、千问APi调用
参考官方指导，编写一个简单的调用：

from http import HTTPStatus
import dashscope
def call_with_messages():
messages = [{'role': 'system', 'content': '你是一位资深的美食家。'},
{'role': 'user', 'content': '如何做一盘美味的菜苔炒腊肉？'}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_format='message', # set the result to be "message" format.
)
if response.status_code == HTTPStatus.OK:
print(response)
else:
print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
response.request_id, response.status_code,
response.code, response.message
))
if __name__ == '__main__':
call_with_messages()

复制代码

运行上述Python脚本，结果如下：

五、结合温湿度信息的调用
结合温湿度信息，编写如下的程序：

from http import HTTPStatus
import dashscope
def call_with_messages():
messages = [{'role': 'system', 'content': '你是一位儿童STEM教育专家。'},
{'role': 'user', 'content': '现在有一个温湿度传感器，温度为21℃，湿度为36%，请帮忙规划一个应用场景，使用到这个温湿度传感器。'}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_format='message', # set the result to be "message" format.
)
if response.status_code == HTTPStatus.OK:
print(response)
else:
print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
response.request_id, response.status_code,
response.code, response.message
))
if __name__ == '__main__':
call_with_messages()

复制代码

运行后，输出结果如下：

经过上面的步骤，就可以在youyeetoo X1 windows 开发板上面，调用阿里千问大模型了。
后面会继续使用多种外部设备，结合大模型，进行场景的具体应用。

ALSET · 2024-3-14 12:02:10

牛蛙，这篇文章中，我深深被作者的文采所震撼。行云流水的文字犹如璀璨星河在字里行间流淌，每一个段落都蕴含着深邃的思想和丰富的情感，犹如一首无声的诗，一幅有形的画，引人入胜，令人流连忘返。

idianze · 2024-3-14 13:46:07

不带线网卡模块使用

h1654155283.0188 · 2024-3-14 15:25:02

性能相当的强啊

HonestQiao · 2024-3-14 17:26:55

使用使用语音合成大模型输出并播放

阿里云不仅提供了阿里千问大模型服务，还提供了语音合成的服务。通过调用语音合成服务，可以将大模型的输出转换为语音，再进行直接播放，效果更好。

一、硬件准备
我为这次的评测，也准备了一个小音箱(左下角)：

直接连接到板子上的音箱输出接口就可使用：

二、安装Pyaudio
使用pip安装即可：

pip install pyaudio

复制代码

三、调用阿里云语音合成服务

参考官方指导，编写下面的程序即可进行测试：

# coding=utf-8
import dashscope
from dashscope.audio.tts import SpeechSynthesizer
dashscope.api_key=dashscope.common.api_key.get_default_api_key()
result = SpeechSynthesizer.call(model='sambert-zhichu-v1',
text='今天天气怎么样',
sample_rate=48000,
format='wav')
if result.get_audio_data() is not None:
with open('output.wav', 'wb') as f:
f.write(result.get_audio_data())
print(' get response: %s' % (result.get_response()))

复制代码

运行上述代码，就能输出合成结果到output.wav：

直接点击该文件，就可以听到合成后的语音效果。

四、使用使用语音合成大模型输出并播放现在，结合前面的AIGC调用和语音合成，就可以做到直接将AI大模型的输出使用语音播放，具体代码如下：

# coding=utf-8
import dashscope
import sys
import pyaudio
from dashscope.api_entities.dashscope_response import SpeechSynthesisResponse
from dashscope.audio.tts import ResultCallback, SpeechSynthesizer, SpeechSynthesisResult
from http import HTTPStatus
dashscope.api_key=dashscope.common.api_key.get_default_api_key()
class Callback(ResultCallback):
_player = None
_stream = None
def on_open(self):
print("开始播放")
self._player = pyaudio.PyAudio()
self._stream = self._player.open(
format=pyaudio.paInt16,
channels=1,
rate=48000,
output=True)
def on_complete(self):
print('播放结束')
def on_error(self, response: SpeechSynthesisResponse):
print('播放错误： %s' % (str(response)))
def on_close(self):
print('播放完毕')
self._stream.stop_stream()
self._stream.close()
self._player.terminate()
def on_event(self, result: SpeechSynthesisResult):
if result.get_audio_frame() is not None:
# print('audio result length:', sys.getsizeof(result.get_audio_frame()))
self._stream.write(result.get_audio_frame())
if result.get_timestamp() is not None:
print('timestamp result:', str(result.get_timestamp()))
def call_with_messages():
messages = [{'role': 'system', 'content': '你是一位资深的美食家。'},
{'role': 'user', 'content': '如何做一盘美味的菜苔炒腊肉？'}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_format='message', # set the result to be "message" format.
)
if response.status_code == HTTPStatus.OK:
resp_body = response['output']['choices'][0]['message']['content']
print("AI大模型返回：", resp_body)
if True:
print("调用语音服务")
SpeechSynthesizer.call(model='sambert-zhichu-v1',
text=resp_body,
sample_rate=48000,
format='pcm',
callback=callback)
else:
print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
response.request_id, response.status_code,
response.code, response.message
))
callback = Callback()
if __name__ == '__main__':
print("调用AI大模型")
call_with_messages()

复制代码

运行上述代码，具体输出结果如下：

通过上面的步骤，就能够实现AI大模型输出结果直接语音播放了。
后面，将在结合外部设备一起，进行AI大模型场景直接语音输出。

ElecFans小喇叭 · 2024-3-14 18:17:28

大佬牛呀，给大佬点个赞

HonestQiao · 2024-3-14 20:06:25

语音识别功能应用

前面进行了AI大模型调用，语音合成的测试，紧跟着，就是语音识别的测试。

一、硬件了解：
在youyeetoo X1 windows 开发板上，提供了数字MIC：

数字MIC的位置如下：

模拟MIC接口如下：

默认情况下，直接使用数字MIC即可

二、录音并进行语音识别
有了前面阿里千问大模型和语音识别调用的基础，这个部分就没有什么前置工作要进行了，直接编写程序即可：

import pyaudio
import dashscope
from dashscope.audio.asr import (Recognition, RecognitionCallback,
RecognitionResult)
dashscope.api_key=dashscope.common.api_key.get_default_api_key()
mic = None
stream = None
class Callback(RecognitionCallback):
def on_open(self) -> None:
global mic
global stream
print('RecognitionCallback open.')
mic = pyaudio.PyAudio()
stream = mic.open(format=pyaudio.paInt16,
channels=1,
rate=16000,
input=True)
def on_close(self) -> None:
global mic
global stream
print('RecognitionCallback close.')
stream.stop_stream()
stream.close()
mic.terminate()
stream = None
mic = None
def on_event(self, result: RecognitionResult) -> None:
# print('RecognitionCallback sentence: ', result.get_sentence())
response = result.get_sentence()
print(response['text'])
callback = Callback()
recognition = Recognition(model='paraformer-realtime-v1',
format='pcm',
sample_rate=16000,
callback=callback)
recognition.start()
while True:
if stream:
data = stream.read(3200, exception_on_overflow = False)
recognition.send_audio_frame(data)
else:
break
recognition.stop()

复制代码

在上述代码中，通过 pyaudio.PyAudio() 进行声音的录制，然后调用dashscope.audio.asr.Recognition进行语音识别，也就是调用阿里语音识别模型Paraformer。

三、实际效果：
运行上述程序，待正常启动后，就可以说话，烧友延迟后，就会输出识别结果了：

输出的结果可以是SSE流式输出，能够非常好懂动态呈现当前的语音识别结果。
后面，再结合AIGC调用+语音合成输出，就能变成一个AI对话机器人了。

大菠萝Alpha · 2024-3-15 21:08:20

python操作小模块还是很给力

HonestQiao · 2024-3-24 13:15:36

少儿AI智能STEAM积木平台的最终实现

在之前的学习研究过程中，已经完成了少儿AI智能STEAM积木平台的一些技术准备工作，包括：

外设操作，例如I2C读取温湿度传感器信息
语音识别
语音合成
大模型调用

现在，就结合上述各项功能，来实现一个基础的少儿AI智能STEAM积木平台。

一、硬件准备

因为目前处于原型构建，所以暂时使用数据线，直接连接到了开发板的I2C接口。

每个不同的外设功能模块，放置于积木块中。
后续会使用专用接口，方便连接：

二、核心逻辑
少儿AI智能STEAM积木平台的核心逻辑为：

前期拼接：指手工操作，将积木块连接到开发板。
语音监听：监听使用者的说话声音
云端意图理解：发送语音数据到大模型平台，以理解使用者的意图
端侧功能执行：根据大模型的返回，进行端侧具体功能的执行
语音播放：播放语音反馈结果

三、代码编写
结合之前的各项研究学习，综合而成的代码如下：

import time
import sys
sys.path.append("./lib")
import pyaudio
import dashscope
from dashscope.audio.asr import (Recognition, RecognitionCallback,
RecognitionResult)
from dashscope.api_entities.dashscope_response import SpeechSynthesisResponse
from dashscope.audio.tts import ResultCallback, SpeechSynthesizer, SpeechSynthesisResult
from http import HTTPStatus
from lib import sht30
import atexit
dashscope.api_key=dashscope.common.api_key.get_default_api_key()
mic = None
stream = None
class TTS_Callback(ResultCallback):
_player = None
_stream = None
def on_open(self):
global in_play
in_play = True
print("开始播放")
self._player = pyaudio.PyAudio()
self._stream = self._player.open(
format=pyaudio.paInt16,
channels=1,
rate=48000,
output=True)
def on_complete(self):
global in_play
in_play = False
print('播放结束')
def on_error(self, response: SpeechSynthesisResponse):
global in_play
in_play = False
print('播放错误： %s' % (str(response)))
def on_close(self):
global in_play
in_play = False
print('播放完毕')
self._stream.stop_stream()
self._stream.close()
self._player.terminate()
def on_event(self, result: SpeechSynthesisResult):
if result.get_audio_frame() is not None:
# print('audio result length:', sys.getsizeof(result.get_audio_frame()))
self._stream.write(result.get_audio_frame())
if result.get_timestamp() is not None:
print('timestamp result:', str(result.get_timestamp()))
def call_with_messages(prompt):
system_desc = '''
你是一位知识丰富的人，你的名字叫小兔，上知天文下懂地理，请用中文回答问题，切回答言简意赅，最多不超过30个字。
如果问当前温度，则直接返回：检测环境温度
如果问当前湿度，则直接返回：检测环境湿度
'''
messages = [{'role': 'system', 'content': system_desc},
{'role': 'user', 'content': prompt}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_format='message', # set the result to be "message" format.
)
if response.status_code == HTTPStatus.OK:
resp_body = response['output']['choices'][0]['message']['content']
print("AI大模型返回：", resp_body)
if resp_body and len(resp_body)>0:
if resp_body.startswith("检测环境温度"):
temperature, humidity = sensor.measure()
resp_body = "当前温度为：%0.1d 度" % temperature
elif resp_body.startswith("检测环境湿度"):
temperature, humidity = sensor.measure()
resp_body = "当前湿度为：百分之 %d" % humidity
print("调用语音服务：%s" % resp_body)
in_play = True
SpeechSynthesizer.call(model='sambert-zhigui-v1',
text=resp_body,
sample_rate=48000,
format='pcm',
callback=tts_callback)
else:
print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
response.request_id, response.status_code,
response.code, response.message
))
class ASR_Callback(RecognitionCallback):
def on_open(self) -> None:
global mic
global stream
print('RecognitionCallback open.')
mic = pyaudio.PyAudio()
stream = mic.open(format=pyaudio.paInt16,
channels=1,
rate=16000,
input=True)
def on_close(self) -> None:
global mic
global stream
print('RecognitionCallback close.')
stream.stop_stream()
stream.close()
mic.terminate()
stream = None
mic = None
def on_event(self, result: RecognitionResult) -> None:
global prompt, get_times, in_chat
# print('RecognitionCallback sentence: ', result.get_sentence())
response = result.get_sentence()
print("识别结果：", response['text'])
if response['text'].startswith('小兔'):
# 从 response 中获取识别结果，执行对话逻辑
get_times = time.time()
prompt = response['text']
if in_chat == False:
in_chat = True
print("开始对话")
tts_callback = TTS_Callback()
asr_callback = ASR_Callback()
sensor = sht30.SHT30()
recognition = Recognition(model='paraformer-realtime-v1',
format='pcm',
sample_rate=16000,
callback=asr_callback)
@atexit.register
def clean():
global recognition
recognition.stop()
sys.exit()
while True:
recognition.start()
prompt = ""
send_times = 0
get_times = 0
in_chat = False
in_play = False
while True:
if stream:
if in_play:
continue
# print("发送流数据进行识别：")
send_times = time.time()
data = stream.read(3200, exception_on_overflow = False)
recognition.send_audio_frame(data)
# print(send_times, get_times)
if get_times>0 and send_times - get_times > 0.5:
# 连续五次没有识别，自动退出
break
else:
break
recognition.stop()
if len(prompt)>5:
print("当前识别内容：", prompt)
in_play = True
SpeechSynthesizer.call(model='sambert-zhigui-v1',
text="你稍等",
sample_rate=48000,
format='pcm',
callback=tts_callback)
while in_play:
pass
call_with_messages(prompt)

复制代码

上述代码的逻辑较为简单，主要就是之前的大模型调用返回时，做了一些简单的判断处理：

四、演示效果
https://player.bilibili.com/player.html?aid=1502058546&bvid=BV1vD42177Ui&cid=1480345427&p=1
上面的演示，整体效果，还是非常不错的。

ALSET · 2024-3-24 15:38:24

AI大模型开发是一个充满挑战与机遇的领域。在这个领域里，我们需要不断探索、尝试和学习，以实现更加精准和高效的智能模型。创意是AI大模型开发的关键，只有拥有创意，我们才能够打破常规，创造出具有颠覆性的解决方案。在AI大模型开发的过程中，我们需要勇于面对困难和挑战，不断地学习和实践，不断提升自己的能力，以便更好地应对复杂的问题和挑战。这个创意不仅是一个科技创新的项目，更是一个艺术与创意相结合的项目。在这个项目中，我们可以释放自己的想象力，创造出令人惊叹的作品。AI大模型开发的过程中，我们可以不断提升自己的创意水平，开拓更广阔的天地。我们会遇到各种各样的挑战和困难。然而，正是这些挑战激励我们不断前行，不断突破自我。通过超越自我，我们才能够取得更大的成功，实现更加远大的梦想。在AI大模型开发的过程中，让我们紧握创意这把钥匙，打开封闭的思维，迎接挑战与机遇，让我们的创意在这个充满无限可能性的世界中翱翔！