【EASY EAI Nano-TB(RV1126B)开发板试用】AI手部21关键点识别

【前言】
在前面的几篇帖子中，我处理好了桌面显示，驱动了摄像头。本篇将摄像头获取到的图像，通过AI来识别手部21个关键点的识别。
【步骤】
1、安装mediapipe
这次灵眸官网给出的操作系统为ubuntu22，因此我们可以直接什么pip3 install mediapipe 直接就顺利的安装好这个库。
2、编写手部21个关键点的检测代码。
当我们读取到一幅图像时首先要加载MediaPipe Hands

# 初始化 MediaPipe Hands 对象
with mp_hands.Hands(
    model_complexity=0,
    min_detection_confidence=0.5,
    min_tracking_confidence=0.5) as hands:

3、识别手部关键点：

results = hands.process(imgRGB)

4、然后判断是否识别成功，如果成功测显示到图像中。
整体代码如下：

import os
import warnings
import numpy as np

# 1. 关键：强制 Qt 使用 xcb 插件（适配 Xfce 桌面，解决 linuxfb 报错）
os.environ["QT_QPA_PLATFORM"] = "xcb"  # 核心配置，必须放在 import cv2 之前
os.environ["CV2_DISABLE_QT"] = "0"     # 启用 Qt 后端（支持 imshow()）

# 2. 忽略无关警告
warnings.filterwarnings('ignore')

import cv2
import mediapipe as mp

# 初始化 MediaPipe 手部模块
mp_hands = mp.solutions.hands
mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles

# 摄像头节点（确认存在：ls /dev/video30）
CAMERA_DEVICE = "/dev/video30"

# 3. 打开摄像头（CAP_V4L2 接口，适配 RKISP 驱动）
cap = cv2.VideoCapture(CAMERA_DEVICE, cv2.CAP_V4L2)

# 4. 检查摄像头连接
if not cap.isOpened():
    print(f"❌ 无法打开 {CAMERA_DEVICE}！")
    print("临时授权：sudo chmod 666 /dev/video30")
    print("永久授权：sudo usermod -aG video nano && 注销重登")
    exit()

# 5. 配置桌面友好参数（平衡画质和流畅度）
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)  # Xfce 桌面支持较高分辨率
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
cap.set(cv2.CAP_PROP_FPS, 20)            # 20fps 流畅无卡顿

# 6. 读取首帧，确认格式
ret, frame = cap.read()
if not ret:
    print("⚠️  读取画面失败，检查摄像头硬件！")
    cap.release()
    exit()

# 打印数据信息
height, width = frame.shape[:2]
channels = frame.shape[-1] if len(frame.shape) >= 3 else 1
print(f"? 摄像头配置：{width}x{height} | 通道数：{channels}")
print("✅ 画面已显示，按以下按键操作：")
print("  - 'q'：退出程序")
print("  - 's'：保存当前帧到当前目录（capture.jpg）")
print("  - 'f'：切换全屏/窗口模式")

# 7. 循环读取 + 格式转换 + 显示（桌面版核心逻辑）
fullscreen = False

# 初始化 MediaPipe Hands 对象
with mp_hands.Hands(
    model_complexity=0,
    min_detection_confidence=0.5,
    min_tracking_confidence=0.5) as hands:

    while True:
        ret, frame = cap.read()
        if not ret:
            print("⚠️  帧读取失败，跳过")
            continue

        # 替换原有的格式转换代码（仅修改这一段）
        if channels == 3:
            try:
                # 方案 1：尝试 YUV420（NV12）→ BGR（RKISP 最常用格式）
                frame_bgr = cv2.cvtColor(frame, cv2.COLOR_YUV2BGR_NV12)
            except:
                try:
                    # 方案 2：尝试 YUV420（YV12）→ BGR（备用）
                    frame_bgr = cv2.cvtColor(frame, cv2.COLOR_YUV2BGR_YV12)
                except:
                    # 方案 3：保留原 RGB→BGR 备用
                    frame_bgr = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)

        # 将图像从BGR转为RGB并水平翻转（自拍效果）
        frame_rgb = cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2RGB)
        frame_rgb = cv2.flip(frame_rgb, 1)
        
        # 处理图像获取手部关键点
        results = hands.process(frame_rgb)
        
        # 将图像转回BGR以便显示
        frame_bgr = cv2.cvtColor(frame_rgb, cv2.COLOR_RGB2BGR)
        
        # 如果检测到手部，绘制关键点和连线
        if results.multi_hand_landmarks:
            for hand_landmarks in results.multi_hand_landmarks:
                # 绘制手部关键点和连接线
                mp_drawing.draw_landmarks(
                    frame_bgr,
                    hand_landmarks,
                    mp_hands.HAND_CONNECTIONS,
                    mp_drawing_styles.get_default_hand_landmarks_style(),
                    mp_drawing_styles.get_default_hand_connections_style())

        # 显示画面（窗口名：RKISP Camera）
        cv2.imshow("RKISP Camera (Xfce Desktop)", frame_bgr)

        # 按键处理（增强桌面使用体验）
        key = cv2.waitKey(1) & 0xFF
        if key == ord('q'):
            # 退出程序
            break
        elif key == ord('s'):
            # 保存图片
            cv2.imwrite("capture.jpg", frame_bgr)
            print("? 图片已保存为 capture.jpg")
        elif key == ord('f'):
            # 切换全屏/窗口
            fullscreen = not fullscreen
            flag = cv2.WINDOW_FULLSCREEN if fullscreen else cv2.WINDOW_NORMAL
            cv2.setWindowProperty("RKISP Camera (Xfce Desktop)", cv2.WND_PROP_FULLSCREEN, flag)

# 释放资源（必须执行）
cap.release()
cv2.destroyAllWindows()
print("✅ 程序正常退出，摄像头已释放")

演示效果：

【总结】
通过外接摄像头，可以非常准确的识别手部的21个关键点。在实际应用中，可以通过这21个关键点来判断手势等等。