[问答]

K230 yolo识别例程中，怎么修改摄像头参数及AI推理输入图片参数，使其采集二值化的图像并将二值化图像推给AI进行推理呢

问答对人有帮助，内容完整，我也想知道答案 0 我尝试修改pipeline中的初始化函数和getframe函数均没有办法在ide上显示二值化的图像，有没有办法修改呢？设置为Sensor.GRAYSCALE # PipeLine初始化函数def create(self,sensor=None,hmirror=None,vflip=None,fps=30): with Scopedtiming("init PipeLine",self.debug_mode > 0): os.exitpoint(os.EXITPOINT_ENABLE) nn.shrink_memory_pool() # 初始化并配置sensor brd=os.uname()[-1] if brd=="k230d_canmv_bpi_zero": self.sensor = Sensor(fps=fps) if sensor is None else sensor elif brd=="k230_canmv_lckfb": self.sensor = Sensor(fps=fps) if sensor is None else sensor else: self.sensor = Sensor() if sensor is None else sensor self.sensor.reset() if hmirror is not None and (hmirror==True or hmirror==False): self.sensor.set_hmirror(hmirror) if vflip is not None and (vflip==True or vflip==False): self.sensor.set_vflip(vflip) # 通道0直接给到显示VO，格式为YUV420 self.sensor.set_framesize(w = self.display_size[0], h = self.display_size[1]) self.sensor.set_pixformat(Sensor.GRAYSCALE) # 通道2给到AI做算法处理，格式为RGB888 self.sensor.set_framesize(w = self.rgb888p_size[0], h = self.rgb888p_size[1], chn=CAM_CHN_ID_2) # set chn2 output format self.sensor.set_pixformat(Sensor.GRAYSCALE, chn=CAM_CHN_ID_2) # OSD图像初始化 self.osd_img = image.Image(self.display_size[0], self.display_size[1], image.GRAYSCALE) sensor_bind_info = self.sensor.bind_info(x = 0, y = 0, chn = CAM_CHN_ID_0) Display.bind_layer(**sensor_bind_info, layer = Display.LAYER_VIDEO1)我修改了加粗的几处，并不能实现黑白采图的效果，IDE上不显示摄像头画面的同时，停止程序运行还会卡住 0 本主题由 Harmony技术专家于 2025-4-25 17:27 审核通过
2025-4-25 07:51:05　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × hgimtk 该类别下有 4 个回答。邀请回答 xiongcanfei 该类别下有 4 个回答。邀请回答青上也该类别下有 4 个回答。邀请回答 sfafa 该类别下有 3 个回答。邀请回答无人岛该类别下有 3 个回答。邀请回答 iiiegsd 该类别下有 3 个回答。邀请回答费加罗该类别下有 3 个回答。邀请回答靓仔峰该类别下有 3 个回答。邀请回答 gXDhn 该类别下有 3 个回答。邀请回答王尚岱该类别下有 3 个回答。邀请回答卿小知1 该类别下有 3 个回答。邀请回答打马过草原该类别下有 3 个回答。邀请回答 goodmbby 该类别下有 3 个回答。邀请回答你又知道了该类别下有 3 个回答。邀请回答向日葵的花季该类别下有 3 个回答。邀请回答 laisvl 该类别下有 3 个回答。邀请回答 60user103 该类别下有 3 个回答。邀请回答万物死该类别下有 3 个回答。邀请回答欲望都市该类别下有 3 个回答。邀请回答马汉三呐该类别下有 3 个回答。邀请回答举报杨平相关推荐 • k230如何将yolo分类视频流推理后的视频结果保存到本地？ 635 • 请问OV2640摄像头循迹的二值化该怎么弄 3895 • 如何在RK3399上搭建Tengine AI推理框架呢 2469 • 在对庐山派K230的SD卡data文件夹进行删除和新件文件夹时无法操作，且训练时线程异常，怎么解决？ 243 • labview中有没有对图像采集后进行实时二值化的方法？ 4012 • 有大神知道RK3588s该如何对yolo进行摄像头或者视频推理吗？ 1905 • 基于SRAM的方法可以加速AI推理 1841 • 如何在RK3399这一 Arm64平台上搭建Tengine AI推理框架呢 2280 • 【新手求助】关于树莓派+opencv+摄像头图像处理的问题？ 6119 • NI视觉助手 shape detection setup功能无法获取图像的信息该如何调整设置参数 7186 1个回答

答案对人有帮助，有参考价值 0 在K230的YOLO例程中实现二值化图像采集并输入AI推理，需按以下步骤调整： 1. 修改摄像头配置在`create`函数中设置传感器模式为灰度，并确保摄像头输出单通道数据： `def create(self, sensor=None, hmirror=None, vflip=None, fps=30): with ScopedTiming("init PipeLine", self.debug_mode > 0): os.exitpoint(os.EXITPOINT_ENABLE) sensor = sensor or Sensor.SENSOR_GRAYSCALE # 强制设为灰度模式 # 其他传感器参数配置... self.capture = capture = nn.capture(sensor, hmirror, vflip, fps) # 后续NN节点配置...` 2. 插入二值化处理节点在Pipeline中添加自定义处理节点，使用OpenCV进行阈值处理： from maix import nn, image import cv2 class BinarizationNode: def __init__(self, threshold=128): self.threshold = threshold def process(self, img): # 转换为OpenCV格式 gray_img = img.to_numpy() # 应用二值化 _, binary_img = cv2.threshold(gray_img, self.threshold, 255, cv2.THRESH_BINARY) # 转回maix.image格式 return image.load(binary_img.tobytes(), (img.width, img.height), image.Format.GRAY) 在Pipeline初始化时插入该节点： `self.binary_node = BinarizationNode(threshold=128) self.pipeline = nn.Pipeline( capture, nn.PipeNode("processor", self.binary_node), # 插入二值化处理 nn.VFNetNode(...) # 原有NN节点 )` 3. 调整模型输入配置确保模型接受单通道输入，在模型加载时指定输入形状： `self.model = nn.load({ "param": "/root/yolo_fastest.param", "bin": "/root/yolo_fastest.bin" }, inputs={ "input0": (224, 224, 1) # 单通道输入 })` 4. 修改显示输出在`getframe`或显示循环中将二值图像转为RGB显示： `def getframe(self): ret, tensors = self.pipeline.get_result_tensors() if ret: # 获取二值化后的图像 binary_img = self.pipeline.get_buffer("processor") # 根据节点名获取 # 转换为RGB用于显示 display_img = binary_img.convert(image.Format.RGB888) # 后续显示逻辑... return display_img return None` 关键点说明传感器模式：确保摄像头硬件支持`GRAYSCALE`输出。处理节点顺序：二值化必须在NN推理节点之前完成。数据类型匹配：二值图像应为`uint8`类型，值域0/255。模型适配：部分模型需要三通道输入，此时需在预处理阶段复制通道： `# 在输入模型前扩展通道维度 input_data = np.stack([binary_img]3, axis=2)` 调试建议* 单独保存图像：在处理节点后保存图像文件，验证二值化效果： `binary_img.save("debug_binary.jpg")` 检查模型输入：打印输入张量的形状和数值范围： `print(f"Input shape: {input_tensor.shape}, dtype: {input_tensor.dtype}")` 通过以上步骤，您应该能在IDE中观察到二值化图像，并正确输入到AI模型中。若仍不显示，请检查IDE的图像渲染是否支持单通道格式，必要时进行格式转换。

2025-5-6 16:44:11 评论举报王越建