【高云GW5AT-LV60 开发套件试用体验】基于开发板进行深度学习实践，并尽量实现皮肤病理图片的识别，第四阶段

接第三阶段，上次说道要将cnn这个模块接入到高云自带的视频实例里面，于是就开始学习和了解这个实例里面的每个模块的功能，后来发现，除了要看一下高云自己的ip文档外，还要看很多视频处理相关的协议文档，比如下面的这些，仅作参考？
*附件：DP-1.1a.pdf*附件：DVI-1.0.pdf*附件：Hdmi-1.4-Latest Publications.pdf*附件：High-Definition Multimedia Interface.pdf
等等吧
当然还有这些：

因为我是按照顺序去看这个实例的每个文件的，所以今天就看到了这个lvds相关的文件，其实就是在看hdmi的时候，要了解这个lvds文件，所以就逐渐清楚怎么完成这个拼图了？
后面还有详细看这几个文件，如图所示：

为什么呢？因为现在逐渐清晰了？

这个LVDS模块是负责视频信号输出的吗？

是的，几乎可以肯定，这个模块是负责将并行视频数据转换为高速串行LVDS信号并输出的。

wire VCC;
wire GND;
// ...
OVIDEO \ovideo_gen[0].ovideo_inst  (
    .Q(q[0]),
    .D6(din[6]),
    .D5(din[5]),
    .D4(din[4]),
    .D3(din[3]),
    .D2(din[2]),
    .D1(din[1]),
    .D0(din[0]),
    .PCLK(pclk),
    .FCLK(fclk),
    .RESET(reset) 
);
// ...

1. 模块名 ddio_lvds :

   • ddio 通常是 Double Data Rate Input/Output 的缩写，意为双倍数据速率IO。这是实现高速串行输出的基础。
   • lvds 是 Low-Voltage Differential Signaling（低压差分信号）的缩写，是一种非常常见的高速、低功耗、抗干扰能力强的物理层接口，广泛用于视频传输（如连接液晶屏、摄像头）。

2. 核心元件 OVIDEO:

   • 这个名字很可能代表 Output Video 或者 Output Video Serializer。
   • 这是一个专用的硬件原语（Primitive），很可能是FPGA厂商（如Gowin, Xilinx, Altera等）提供的，用于实现高速串行化。你无法看到它的内部代码，因为它直接映射到FPGA芯片内部的专用硬件电路上。

3. 信号功能分析:

   • din [6:0] (Input): 这是7位的并行数据输入**。在视频应用中，这通常代表一个像素的一个颜色分量（如R/G/B中的一个），或者是某种编码后的视频数据。**
   • pclk (Input): 并行时钟 (Parallel Clock)。这是 din 数据输入所同步的时钟，也叫像素时钟。例如，一个60Hz的1080p视频，其pclk大约是148.5MHz。
   • fclk (Input): 快速时钟 (Fast Clock) 或 串行时钟 (Serial Clock)。这是一个比pclk快很多的时钟，用于驱动串行化过程。在典型的7:1串行化（将7位并行数据转为1位串行数据）中，fclk 的频率是 pclk 的7倍。
   • reset (Input): 复位信号。
   • q [0:0] (Output): 串行数据输出。经过OVIDEO原语处理后，7位的并行数据din被转换成了1位的高速串行数据流，从这里输出。这个q引脚最终会连接到FPGA的物理IO引脚上，形成LVDS差分对的一端。

结论：这个模块是一个7:1的视频数据串行器，它接收低速的并行视频数据，并将其转换为高速的LVDS串行信号进行输出。它通常是视频输出接口（如连接屏幕）的物理层驱动模块。

这里接上一个CNN模块在逻辑上行得通吗？

绝对行得通！这是一个非常合理且常见的应用场景。

将CNN模块和这个LVDS输出模块连接起来，就构成了一个典型的“AI视频处理与显示系统”。

1. 逻辑可行性分析

整个系统的数据流会是这样的：

[视频源] -> [FPGA输入接口] -> [CNN模块] -> [LVDS输出模块] -> [显示设备]

• 视频源: 比如一个摄像头，它输出实时的视频数据。

• FPGA输入接口: 一个LVDS接收模块（与你这个输出模块功能相反）或者MIPI CSI-2接收模块，负责将摄像头的信号解码为FPGA内部可以处理的并行视频数据流（例如RGB888格式）。

• CNN模块:

  • 输入: 接收来自FPGA输入接口的原始视频数据。

  • 处理: 在FPGA上实现的CNN加速器对视频流进行实时处理。例如：

    • 目标检测: 识别出视频中的人、车、物体等，并在其周围画上框。
    • 图像分割: 将视频中的不同区域（如天空、建筑、道路）用不同颜色标记出来。
    • 风格迁移: 将实时视频转换成某种艺术风格（如梵高风格）。
    • 超分辨率: 将低分辨率视频实时增强为高分辨率。

  • 输出: 输出处理后的视频数据。这个数据可能是原始图像和CNN处理结果（如框、掩码）的叠加。

• LVDS输出模块 (你提供的模块):

  • 输入: 接收来自CNN模块处理后的视频数据。
  • 处理: 将处理后的并行视频数据串行化，转换为LVDS信号。

• 显示设备: 一个液晶屏幕，它接收LVDS信号并显示最终的画面。

这个逻辑流程非常通顺，完全可行。FPGA的并行计算能力非常适合实时处理视频流，而CNN是处理图像/视频的利器。

下面是伪代码：

// 顶层模块 (Top Module)

// -- 信号声明 --
// 1. 从视频源接收的信号
wire video_in_pclk;
wire video_in_vsync;
wire video_in_href;
wire [23:0] video_in_rgb; // 假设是24位RGB输入

// 2. CNN模块与LVDS模块之间的连接信号
wire cnn_out_pclk;      // CNN处理后的像素时钟
wire cnn_out_vsync;     // CNN处理后的场同步
wire cnn_out_href;      // CNN处理后的行同步
wire [23:0] cnn_out_rgb;   // CNN处理后的24位RGB数据

// 3. LVDS模块需要的信号
wire lvds_fclk;         // LVDS需要的快速时钟 (由PLL生成)
wire lvds_reset;        // 复位
// LVDS模块需要7位输入，我们需要将24位RGB拆分
wire [6:0] lvds_din_r; // 用于传输Red分量
wire [6:0] lvds_din_g; // 用于传输Green分量
wire [6:0] lvds_din_b; // 用于传输Blue分量

// 4. 最终输出到物理引脚的LVDS信号
wire lvds_q_r;          // Red通道的串行输出
wire lvds_q_g;          // Green通道的串行输出
wire lvds_q_b;          // Blue通道的串行输出
// (通常还会有1个时钟通道)

// -- 模块例化 --

// 1. PLL模块 (生成时钟)
// 假设输入一个50MHz晶振时钟，生成CNN需要的时钟和LVDS需要的pclk, fclk
pll_module u_pll (
    .clk_in(sys_clk),
    .clk_cnn(cnn_pclk),        // CNN的工作时钟
    .clk_lvds_p(lvds_pclk),    // LVDS的并行时钟
    .clk_lvds_f(lvds_fclk)     // LVDS的快速时钟 (pclk * 7)
);

// 2. CNN模块
cnn_accelerator u_cnn (
    .clk(cnn_pclk),
    .reset(reset),

    // 输入原始视频流
    .din_vsync(video_in_vsync),
    .din_href(video_in_href),
    .din_rgb(video_in_rgb),

    // 输出处理后的视频流
    .dout_vsync(cnn_out_vsync),
    .dout_href(cnn_out_href),
    .dout_rgb(cnn_out_rgb)
);

// 3. 数据位宽转换与拆分 (关键连接部分)
// LVDS模块输入是7位，而CNN输出是24位RGB。我们需要实例化多个LVDS模块，
// 每个负责一个颜色通道(或几个bit)。这里假设每个颜色通道用一个7位LVDS。
assign lvds_din_r = cnn_out_rgb[23:17]; // 取Red分量的高7位
assign lvds_din_g = cnn_out_rgb[15:9];  // 取Green分量的高7位
assign lvds_din_b = cnn_out_rgb[7:1];   // 取Blue分量的高7位

// 4. 例化LVDS输出模块 (需要多个实例)
// -- Red 通道 --
ddio_lvds lvds_red_inst (
  .din(lvds_din_r),
  .fclk(lvds_fclk),
  .pclk(lvds_pclk),
  .reset(reset),
  .q(lvds_q_r)
);

// -- Green 通道 --
ddio_lvds lvds_green_inst (
  .din(lvds_din_g),
  .fclk(lvds_fclk),
  .pclk(lvds_pclk),
  .reset(reset),
  .q(lvds_q_g)
);

// -- Blue 通道 --
ddio_lvds lvds_blue_inst (
  .din(lvds_din_b),
  .fclk(lvds_fclk),
  .pclk(lvds_pclk),
  .reset(reset),
  .q(lvds_q_b)
);

// 通常还需要一个单独的LVDS通道来传输时钟
// ... (lvds_clk_inst)

那么上面说的  MIPI CSI-2接收模块可以用这个实现吗？
module MIPI_CSI2_SOFT (
  I_RSTN,
  I_BYTE_CLK,
  I_REF_DT,
  I_READY,
  I_DATA0,
  O_SP_EN,
  O_LP_EN,
  O_LP_AV_EN,
  O_ECC_OK,
  O_ECC,
  O_WC,
  O_VC,
  O_DT,
  O_PAYLOAD,
  O_PAYLOAD_DV
)
;
input I_RSTN;
input I_BYTE_CLK;
input [5:0] I_REF_DT;
input I_READY;
input [7:0] I_DATA0;
output O_SP_EN;
output O_LP_EN;
output O_LP_AV_EN;
output O_ECC_OK;
output [7:0] O_ECC;
output [15:0] O_WC;
output [1:0] O_VC;
output [5:0] O_DT;
output [7:0] O_PAYLOAD;
output [0:0] O_PAYLOAD_DV;
wire VCC;
wire GND;
  \~DSI_CSI2_RX.MIPI_CSI2_SOFT  u_dsi_csi2 (
    .I_BYTE_CLK(I_BYTE_CLK),
    .I_READY(I_READY),
    .I_RSTN(I_RSTN),
    .I_DATA0(I_DATA0[7:0]),
    .I_REF_DT(I_REF_DT[5:0]),
    .O_LP_AV_EN(O_LP_AV_EN),
    .O_SP_EN(O_SP_EN),
    .O_LP_EN(O_LP_EN),
    .O_ECC_OK(O_ECC_OK),
    .O_PAYLOAD_DV(O_PAYLOAD_DV[0]),
    .O_PAYLOAD(O_PAYLOAD[7:0]),
    .O_ECC(O_ECC[7:0]),
    .O_WC(O_WC[15:0]),
    .O_VC(O_VC[1:0]),
    .O_DT(O_DT[5:0])
);
  VCC VCC_cZ (
    .V(VCC)
);
  GND GND_cZ (
    .G(GND)
);
  GSR GSR (
    .GSRI(VCC) 
);
endmodule /* MIPI_CSI2_SOFT */

这个模块 MIPI_CSI2_SOFT 是一个MIPI CSI-2协议解码器（Protocol Decoder）。

它的核心功能是接收来自物理层（PHY）的、已经解串（Deserialized）后的字节流，并根据CSI-2协议规范，解析出数据包的各个组成部分。

我们来看它的输入和输出信号，就能清晰地理解其功能：

输入信号分析:

• I_BYTE_CLK: 字节时钟 (Byte Clock)。这是从物理层恢复出的时钟，每个时钟周期对应一个字节的数据。它的频率通常是 MIPI D-PHY 通道速率的1/8。
• I_DATA0: 8位并行数据 (Parallel Data)。这是从高速串行差分信号解串后得到的8位数据流。这是最核心的数据输入。
• I_RSTN: 复位信号。
• I_READY: PHY就绪信号。当物理层完成初始化并准备好输出稳定数据时，这个信号会拉高。
• I_REF_DT: 参考数据类型 (Reference Data Type)。这个信号可能用于配置模块，告诉它要特别关注或过滤哪种类型的数据包。

输出信号分析:

这些输出完美地对应了MIPI CSI-2协议中定义的数据包结构。

• 包头信息 (Packet Header):

  • O_DT [5:0]: 数据类型 (Data Type)。这是解析出的包头中的核心信息，它告诉下游模块这个包里装的是什么内容。例如：

    • 0x2A: YUV422 8-bit 数据
    • 0x2B: RAW8 数据
    • 0x2C: RAW10 数据
    • 0x01: 帧起始码 (Frame Start)
    • 0x03: 行起始码 (Line Start)

  • O_WC [15:0]: 字数统计 (Word Count)。表示这个数据包的载荷（Payload）部分有多少个字节。

  • O_VC [1:0]: 虚拟通道 (Virtual Channel)。用于区分来自不同数据流的数据，比如一个摄像头可能有主码流和次码流。

• 载荷信息 (Payload):

  • O_PAYLOAD [7:0]: 有效载荷数据。这就是我们真正关心的像素数据。
  • O_PAYLOAD_DV: 载荷数据有效 (Payload Data Valid)。当 O_PAYLOAD 上是有效的像素数据时，这个信号会拉高。

• 包尾信息 (Packet Footer):

  • O_ECC [7:0]: 错误校验码 (Error Correction Code)。这是从包头解析出的ECC码，用于校验包头在传输过程中是否出错。
  • O_ECC_OK: ECC校验成功标志。如果内部计算出的ECC与接收到的ECC一致，此信号为高。

• 协议状态信息:

  • O_SP_EN: 短包有效 (Short Packet Enable)。表示当前正在接收一个短包（如帧起始/结束、行起始/结束等同步包）。
  • O_LP_EN: 长包有效 (Long Packet Enable)。表示当前正在接收一个长包（通常是图像数据包）。
  • O_LP_AV_EN: 长包载荷有效 (Long Packet Payload Available Enable)。表示当前正在接收长包中的像素数据部分。

  结论：这个 MIPI_CSI2_SOFT 模块是一个纯数字逻辑模块，它不处理高速的模拟差分信号，而是 工作在协议层。它接收解串后的字节流，并将其“翻译”成结构化的信息：这是什么类型的包？数据有多长？像素数据在哪里？

它在整个MIPI CSI-2接收链路中的位置

一个完整的MIPI CSI-2接收器通常包含两个主要部分：物理层（PHY）和协议层（Controller）。

[摄像头] -> [MIPI D-PHY (物理层)] -> [MIPI CSI-2 Controller (协议层)] -> [后续处理逻辑]

• MIPI D-PHY (物理层)：

  • 这是FPGA内部的专用硬件模块**（硬核IP）。**
  • 它负责处理高速的、低压差分信号。
  • 功能包括：将差分信号转为单端信号、时钟数据恢复（CDR）、解串（Deserializer，将1位串行转为8位并行）。
  • 它的输出，就是 MIPI_CSI2_SOFT 模块的输入 (I_BYTE_CLK, I_DATA0 等)。

• MIPI CSI-2 Controller (协议层)：

  • 你提供的 MIPI_CSI2_SOFT 模块扮演的就是这个角色！
  • 它接收来自PHY的并行数据，并进行协议解析。

所以，要实现一个完整的MIPI CSI-2接收模块，你需要：
例化一个D-PHY硬核IP，并将其输出连接到你这个 MIPI_CSI2_SOFT 模块的输入上。

如何与CNN模块连接？

现在我们拥有了完整的输入链路，可以将其与CNN模块连接起来了。

[摄像头] -> [D-PHY] -> [MIPI_CSI2_SOFT] -> [像素重组/格式转换] -> [CNN模块]

// 顶层模块

// -- 信号声明 --
// 1. D-PHY 的输出 / MIPI_CSI2_SOFT 的输入
wire byte_clk;
wire [7:0] data0;
wire phy_ready;

// 2. MIPI_CSI2_SOFT 的输出
wire [5:0] packet_dt;
wire [7:0] payload_data;
wire       payload_dv;
// (其他输出信号，如vsync, href需要从短包中生成)

// 3. 像素重组模块的输出 / CNN模块的输入
wire cnn_pclk;      // 提供给CNN的像素时钟
wire cnn_vsync;     // 提供给CNN的场同步
wire cnn_href;      // 提供给CNN的行同步
wire [7:0] cnn_din; // 提供给CNN的像素数据 (假设是8位灰度图)


// -- 模块例化 --

// 1. 例化 D-PHY 硬核IP (伪代码)
//    这通常通过FPGA厂商的IP配置工具生成
MIPI_DPHY_RX_IP u_dphy (
    .clk_hs(camera_clk_p, camera_clk_n), // 摄像头输入的差分时钟
    .data_hs(camera_data_p, camera_data_n), // 摄像头输入的差分数据
    .byte_clk(byte_clk),   // 输出字节时钟
    .data_out(data0),      // 输出8位并行数据
    .phy_ready(phy_ready)  // 输出PHY就绪信号
);


// 2. 例化你的 MIPI_CSI2_SOFT 协议解码器
MIPI_CSI2_SOFT u_csi2_decoder (
  .I_RSTN(rstn),
  .I_BYTE_CLK(byte_clk),
  .I_READY(phy_ready),
  .I_DATA0(data0),
  // ... 其他输入
  .O_DT(packet_dt),
  .O_PAYLOAD(payload_data),
  .O_PAYLOAD_DV(payload_dv),
  // ... 其他输出
);


// 3. **关键：例化一个 "像素重组与同步生成" 模块 (你需要自己编写！)**
//    这个模块是连接解码器和CNN的桥梁。
Pixel_Reconstructor u_pixel_reconstructor (
    .clk(byte_clk), // 使用字节时钟作为处理时钟
    .rstn(rstn),

    // 输入来自解码器的信息
    .packet_dt(packet_dt),
    .payload_data(payload_data),
    .payload_dv(payload_dv),

    // 输出标准的视频流接口
    .pclk(cnn_pclk),     // 输出像素时钟
    .vsync(cnn_vsync),   // 输出场同步
    .href(cnn_href),     // 输出行同步
    .pixel_data(cnn_din) // 输出像素数据
);


// 4. 例化 CNN 模块
cnn_accelerator u_cnn (
    .clk(cnn_pclk),
    .reset(~rstn),

    // 输入来自像素重组模块的视频流
    .din_vsync(cnn_vsync),
    .din_href(cnn_href),
    .din_pixel(cnn_din),
    
    // ... CNN的输出
);

所以：需要编写的 Pixel_Reconstructor 模块的功能：

• 输入: 接收 MIPI_CSI2_SOFT 解码后的零散信息（数据类型、像素字节、有效标志）。

• 处理:

  • 同步信号生成: 监视 packet_dt。当检测到帧起始码时，拉高 vsync；检测到帧结束码时，拉低 vsync。同理，根据行起始/结束码生成 href。
  • 像素数据打包: 监视 payload_dv。当 payload_dv 为高时，将 payload_data 锁存起来。根据 packet_dt 知道这是什么格式（如RAW8, RAW10, YUV等），如果需要，进行格式转换或字节合并。
  • 时钟生成: cnn_pclk 可以直接使用 byte_clk（如果一个像素就是一个字节），或者根据需要进行分频。

• 输出: 生成一个标准的、连续的、带有 vsync 和 href 同步信号的视频流，这正是下游任何视频处理模块（如CNN）所期望的输入格式。

总之，在后续的实践中，将继续加深对mipi相关模块的理解，并尝试完成这个模块直接的拼接。最后附上一个文件，如果有需要，可以自行取悦：
*附件：02-2_SC2210_DDR3_LVDS_1024600.xlsx