【正点原子FPGA连载】第二十五章OV5640摄像头灰度图显示实验-领航者ZYNQ之嵌入式开发教程

1）实验平台：正点原子领航者ZYNQ开发板
2）平台购买地址：https://item.taobao.com/item.htm?&id=606160108761
3）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/FPGA/zdyz_linhanz.html
4）对正点原子FPGA感兴趣的同学可以加群讨论：876744900
5）关注正点原子公众号，获取最新资料



图 25.1.1 单个V444的素

（2）YUV4:2:2
在YUV4:2:2格式中，U和V的采样率是Y的一半（两个相邻的像素共用一对U、V数据）。如下图所示，图中包含两个相邻的像素。第一个像素的三个YUV分量分别是Y1、U1、V1，第二个像素的三个YUV分量分别是Y2、U1、V1，两个像素共用一组U1、V1。

图 25.1.2 两个相邻的YUV422像素

YUV4:4:4格式和YUV4:2:2格式的数据流也是不同的。如一组连续的四个像素P1、P2、P3、P4，采用YUV444的采样格式时，数据流为Y0 U0 V0、Y1 U1 V1、Y2 U2 V2、Y3 U3 V3，每组数据代表一个像素点。而用YUV422的采样格式时，数据流为Y0 U0 Y1 V1、Y2 U2 Y3 V3。其中，Y0 U0 Y1 V1表示P1、P2两个像素，Y2 U2 Y3 V3表示P3、P4两个像素。
一般意义上 YCbCr 即为 YUV 信号，没有严格的划分。我们通常说的YUV就是指YCbCr。 CbCr 分别为蓝色色度分量、红色色度分量。下面为 RGB 与 YCbCr 色彩空间转换的算法公式， RGB 转 YCbCr 的公式如下所示：

图 25.1.3 RGB 转 YcbCr算法

由于 Verilog HDL 无法进行浮点运算，因此使用扩大 256 倍，再向右移 8Bit的方式，来转换公式，（0.083=00010101） 如下所示：

图 25.1.4 RGB 转 YcbCr算法

为了防止运算过程中出现负数，我们对上述公式进行进一步变换，得到如下公式：

图 25.1.5 RGB 转 YcbCr算法

实际上OV5640本身支持输出RGB、YUV格式的数据，本章节实验是着重于实RGB转YUV的HDL算法实现，因此我们把摄像头设置为RGB565格式。当我们需要显示器显示灰度图时，我们只需要将转换后的Y值作为R、G、B三原色通道的输入就可以实现了。
25.2实验任务
本节实验任务是使用启明星开发板及OV5640摄像头采集RGB565格式的数据，并通过算法转换，将RGB格式的图像数据转换为YCbCr格式，然后通过LCD实时显示灰度图。
25.3硬件设计
图 25.3.1是根据本章实验任务画出的系统框图。对比OV5640摄像头LCD显示实验，本实验中仅添加了RGB转Ycbcr模块，该模块用于将摄像头采集到的RGB数据转换成YCbCr格式数。
OV5640摄像头LCD显示灰度图系统框图如下图所示：

图 25.3.1 OV5640摄像头LCD显示灰度图系统框图

如下图 25.3.2我们给出了rgb2ycbcr的ip核以及其接口的连线图：

图 25.3.2 rgb2ycbcr模块连接图

有关其他各个模块的功能可以参考“OV5640摄像头LCD显示实验”的相关描述，在本实验中我们将对rgb2ycbcr模块的功能进行描述。摄像头采集模块输出24为RGB数据经“rgb2ycbcr”模块转换，输出24位的Ycbcr数据。
RGB转Ycbcr模块的代码如下：

• 1 module rgb2ycbcr
• 2 (
• 3 //module clock
• 4 input clk , // 模块驱动时钟
• 5 input rst_n , // 复位信号
• 6
• 7 //图像处理前的数据接口
• 8 input rgb_vsync , // vsync信号
• 9 input rgb_clken , // 时钟使能信号
• 10 input rgb_valid , // 数据有效信号
• 11 input [23:0] rgb_data , // 输入图像数据RGB
• 12
• 13
• 14 //图像处理后的数据接口
• 15 output ycbcb_vsync , // vsync信号
• 16 output ycbcbr_clken , // 时钟使能信号
• 17 output ycbcr_valid , // 数据有效信号
• 18 output [23:0] gray_data // 输出图像Y数据
• 19
• 20 );
• 21
• 22 //reg define
• 23 reg [15:0] rgb_r_m0, rgb_r_m1, rgb_r_m2;
• 24 reg [15:0] rgb_g_m0, rgb_g_m1, rgb_g_m2;
• 25 reg [15:0] rgb_b_m0, rgb_b_m1, rgb_b_m2;
• 26 reg [15:0] img_y0 ;
• 27 reg [15:0] img_cb0;
• 28 reg [15:0] img_cr0;
• 29 reg [ 7:0] img_y1 ;
• 30 reg [ 7:0] img_cb1;
• 31 reg [ 7:0] img_cr1;
• 32 reg [ 2:0] rgb_vsync_d;
• 33 reg [ 2:0] rgb_clken_d;
• 34 reg [ 2:0] rgb_valid_d ;
• 35
• 36 //wire define
• 37 wire [ 7:0] rgb888_r;
• 38 wire [ 7:0] rgb888_g;
• 39 wire [ 7:0] rgb888_b;
• 40 wire [ 7:0] img_y;
• 41 wire [ 7:0] img_cb;
• 42 wire [ 7:0] img_cr;
• 43
• 44 //*****************************************************
• 45 //** main code
• 46 //*****************************************************
• 47
• 48 //RGB565 to RGB 888
• 49 assign rgb888_r = rgb_data[23:16];
• 50 assign rgb888_g = rgb_data[15:8];
• 51 assign rgb888_b = rgb_data[7:0] ;
• 52 //同步输出数据接口信号
• 53 assign ycbcb_vsync = rgb_vsync_d[2] ;
• 54 assign ycbcbr_clken = rgb_clken_d[2] ;
• 55 assign ycbcr_valid = rgb_valid_d[2] ;
• 56 assign img_y = ycbcbr_clken ? img_y1 : 8'd0;
• 57 assign img_cb = ycbcbr_clken ? img_cb1: 8'd0;
• 58 assign img_cr = ycbcbr_clken ? img_cr1: 8'd0;
• 59 assign gray_data = {img_y,img_y,img_y};
• 60 //--------------------------------------------
• 61 //RGB 888 to YCbCr
• 62
• 63 /********************************************************
• 64 RGB888 to YCbCr
• 65 Y = 0.299R +0.587G + 0.114B
• 66 Cb = 0.568(B-Y) + 128 = -0.172R-0.339G + 0.511B + 128
• 67 CR = 0.713(R-Y) + 128 = 0.511R-0.428G -0.083B + 128
• 68
• 69 Y = (77 *R + 150*G + 29 *B)>>8
• 70 Cb = (-43*R - 85 *G + 128*B)>>8 + 128
• 71 Cr = (128*R - 107*G - 21 *B)>>8 + 128
• 72
• 73 Y = (77 *R + 150*G + 29 *B )>>8
• 74 Cb = (-43*R - 85 *G + 128*B + 32768)>>8
• 75 Cr = (128*R - 107*G - 21 *B + 32768)>>8
• 76 *********************************************************/
• 77
• 78 //step1 计算括号内的各乘法项
• 79 always @(posedge clk or negedge rst_n) begin
• 80 if(!rst_n) begin
• 81 rgb_r_m0 <= 16'd0;
• 82 rgb_r_m1 <= 16'd0;
• 83 rgb_r_m2 <= 16'd0;
• 84 rgb_g_m0 <= 16'd0;
• 85 rgb_g_m1 <= 16'd0;
• 86 rgb_g_m2 <= 16'd0;
• 87 rgb_b_m0 <= 16'd0;
• 88 rgb_b_m1 <= 16'd0;
• 89 rgb_b_m2 <= 16'd0;
• 90 end
• 91 else begin
• 92 rgb_r_m0 <= rgb888_r * 8'd77 ;
• 93 rgb_r_m1 <= rgb888_r * 8'd43 ;
• 94 rgb_r_m2 <= rgb888_r * 8'd128;
• 95 rgb_g_m0 <= rgb888_g * 8'd150;
• 96 rgb_g_m1 <= rgb888_g * 8'd85 ;
• 97 rgb_g_m2 <= rgb888_g * 8'd107;
• 98 rgb_b_m0 <= rgb888_b * 8'd29 ;
• 99 rgb_b_m1 <= rgb888_b * 8'd128;
• 100 rgb_b_m2 <= rgb888_b * 8'd21 ;
• 101 end
• 102 end
• 103
• 104 //step2 括号内各项相加
• 105 always @(posedge clk or negedge rst_n) begin
• 106 if(!rst_n) begin
• 107 img_y0 <= 16'd0;
• 108 img_cb0 <= 16'd0;
• 109 img_cr0 <= 16'd0;
• 110 end
• 111 else begin
• 112 img_y0 <= rgb_r_m0 + rgb_g_m0 + rgb_b_m0;
• 113 img_cb0 <= rgb_b_m1 - rgb_r_m1 - rgb_g_m1 + 16'd32768;
• 114 img_cr0 <= rgb_r_m2 - rgb_g_m2 - rgb_b_m2 + 16'd32768;
• 115 end
• 116
• 117 end
• 118
• 119 //step3 括号内计算的数据右移8位
• 120 always @(posedge clk or negedge rst_n) begin
• 121 if(!rst_n) begin
• 122 img_y1 <= 8'd0;
• 123 img_cb1 <= 8'd0;
• 124 img_cr1 <= 8'd0;
• 125 end
• 126 else begin
• 127 img_y1 <= img_y0 [15:8];
• 128 img_cb1 <= img_cb0[15:8];
• 129 img_cr1 <= img_cr0[15:8];
• 130 end
• 131 end
• 132
• 133 //延时3拍以同步数据信号
• 134 always@(posedge clk or negedge rst_n) begin
• 135 if(!rst_n) begin
• 136 rgb_vsync_d <= 3'd0;
• 137 rgb_clken_d <= 3'd0;
• 138 rgb_valid_d <= 3'd0;
• 139 end
• 140 else begin
• 141 rgb_vsync_d <= {rgb_vsync_d[1:0], rgb_vsync};
• 142 rgb_clken_d <= {rgb_clken_d[1:0], rgb_clken};
• 143 rgb_valid_d <= {rgb_valid_d[1:0], rgb_valid};
• 144 end
• 145 end
• 146
• 147 endmodule
  

在RGB转成Ycbcr格式的算法换算过程中，我们需要提取RGB信号的红绿蓝分量，我们只需取24位RGB数据的高8位、中8位和低8位我作为红绿蓝三原色分量就可以了，如代码第48之51行所示；下面就是进行RGB转YCbCr算法的HDL实现：第一步，先计算出算法公式中括号里每一个乘法的乘积，如代码第78至102行所示；第二步，计算出Y、Cb、Cr括号内的值，代码104至117行；第三步，右移 8Bit，由于 Step2 计算结果为 16Bit， 因此直接提取高8位 即可，代码如119至131行所示。下图为RGB转YUV的算法公式：

图 25.3.3 RGB转YUV算法公式

实际上从第一步到第三步的运算， 均直接通过寄存器描述，没有顾虑时序问题。但在实际电路中会有一个数据流上的先后顺序，这三步操作同时对连续数据进行处理，通过这种方式实现硬件加速的方法称为流水线设计。前面计算出 Y、cb、 cr 我们消耗了step1、step2、step3这三个时钟， 因此需要将输入的场信号、时钟使能信号和数据有效信号同步移动 3 个时钟，如代码第134值145行。
根据实验任务，我们需要输出的是灰度数据，因此我们需要用计算得到的灰度Y来作为图像cb、cr分量，如代码第59行所示：
59 assign gray_data = {img_y,img_y,img_y};
我们在设计完代码后，需要将设计好的代码封装成IP核，以便于后续设计，有关IP核的封装请参考第十七章“IP核封装与接口定义”实验。
连线后的 Block Design 如下图所示：

图 25.3.4 Block Design整体示意图

接下来验证当前设计。验证完成后弹出对话框提示没有错误或者关键警告，点击“OK”。如果验证结果
报出错误或者警告，则需要重新检查设计。
为工程添加的约束文件与“OV5640 摄像头 LCD 显示”完全相同，有关这一部分内容请读者参考“OV5640 摄像头 LCD 显示”实验。
最后在左侧 Flow Navigator 导航栏中找到 PROGRAM AND DEBUG，点击该选项中的“ Generate
Bitstream”，对设计进行综合、实现、并生成 Bitstream 文件。在生成 Bitstream 之后，在菜单栏中选择 File > Export > Export hardware 导出硬件， 并在弹出的对话框中，勾选“Include bitstream”。然后在菜单栏选择 File > Launch SDK， 启动 SDK 软件。
25.4软件设计
本实验软件设计与OV5640摄像头LCD显示实验像是完全相同，在本章节就不再赘述，有需要的小伙伴可以参考OV5640摄像头LCD显示实验软件设计部分。
25.5下载验证
编译完工程之后我们就可以开始下载程序了。将 OV5640 摄像头模块插在启明星Zynq开发板的“OLED/CAMERA”插座上，并将 LCD 的排线接头插入开发板上的 LCD 接线座。将下载器一端连电脑，
另一端与开发板上的 JTAG 端口连接，连接电源线并打开电源开关。
在 SDK 软件下方的 SDK Terminal 窗口中点击右上角的加号设置并连接串口。然后下载本次实验硬件
设计过程中所生成的 BIT 文件，来对 PL 进行配置。最后下载软件程序，下载完成后， 在下方的 SDK Terminal中可以看到应用程序打印的信息，如下图所示：

图 25.5.1 串口打印信息窗口

同时， RGB LCD 液晶屏上显示出 OV5640 摄像头采集的图像的灰度图，说明本次 OV5640 摄像头 LCD 屏显示的实验在启明星 ZYQN 开发板上验证成功，如下图所示：

图 25.5.2 LCD屏显示结果