发 帖  
原厂入驻New
[资料] 正点原子开拓者FPGA开发板资料连载第五十四章OV5640 摄像头显示实验
2020-8-29 15:22:48  2 FPGA技术
分享
1)实验平台:正点原子开拓者FPGA 开发板
2)摘自《开拓者FPGA开发指南》关注官方微信号公众号,获取更多资料:正点原子
3)全套实验源码+手册+视频下载地址:http://www.openedv.com/thread-13912-1-1.html


第五十三章 OV5640 摄像头灰度图 VGA 显示实验
前面的实验我们介绍了OV5640摄像头的VGA显示实验,而在数字图像处理领域YUV是一种很
常用的图像格式,其特点是将亮度和色度进行分离。在本章实验中,我们将进行RGB565到YUV
的颜色空间转换,并通过VGA显示摄像头采集到的图像的灰度图的实验。
本章包括以下几个部分:
53.1 YUV 简介
53.2 实验任务
53.3 硬件设计
53.4 程序设计
53.5 下载验证
YUV 简介
人眼中的锥状细胞是负责彩色视觉的传感器,可分为三个主要的感知类别,分别对应红色、
绿色、蓝色,我们人眼看到的彩色实际上是红、绿、蓝三原色的各种组合。前面我们用到的RGB
就是以红、绿、蓝为三原色的颜色空间模型,通过对红(R)、绿(G)、蓝(B)三个颜色通道的变
化以及它们相互之间的叠加来得到各式各样的颜色的,这个标准几乎包括了人类视力所能感知
的所有颜色,是目前运用最广的颜色系统之一。
YUV(YCbCr)是欧洲电视系统所采用的一种颜色编码方法。‘Y’表示明亮度(Luminance
或Luma),也就是灰阶值;‘U’和‘V’表示色度,用于描述影像的饱和度和色调。RGB与YUV
的转换实际上是色彩空间的转换,即将RGB的三原色色彩空间转换为YUV所表示的亮度与色度的
色彩空间模型。YUV 主要应用在模拟系统中,而 YCbCr 是通过 YUV 信号的发展,并通过校正
的主要应用在数字视频中的一种编码方法。YUV适用于PAL和SECAM彩色电视制式,而YCrCb适用
计算机用的显示器
RGB着重于人眼对色彩的感应,YUV则着重于视觉对于亮度的敏感程度。使用YUV描述图像
的好处在于,(1)亮度(Y)与色度(U、V)是独立的;(2)人眼能够识别数千种不同的色
彩,但只能识别20多种灰阶值,采用YUV标准可以降低数字彩色图像所需的储存容量。因而YUV
在数字图像处理中是一种很常用的颜色标准。
YUV 信号的提出,是因为国际上出现彩色电视,为了兼容黑白电视的信号而设计的,在视
频码率,压缩,兼容性等方面有很大优势。一般意义上 YCbCr即为 YUV信号,没有严格的划
分。CbCr 分别为蓝色色度分量、红色色度分量。其主要采样格式有YCbCr4:2:2、YCbCr4:2:0、
YCbCr4:4:4、YCbCr4:1:1。下面将介绍这四种采样格式。
(1)YCbCr4:4:4:
YUV三个信道的抽样率相同,因此在生成的图像里,每个象素的三个分量信息完整(每个
分量通常8比特),经过8比特量化之后,未经压缩的每个像素占用3个字节。
下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 v2] [Y3 U3 V3]
存放的码流为: Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3


图 53.1.1 YUV444像素格式
根据存储顺序不同,YUV444又分为以下两种形式:



图 53.1.2 两种不同格式的YUV444像素
(2)YCbCr4:2:2:
每个色差信道的抽样率是亮度信道的一半,所以水平方向的色度抽样率只是4:4:4的一半。
对非压缩的8比特量化的图像来说,每个由两个水平方向相邻的像素组成的宏像素需要占用4字
节内存。
下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为: Y0 U0 Y1 V1 Y2 U2 Y3 V3
映射出像素点为:[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]


图 53.1.3 yuv422像素格式
同样,根据存储顺序,YUV422可以分为六种不同格式:



图 53.1.4 六种不同的YUV422格式
(3)YCbCr4:2:0
4:2:0并不意味着只有Y,Cb而没有Cr分量。它指得是对每行扫描线来说,只有一种色度分
量以2:1的抽样率存储。相邻的扫描行存储不同的色度分量,也就是说,如果一行是4:2:0的话,
下一行就是4:0:2,再下一行是4:2:0...以此类推。对每个色度分量来说,水平方向和竖直方
向的抽样率都是2:1,所以可以说色度的抽样率是4:1。对非压缩的8比特量化的视频来说,每
个由2x2个2行2列相邻的像素组成的宏像素需要占用6字节内存。
下面八个像素为:[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3][Y5 U5 V5] [Y6 U6
V6] [Y7U7 V7] [Y8 U8 V8]
存放的码流为:Y0 U0 Y1 Y2 U2 Y3Y5 V5 Y6 Y7 V7 Y8
映射出的像素点为:[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7][Y5 U0 V5] [Y6 U0
V5] [Y7U2 V7] [Y8 U2 V7]
(4)YCbCr4:1:1:
4:1:1的色度抽样,是在水平方向上对色度进行4:1抽样。对于低端用户和消费类产品这仍
然是可以接受的。对非压缩的8比特量化的视频来说,每个由4个水平方向相邻的像素组成的宏
像素需要占用6字节内存。
下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为: Y0 U0 Y1 Y2 V2 Y3
映射出像素点为:[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]
下面为 RGB 与 YCbCr 色彩空间转换的算法公式, RGB 转 YCbCr 的公式如下所示:



图 53.1.5 RGB 转 YcbCr算法
由于 Verilog HDL 无法进行浮点运算,因此使用扩大 256 倍,再向右移 8Bit的方式,
来转换公式,如下所示:



图 53.1.6 RGB 转 YcbCr算法
为了防止运算过程中出现负数,我们对上述公式进行进一步变换,得到如下公式:



图 53.1.7 RGB 转 YcbCr算法
实际上OV5640本身支持输出RGB、YUV格式的数据,本章节实验是着重于实RGB转YUV的HDL
算法实现,因此我们把摄像头设置为RGB565格式。当我们需要显示器显示灰度图时,我们只需
要将转换后的Y值作为R、G、B三原色通道的输入就可以实现了。
实验任务
本节实验任务是使用开拓者开发板及OV5640摄像头采集RGB565格式的数据,并通过算法转
换,将RGB565格式转换为YCbCr格式,然后通过VGA显示器实时显示灰度图。
硬件设计
本章节中硬件设计与OV5640的VGA显示实验完全相同,在此就不在赘述。
程序设计
下图是根据本章实验任务画出的系统框图。对比OV5640摄像头VGA显示实验,本实验中添
加了rgb2ycbcr模块,该模块用于将摄像头采集到的RGB565数据转换成YCbCr格式数据,并将转
换后的数据写入SDRAM。
OV5640摄像头VGA显示灰度图系统框图如下图所示:



图 53.4.1 OV5640摄像头VGA显示灰度图系统框图
顶层模块原理图如下图所示:


图 53.4.2 rgb2yuv模块原理图
有关各个模块的功能可以参考“OV5640摄像头VGA显示实验”的相关描述,在本实验中我
们添加了rgb2ycbcr模块,在这里我们将对rgb2ycbcr模块的功能进行描述。
rgb2ycbcr模块的原理图如下:


图 53.4.3 rgb2ycbcr模块原理图
在该模块以摄像头采集的16位RGB565红、绿、蓝三原色数据作为输入数据,通过算法实现
RGB到YCbCr的转换,并输出三路8位数据和数据输出使能信号。
有关于摄像头、SDRAM的配置,VGA的驱动在前面的章节以有过介绍,本章节我们着重介绍
RGB转YUV的算法模块。
RGB转YUV模块的代码如下:
1 module rgb2ycbcr
2 (
3 //module clock
4 input clk , // 模块驱动时钟
5 input rst_n , // 复位信号
6
7 //图像处理前的数据接口
8 input pre_frame_vsync , // vsync信号
9 input pre_frame_hsync , // hsync信号
10 input pre_frame_de , // data enable信号
11 input [4:0] img_red , // 输入图像数据R
12 input [5:0] img_green , // 输入图像数据G
13 input [4:0] img_blue , // 输入图像数据B
14
15 //图像处理后的数据接口
16 output post_frame_vsync, // vsync信号
17 output post_frame_hsync, // hsync信号
18 output post_frame_de , // data enable信号
19 output [7:0] img_y, // 输出图像Y数据
20 output [7:0] img_cb,
21 output [7:0] img_cr
22 );
23
24 //reg define
25 reg [15:0] rgb_r_m0, rgb_r_m1, rgb_r_m2;
26 reg [15:0] rgb_g_m0, rgb_g_m1, rgb_g_m2;
27 reg [15:0] rgb_b_m0, rgb_b_m1, rgb_b_m2;
28 reg [15:0] img_y0 ;
29 reg [15:0] img_cb0;
30 reg [15:0] img_cr0;
31 reg [ 7:0] img_y1 ;
32 reg [ 7:0] img_cb1;
33 reg [ 7:0] img_cr1;
34 reg [ 2:0] pre_frame_vsync_d;
35 reg [ 2:0] pre_frame_hsync_d;
36 reg [ 2:0] pre_frame_de_d ;
37
38 //wire define
39 wire [ 7:0] rgb888_r;
40 wire [ 7:0] rgb888_g;
41 wire [ 7:0] rgb888_b;
42
43 //*****************************************************
44 //** main code
45 //*****************************************************
46
47 //RGB565 to RGB 888
48 assign rgb888_r = {img_red , img_red[4:2] };
49 assign rgb888_g = {img_green, img_green[5:4]};
50 assign rgb888_b = {img_blue , img_blue[4:2] };
51 //同步输出数据接口信号
52 assign post_frame_vsync = pre_frame_vsync_d[2] ;
53 assign post_frame_hsync = pre_frame_hsync_d[2] ;
54 assign post_frame_de = pre_frame_de_d[2] ;
55 assign img_y = post_frame_hsync ? img_y1 : 8'd0;
56 assign img_cb = post_frame_hsync ? img_cb1: 8'd0;
57 assign img_cr = post_frame_hsync ? img_cr1: 8'd0;
58
59 //--------------------------------------------
60 //RGB 888 to YCbCr
61
62 /********************************************************
63 RGB888 to YCbCr
64 Y = 0.299R +0.587G + 0.114B
65 Cb = 0.568(B-Y) + 128 = -0.172R-0.339G + 0.511B + 128
66 CR = 0.713(R-Y) + 128 = 0.511R-0.428G -0.083B + 128
67
68 Y = (77 *R + 150*G + 29 *B)>>8
69 Cb = (-43*R - 85 *G + 128*B)>>8 + 128
70 Cr = (128*R - 107*G - 21 *B)>>8 + 128
71
72 Y = (77 *R + 150*G + 29 *B )>>8
73 Cb = (-43*R - 85 *G + 128*B + 32768)>>8
74 Cr = (128*R - 107*G - 21 *B + 32768)>>8
75 *********************************************************/
76
77 //step1 计算括号内的各乘法项
78 always @(posedge clk or negedge rst_n) begin
79 IF(!rst_n) begin
80 rgb_r_m0 <= 16'd0;
81 rgb_r_m1 <= 16'd0;
82 rgb_r_m2 <= 16'd0;
83 rgb_g_m0 <= 16'd0;
84 rgb_g_m1 <= 16'd0;
85 rgb_g_m2 <= 16'd0;
86 rgb_b_m0 <= 16'd0;
87 rgb_b_m1 <= 16'd0;
88 rgb_b_m2 <= 16'd0;
89 end
90 else begin
91 rgb_r_m0 <= rgb888_r * 8'd77 ;
92 rgb_r_m1 <= rgb888_r * 8'd43 ;
93 rgb_r_m2 <= rgb888_r * 8'd128;
94 rgb_g_m0 <= rgb888_g * 8'd150;
95 rgb_g_m1 <= rgb888_g * 8'd85 ;
96 rgb_g_m2 <= rgb888_g * 8'd107;
97 rgb_b_m0 <= rgb888_b * 8'd29 ;
98 rgb_b_m1 <= rgb888_b * 8'd128;
99 rgb_b_m2 <= rgb888_b * 8'd21 ;
100 end
101 end
102
103 //step2 括号内各项相加
104 always @(posedge clk or negedge rst_n) begin
105 if(!rst_n) begin
106 img_y0 <= 16'd0;
107 img_cb0 <= 16'd0;
108 img_cr0 <= 16'd0;
109 end
110 else begin
111 img_y0 <= rgb_r_m0 + rgb_g_m0 + rgb_b_m0;
112 img_cb0 <= rgb_b_m1 - rgb_r_m1 - rgb_g_m1 + 16'd32768;
113 img_cr0 <= rgb_r_m2 - rgb_g_m2 - rgb_b_m2 + 16'd32768;
114 end
115
116 end
117
118 //step3 括号内计算的数据右移8位
119 always @(posedge clk or negedge rst_n) begin
120 if(!rst_n) begin
121 img_y1 <= 8'd0;
122 img_cb1 <= 8'd0;
123 img_cr1 <= 8'd0;
124 end
125 else begin
126 img_y1 <= img_y0 [15:8];
127 img_cb1 <= img_cb0[15:8];
128 img_cr1 <= img_cr0[15:8];
129 end
130 end
131
132 //延时3拍以同步数据信号
133 always@(posedge clk or negedge rst_n) begin
134 if(!rst_n) begin
135 pre_frame_vsync_d <= 3'd0;
136 pre_frame_hsync_d <= 3'd0;
137 pre_frame_de_d <= 3'd0;
138 end
139 else begin
140 pre_frame_vsync_d <= {pre_frame_vsync_d[1:0], pre_frame_vsync};
141 pre_frame_hsync_d <= {pre_frame_hsync_d[1:0], pre_frame_hsync};
142 pre_frame_de_d <= {pre_frame_de_d[1:0] , pre_frame_de };
143 end
144 end
145
146 endmodule
在RGB转成YUV格式的算法换算过程中数据都是以8位的数据进行的,因而我们需要将
RGB565格式的数据转换成RGB888的格式,如代码第47之50行所示,此处采用的是高位补充地位
的方法。转换后就是进行RGB565转YCbCr算法的HDL实现:第一步,先计算出前面公式中括号里
每一个乘法的乘积,如代码第77至101行所示;第二步,计算出Y、Cb、Cr括号内的值,代码103
至116行;第三步,右移 8Bit,由于 Step2 计算结果为 16Bit, 因此直接提取高8位 即可,
代码如118至130行所示。
实际上从第一步到第三步的运算, 均直接通过寄存器描述,没有顾虑行场有效时序等。
但在实际电路中会有一个数据流上的先后顺序,这三步操作同时对连续数据进行处理,通过这
种方式实现硬件加速的方法称为流水线设计。前面计算出 Y、 Cb、 Cr 我们消耗了step1、
step2、step3这三个时钟, 因此需要将输入的行场信号、使能信号同步移动 3 个时钟,如代
码第132值144行。
在代码第21至22行可以看出,转换后输出的数据分别为8位的Y(灰度)、Cb(蓝色色度分
量)、Cr(红色色度分量),而我们实验中需要的是表示灰度的数据,因此我们只需取Y值的
高5位、高6位、高5位数据作为VGA显示的红、绿、蓝三通道输入数据,如顶层代码第171行所
示:
170 .wr_en (wr_en), //写端口FIFO: 写使能
171 .wr_data ({img_y[7:3],img_y[7:2],img_y[7:3]}), //写端口FIFO: 写数据
172 .wr_min_addr (24'd0), //写SDRAM的起始地址
下载验证
首 先 我 们 打 开 OV5640 摄 像 头 VGA 显 示 实 验 工 程 , 在 工 程 所 在 的 路 径 下 打 开
ov5640_rgb565_yuv_vga/par文件夹,在里面找“ov5640_rgb565_yuv_vga.qpf”并双击打开。
注意工程所在的路径名只能由字母、数字以及下划线组成,不能出现中文、空格以及特殊字符
等。工程打开后如下图所示:


图 53.5.1 OV5640摄像头VGA显示实验工程
然后将OV5640摄像头插入开发板上的摄像头扩展接口(注意摄像头镜头朝外),将VGA连
接线一端连接显示器,另一端与开发板上的VGA接口连接。再将下载器一端连电脑,另一端与
开发板上对应端口连接,最后连接电源线并打开电源开关
开拓者开发板实物图如下所示:



图 53.5.2 ov5640摄像头连接图
接下来我们下载程序,验证OV5640摄像头VGA实时显示的功能。工程打开后通过点击工具
栏中的“Programmer”图标打开下载界面,通过“Add File”按钮选择ov5640_rgb565 _vga_yuv
/par/output_files目录下的“ov5640_rgb565_yuv_vga.sof”文件。开发板电源打开后, 在
程序下载界面点击“Hardware Setup”,在弹出的对话框中选择当前的硬件连接为“USB
Blaster[USB-0]”。然后点击“Start”将工程编译完成后得到的sof文件下载到开发板中,如
图所示:



图 53.5.3 程序下载完成界面
下载完成后观察显示器的显示图像如下所示,说明OV5640摄像头VGA显示程序下载验证成
功。


图 53.5.4 VGA实时显示图像





0
分享淘帖 显示全部楼层

评论

高级模式
您需要登录后才可以回帖 登录 | 注册

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容图片侵权或者其他问题,请联系本站作侵删。 侵权投诉
发资料
关闭

站长推荐 上一条 /8 下一条

快速回复 返回顶部 返回列表