发 帖  
原厂入驻New
[资料] 【正点原子FPGA连载】第三十二章双目摄像头HDMI显示实验-领航者 ZYNQ 之嵌入式开发指南
2020-9-7 15:56:04  98 正点原子FPGA
分享

1)实验平台:正点原子领航者ZYNQ开发板
2)平台购买地址:https://item.taobao.com/item.htm?&id=606160108761
3)全套实验源码+手册+视频下载地址:http://www.openedv.com/docs/boards/FPGA/zdyz_linhanz.html
4)对正点原子FPGA感兴趣的同学可以加群讨论:876744900
5)关注正点原子公众号,获取最新资料


第三十二章双目OV5640摄像头HDMI显示实验

在“双目OV5640摄像头LCD显示实验”中,我们将双目摄像头采集的两路图像显示在LCD上,并在LCD屏上叠加字符。本章我们将使用领航者ZYNQ开发板实现对双目OV5640摄像头的图像采集并通过HDMI显示器实时显示。
本章包括以下几个部分:
3232.1简介
32.2实验任务
32.3硬件设计
32.4软件设计
32.5下载验证
32.1简介
xilinx官方提供了专门用于视频混合显示和简单文本叠加的视频处理模块,即OSD(On Screen display)IP核。关于该IP核的详细介绍请大家参考“双目OV5640摄像头LCD显示实验”。
32.2实验任务
本章的实验任务是通过调用OSD IP核,在领航者Zynq开发板上实现双目OV5640摄像头HDMI显示器的实时显示,并在HDMI显示器上叠加字符。
32.3硬件设计
我们的领航者Zynq开发板上有一个扩展接口(位于ATK MODULE附近),该接口可以用来连接双目OV5640摄像头,注意在连接的时候,双目OV5640摄像头的镜头方向朝外。另外需要说明的是,扩展口的引脚和开发板上的部分外设是复用的,因此当扩展口上连接双目OV5640摄像头时,开发板上复用至扩展口上的外设将不能使用。
根据实验任务我们可以画出本次实验的系统框图,如下图所示:



图 32.3.1 系统框图

图 32.3.1与“双目OV5640摄像头LCD显示实验”中的系统框图基本相同,只是将驱动LCD显示的rgb2lcd模块替换成了本次实验中的DVI Transmitter,用于驱动HDMI接口;另外还删除了用于读取LCD ID信息的AXI GPIO模块。因此本次实验的硬件设计部分在“双目OV5640摄像头LCD显示实验”的基础上稍作修改即可。
最终图中的数据流走向为:OV5640图像采集是我们自定义的IP核,负责将OV5640的数据转成视频流数据;视频流数据经过Video in to AXI4-Stream IP核转换成AXI4-Stream IP格式数据流,然后通过VDMA的写通道转成AXI4 Memory Map格式,并最终写入DDR内存中。VDMA通过AXI InterConnect IP核与AXI_HP端口进行连接,从而高效访问ddr3。由于本次实验是对双目OV5640摄像头进行图像采集和显示,因此OV5640图像采集IP核、Video In to AXI4-Stream IP核和VDMA IP核需要添加两次。
两路VDMA输出的AXI4-Stream格式的图像数据连接至OSD IP核,经OSD IP核拼接和叠加字符后,连接至AXI4-Stream to Video Out IP核。AXI4-Stream to Video Out IP核在VTC IP核的控制下,把AXI4-Stream格式的数据转换成视频输出的数据格式,并将输出的视频数据流连接至DVI Transmitter IP核的输入端。DVI Transmitter IP核是本次实验自定义的IP核,用于驱动HDMI接口。
首先要删除“双目OV5640摄像头LCD显示实验”工程中的rgb to lcd和AXI GPIO两个模块,以及LCD相关的接口。如下图所示,我们要删除图中橙色高亮的两个模块和3个接口:



图 32.3.2 删除LCD相关模块

接下来添加DVI Transmitter IP核。该IP核位于工程目录下的ip_repo文件夹中,名为“DVI_TX”。我们需要将其添加到工程的IP库中,添加IP核的方法请大家参考“自定义IP核-呼吸灯实验”。添加完成后,我们要在Block Design中连接DVI Transmitter模块的接口信号,并引出外部端口,具体的连接方式如下图所示:



图 32.3.3 添加并连接DVI_Transmitter IP核

Block Design修改完成后保存,然后重新Generate Output Products。接下来我们还要修改约束文件,为HDMI接口分配引脚。打开工程中名为“system_wrapper.xdc”的约束文件,并将原先LCD相关的约束语句删除,替换成以下内容:

  • set_property -dict {IOSTANDARD TMDS_33 } [get_ports TMDS_tmds_clk_n]
  • set_property -dict {IOSTANDARD TMDS_33 PACKAGE_PIN L14} [get_ports TMDS_tmds_clk_p]
  • set_property -dict {IOSTANDARD TMDS_33 PACKAGE_PIN K19} [get_ports {TMDS_tmds_data_p[0]}]
  • set_property -dict {IOSTANDARD TMDS_33 } [get_ports {TMDS_tmds_data_n[0]}]
  • set_property -dict {IOSTANDARD TMDS_33 PACKAGE_PIN M14} [get_ports {TMDS_tmds_data_p[1]}]
  • set_property -dict {IOSTANDARD TMDS_33 } [get_ports {TMDS_tmds_data_n[1]}]
  • set_property -dict {IOSTANDARD TMDS_33 PACKAGE_PIN L16} [get_ports {TMDS_tmds_data_p[2]}]
  • set_property -dict {IOSTANDARD TMDS_33 } [get_ports {TMDS_tmds_data_n[2]}]
  • set_property -dict {IOSTANDARD LVCMOS33 PACKAGE_PIN G17} [get_ports tmds_oen]

保存约束文件,然后选择“Generate Bitstream”重新生成BIT文件。
在生成Bitstream之后,在菜单栏中选择 File > Export > Export hardware导出硬件,并在弹出的对话框中,勾选“Include bitstream”。然后在菜单栏选择File > Launch SDK,启动SDK软件。
32.4软件设计
本次实验的软件工程与“双目OV5640摄像头LCD显示实验”略有不同,如下图所示:



图 32.4.1 软件工程

图 32.4.1左侧红色方框中的文件夹名为“display_ctrl_hdmi”,它在前面实验中“display_ctrl”的基础上删除了GPIO相关的函数及变量。在本次实验中删除了AXI GPIO模块,因此要删除这些函数和变量,否则会报错。
本次实验的代码如下所示:

  • 1 #include <stdio.h>
  • 2 #include <stdlib.h>
  • 3 #include <string.h>
  • 4 #include "xil_types.h"
  • 5 #include "xil_cache.h"
  • 6 #include "xparameters.h"
  • 7 #include "xaxivdma.h"
  • 8 #include "xaxivdma_i.h"
  • 9 #include "display_ctrl_hdmi/display_ctrl.h"
  • 10 #include "vdma_api/vdma_api.h"
  • 11 #include "emio_sccb_cfg/emio_sccb_cfg.h"
  • 12 #include "ov5640/ov5640_init.h"
  • 13 #include "osd/osd.h"
  • 14
  • 15 //宏定义
  • 16 #define FRAME_BUFFER_NUM 3 //帧缓存个数3
  • 17 #define DYNCLK_BASEADDR XPAR_AXI_DYNCLK_0_BASEADDR //动态时钟基地址
  • 18 #define VDMA_ID XPAR_AXIVDMA_0_DEVICE_ID //VDMA器件ID
  • 19 #define DISP_VTC_ID XPAR_VTC_0_DEVICE_ID //VTC器件ID
  • 20
  • 21 //全局变量
  • 22 //frame buffer的起始地址
  • 23 unsigned int frame_buffer_addr[DISPLAY_VDMA_NUM];
  • 24 unsigned int vdma_id[DISPLAY_VDMA_NUM] = {XPAR_AXIVDMA_0_DEVICE_ID,
  • 25 XPAR_AXIVDMA_1_DEVICE_ID};
  • 26
  • 27 XAxiVdma vdma[DISPLAY_VDMA_NUM];
  • 28 DisplayCtrl dispCtrl;
  • 29 VideoMode vd_mode;
  • 30
  • 31 int main(void)
  • 32 {
  • 33 u32 status0,status1;
  • 34 u16 cmos_h_pixel; //ov5640 DVP 输出水平像素点数
  • 35 u16 cmos_v_pixel; //ov5640 DVP 输出垂直像素点数
  • 36 u16 total_h_pixel; //ov5640 水平总像素大小
  • 37 u16 total_v_pixel; //ov5640 垂直总像素大小
  • 38
  • 39 cmos_h_pixel = 1024;//设置OV5640输出分辨率为1024*600
  • 40 cmos_v_pixel = 600;
  • 41 total_h_pixel = 2200;
  • 42 total_v_pixel = 1000;
  • 43
  • 44 emio_init(); //初始化EMIO
  • 45 status0 = ov5640_init(CMOS_CH0,cmos_h_pixel,//初始化ov5640 0
  • 46 cmos_v_pixel,
  • 47 total_h_pixel,
  • 48 total_v_pixel);
  • 49 status1 = ov5640_init(CMOS_CH1,cmos_h_pixel,//初始化ov5640 1
  • 50 cmos_v_pixel,
  • 51 total_h_pixel,
  • 52 total_v_pixel);
  • 53 if(status0 == 0 && status1 == 0)
  • 54 xil_printf("Dual OV5640 detected successful!\r\n");
  • 55 else
  • 56 xil_printf("Dual OV5640 detected faiLED!\r\n");
  • 57
  • 58 vd_mode = VMODE_1024x600;
  • 59
  • 60 for(u8 i=0;i<DISPLAY_VDMA_NUM;i++){
  • 61 frame_buffer_addr = XPAR_PS7_DDR_0_S_AXI_BASEADDR+0x1000000*i;
  • 62 //配置VDMA
  • 63 run_vdma_frame_buffer(&vdma, vdma_id, vd_mode.width/2, vd_mode.height,
  • 64 frame_buffer_addr,0,0,BOTH);
  • 65 }
  • 66 //OSD初始化
  • 67 osd_init(0x1016,vd_mode.width,vd_mode.height);
  • 68 //初始化Display controller
  • 69 DisplayInitialize(&dispCtrl, DISP_VTC_ID, DYNCLK_BASEADDR);
  • 70 //设置VideoMode
  • 71 DisplaySetMode(&dispCtrl, &vd_mode);
  • 72 DisplayStart(&dispCtrl);
  • 73
  • 74 return 0;
  • 75 }

可以看出,本次实验的程序与“双目OV5640摄像头LCD显示实验”非常相似。首先删除了读取LCD ID相关的内容,然后将摄像头的输出分辨率固定改成1024*600。有关这部分代码的详细介绍请大家参考“双目OV5640摄像头LCD显示实验”,此处不再赘述。
32.5下载验证
首先我们将下载器与领航者底板上的JTAG接口连接,下载器另外一端与电脑连接。然后使用Mini USB连接线将USB UART接口与电脑连接,用于串口通信。使用HDMI连接线将HDMI显示器连接到领航者底板上的HDMI接口。双目OV5640摄像头连接底板上的扩展口连接(扩展口位于ATK_MODULE旁边,连接时双目摄像头镜头方向朝外),如下图所示。最后连接开发板的电源,并打开电源开关



图 32.5.1 双目摄像头镜头方向朝外

在SDK软件下方的SDK Terminal窗口中点击右上角的加号设置并连接串口。然后下载本次实验硬件设计过程中所生成的BIT文件,来对PL进行配置。最后下载软件程序,下载完成后,在下方的SDK Terminal中可以看到应用程序打印的信息,打印的信息如下图所示:




图 32.5.2 串口终端中打印的信息

从串口打印的信息可以看出硬件连接的状态和OSD配置的状态。此时HDMI显示器实时显示两路摄像头的视频图像,并且在每一路摄像头的上方叠加了字符串,分别为“OV5640 1”和“OV5640 2”,HDMI显示器显示画面如下图所示:



图 32.5.3 HDMI显示器显示画面


1
分享淘帖 显示全部楼层

评论

高级模式
您需要登录后才可以回帖 登录 | 注册

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容图片侵权或者其他问题,请联系本站作侵删。 侵权投诉
发资料
关闭

站长推荐 上一条 /8 下一条

快速回复 返回顶部 返回列表