【FPGA开发者项目连载】基于MiniStar的HDMI Display Engine IP核设计

FPGA

设计思路

GW1NSR-4C是高云推出的FPGA，相对于同类产品，我觉得有以下几个显著特点：

1. 集成Cortex-M3硬核，时钟频率可达80MHz，并且与FPGA部分有多种交互方式，可以支持高数据量传输。
2. 集成容量高达64Mbits的HyperRAM，理论传输速度可达166MHz*8bits*2=333MB/s，非常适合图像等高带宽数据量存储。
3. 自带True LVDS，时钟频率可达400MHz，QFN48封装下有4对TX、4对RX，传输720p@60Hz视频毫无压力。

为了尽可能发挥GW1NSR-4C的优势，我设计了一个支持HDMI输出的Display Engine，可以通过软件的方式将输出图像写入到HyperRAM，并在FPGA中源源不断地将图像通过HDMI输出，即保留了软件编写GUI代码的灵活性，又充分利用了硬件特性实现了高分辨率的视频显示。在我看来，GW1NSR-4C非常适合HMI、串口屏这类的应用。

考虑到GW1NSR-4C硬件设计和资源分布的特点，我设计了一个名为Display Engine的IP核，挂在到AHB-Lite总线上，可以完成图像存储和视频输出的功能。整体结构如下图所示。

可以看到，整体结构可以被划分为Processing System（即PS，处理系统）和Programming Logic（即PL，可编程逻辑）两部分，其中：

* 左侧部分（包括PS和一小部分PL）构成了MCU的最小系统，这部分由高云的IP核Gowin_EMPU_Top提供，选择的配置如下：
* Cortex-M3（即EMCU原语）
* 32KB Flash
* 16KB SRAM（使用8个Block RAM）
* TARGEXP0总线（0xA0000000-0xA000FFFF，AHB-Lite，共64KB）
* 右侧部分（PL的另一部分）构成了HDMI Display Engine，支持通过AHB-Lite总线配置，功能如下：
* AHB Slave Interface用于和AHB总线的主机交互，可以使用寄存器的方式配置Display Engine
* DispRAM Controller负责维护HyperRAM的数据，一方面可以通过MCU写入数据，另一方面通过VGA Controller读出数据
* VGA Controller负责以VGA时序输出视频，提供给高云的IP核DVI_TX转换为HDMI支持的格式
* VGA Clock Generator负责生成VGA和HDMI所需的时钟，其中HDMI时钟需要是像素时钟的5倍

对于HDMI Display Engine，这里大量使用了高云的IP核，包括：

* 同步和异步FIFO：一方面为DispRAM提供连续传输的支持（HyperRAM Controller要求数据必须连续传输），另一方面也提供时钟域（AHB总线到VGA Controller）和位宽（像素格式为RGB565，HyperRAM的位宽为32bits）的转换。
* HyperRAM Controller：用于控制HyperRAM的数据读写，相对于HyperBus而言有一定限制（例如只能以固定长度进行数据传输），但胜在使用简单。
* PLL和CLKDIV：前者用于生成VGA所需时钟（支持动态调整），后者用于生成DVI_TX所需的五分频时钟。
* DVI_TX：用于将VGA时序的显示信号转换成DVI，也就是HDMI信号。

在实现了以上功能后，我们便可以在MCU侧将显示数据存储到HyperRAM，并由HDMI输出。得益于HyperRAM的高带宽，我们可以在花费大量时间渲染一帧图像的前提下，不影响HDMI的输出时序，可以实现720p@60Hz传输不卡顿。

最后我们大概来估算一下存储空间和带宽。对于1280x720的视频，如果以RGB565的格式存储，每帧图像所需空间略小于2MB，可以在HyperRAM上存储4帧图像，足够进行缓冲处理；对应的传输带宽不大于120MB/s，对于HyperRAM来说绰绰有余，可以在VGA Controller读取像素的间隙插入对HyperRAM的写操作。

MiniStar-第一阶段

Jason · 2021-5-15 00:04:34

本帖最后由 imetro 于 2021-5-17 00:06 编辑

设计难点和解决方法

对于Display Engine，设计难点主要包括以下几个方面：

* AHB-Lite接口信号处理。为了实现动态可配置，我们需要在总线上进行数据读写，这需要IP核正确处理来自MCU的总线传输，而自己编写AHB-Lite接口无疑需要花费一些时间去了解总线协议，比较麻烦。
* 跨时钟域的信号传输。由于IP核存在AHB总线和VGA控制器这两个时钟域，因此不可避免地会导致跨时钟域的出现，这会给IP核的设计带来挑战。
* 需要保证数字逻辑的高效处理。对于720p@60Hz，像素时钟高达74.25MHz，而MCU支持的时钟频率也达到了80MHz，这意味着Display Engine所能达到的时钟频率不能低于这两个时钟，并且不能超过GW1NSR-4C的逻辑资源限制。
* 合理分配FPGA的资源。GW1NSR-4C共有2个PLL、10个18Kbits的Block RAM，而在将MCU的SRAM设置为16KB后只有2个Block RAM可用，PLL也需要分别提供给MCU和VGA使用，这意味着对于片上的资源不能有丝毫浪费。

考虑到以上原因，在本工程中我决定使用SpinalHDL编写FPGA部分的代码。SpinalHDL的优势这里就不再多说，可以看到使用SpinalHDL这样的“硬件设计语言”（而非“硬件描述语言”）可以帮我们解决现有问题：

* SpinalHDL自带了AHB-Lite等总线支持，并且可以使用工厂方法生成新的总线传输，只需要十多行代码便可满足当前需求。
* SpinalHDL可以使用BufferCC、StreamFifoCC等组件完成异步传输，省去了自己编写异步代码的过程。
* SpinalHDL生成的代码效率较高，且生成的Verilog代码可被高云的综合器直接使用，时序检查满足要求。

在此工程中，我提供了SpinalHDL的源代码以及自动生成的Verilog代码，大家可以对比发现SpinalHDL确实为代码生成带来了便利，值得大家学习使用。

Jason · 2021-5-15 00:07:02

补充上传图片

Jason · 2021-5-17 00:21:46

本帖最后由 imetro 于 2021-5-17 10:26 编辑

2021/5/17：项目进展更新当前项目进展如下：
1. Display Engine的PLL部分已经完成，可以根据配置生成频率合适的时钟，用于VGA Controller的输入时钟。
2. Display Engine的VGA Controller部分已经完成，可以根据配置生成VGA时序，并且可以同步输出像素值。
3. 完成了Display Engine的部分顶层模块代码，将PLL和VGA Controller包括进来，并且可以配置VGA Controller的输出像素值，可以生成简单的测试demo。
4. 完成了HDMI Demo的部分顶层模块代码，将Display Engine与MCU、PLL等部分进行连接，构成完整SoC的雏形。
5. 完成了HDMI Demo的MCU部分测试代码，可以生成一个简单的彩屏显示demo，每秒切换显示纯色画面。

当前HDMI Demo的资源使用情况如下图所示。可以看到，目前使用了约27%的Logic和约28%的Register，足以在FPGA部分添加实用的组件。

当前已经完成的代码见：。
一个简单的测试视频如下所示。

搜索历史

【FPGA开发者项目连载】基于MiniStar的HDMI Display Engine IP核设计

MiniStar-第一阶段

相关推荐

3 条评论

评论

精选推荐

热门帖

站长推荐 /6