完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>
人工智能大热之前,Cloud或Data Center已经开始使用FPGA做各种加速了。而随着Deep Learning的爆发,这种需求越来越强劲。本文主要讨论Cloud巨头Amazon和Microsoft的FPGA策略。
|
|
相关推荐
2个回答
|
|
在Microsoft Build 2017大会上,微软Azure云计算平台CTO Mark Russinovich做了一个名为 “Inside Microsoft's FPGA-Based Configurable Cloud”的演讲,介绍了Azure平台中使用FPGA的情况(大家可以点击文末的阅读原文收看视频);另外,在Amazon的“Amazon EC2 F1 Instances”网站,有一个Webinar视频,介绍AWS的FPGA服务。本文将结合这两个讲座展开讨论,以下分别简称MS和AWS。
智能云对数据处理的需求 从需求层面来看,云端智能对数据处理有了更高的要求,体现在巨大的规模,低时延和高吞吐率几个方面。而从这几个角度来说,FPGA都有自己独特的优势。 AWS在云端部署FPGA所针对的应用主要包括:Real Time Video Processing,Financial Analysis, Genomic Research, Big Data Search and Analytics, and Seurity。这里虽然没有专门提到AI和Deep Learning,但这些应用实际上也都和AI技术有关。而他们预期实现的目标如下: FPGA背景知识 FPGA全称是“可编辑门阵列”(Field Programmable Gate Array),其基本原理是在芯片内集成大量的数字电路基本门电路,存储器以及互连线资源,而用户可以通过对FPGA进行“编程”(烧写配置文件)来定义这些门电路的功能以及模块之间的连线。这种“编程”不是一次性的,你可以把FPGA设计成一个编解码器,只要更改配置文件,就可以变成一个CPU,这也是所谓的re-Configurable的概念。当然,FPGA在给我们提供了随意实现硬件电路的灵活性的同时,也要求设计者具有硬件设计的知识和能力。这一点和CPU,GPU的软件编程方法有很大的差别,或者说是有更高的应用门槛。 目前主要的FPGA芯片厂商是Xilinx和Intel(Altera),AWS主要使用Xilinx的FPGA,MS则使用Intel的FPGA。在具体看FPGA的内部结构之前,我们还是通过对比来看看它的特点。 其实最近这种对比很多,我之前的文章也提到过。MS把CPU,GPU,FPGA和ASIC放在Flexibility VS Efficiency的角度进行对比,这个也是我们经常使用的方法。再次强调,灵活性(通用性)一定意味着效率的损失,反之亦然。 另外,在MS的图中可以看出,他们认为FPGA主要还是用在Evaluation(或者我们经常说的Inference)。而有趣的是,他们认为ASIC方案在Training和Evaluation中都还是“under investigation”,好像把Google的TPU给忘了。 AWS给出了另外一个视角的比较,CPU为了实现最大的灵活和通用,芯片中的很大一部分芯片面积用来提供控制功能(也包括复杂的存储架构,比如Cache);而在GPU当中,用作运算的芯片面积比例大大提高,能够支持大规模的并行处理;而到了FPGA,已经没有预先定义的指令集概念,也没有确定的数据位宽。这些你都可以根据应用来自己设计。你可以设计一个只支持几条指令的处理器;也可以只设计数据通道和简单的控制逻辑,根本不用指令。 下图来自MS的讲座,对比了CPU和FPGA进行数据处理的特点。 CPU可以看作是一种时间计算模型,指令顺序进入,每条指令处理一定的数据。FPGA可以看作是空间计算模型,大量数据可以并行的进行处理。Deep Learning的处理,比如CNN的卷积运算,就是非常适合空间计算模型的例子。这一点我在之前的文章“深度神经网络的模型·硬件联合优化”中已有介绍。下面我们具体看看FPGA的内部结构。 |
|
|
|
FPGA内部结构
FPGA中几个比较重要的基本模块包括(按照Xilinx的说法): CLB(Configurable Logic Block):FPGA最基本的组成单元,可以实现基本的组合逻辑和时序电路。其中,LUT(Lookup Tables)是实现组合逻辑的部分,可以实现n个输入的任意组合逻辑运算(不同型号的FPGA有所不同,下图的例子中为6个输入)。而在CLB的输出位置,还有一个寄存器,提供时序电路的功能。 DSP Slice:是比CLB粒度更粗的运算单元,直接实现乘法,累加等功能。它比较类似与我们在DSP处理器中使用的MAC单元,如下图所示: 此外,一般FPGA中还提供片上Memory模块(Block RAM,UltraRAM),各种高速接口,IP和很多辅助电路。根据应用需求不同,有的型号的FPGA本身也是一个SoC,还集成了处理器核(比如ARM),甚至视频编解码等功能。 下表中列出的Xilinx Virtex UltraScale+ FPGA系列的具体参数。后面要介绍的AWS F1 instance用的就是VU9P。 在这里,我们观察CLB Flip-Flops,CLB LUT和DSP Slices的数量,以及memory的数量,基本就可以了解该FPGA的规模,也就是在这个FPGA上可以实现多大规模的数字电路。 在云端部署FPGA 首先,作为加速功能,FPGA需要配合Host CPU来工作。比如在下图中,一个应用中有一个滤波器功能,需要大量的运算,比较合适放到FPGA来处理;而其它部分功能,主要和控制相关,则放在CPU来运行。 由于FPGA应用往往都需要支持很大的数据吞吐量,这对于Memory带宽和I/O互连带宽要求很高。如果数据传输的带宽受限,则FPGA提供的巨大的并行计算能力根本发挥不了作用。在云端部署FPGA的另一个重要挑战是如何把FPGA的运算能力融合到云端的大规模弹性计算架构当中。 下面我们就分别看看MS和AWS的FPGA部署情况。值得注意的是,目前MS的Azure中的FPGA主要还是内部使用,并没有作为一项公有的服务;而AWS则已经提供了EC2 F1 实例(instance)的FPGA服务了。 MS Azure Catapult V2架构 我们先看看MS的Catapult V2架构,如下图: 在一块Catapult V2的板卡上,有一颗Altera Stratix FPGA和本地的DRAM,这块卡上有三个和外部连接的接口,一个PCIe,两个QSFP。这种架构中,FPGA和WCS Server Blade的连接非常灵活,同时也支持很大的吞吐率。FPGA可以支持对网络应用(从NIC到Switch的channel),存储应用(CPU到Switch的channel)以及运算应用(CPU和FPGA)的加速。而这种架构也具有高度的伸缩性,如下图所示。 连接在一起的FPGA可以构成一个独立的运算层。多个FPGA可以组合在一起实现不同的加速功能,比如Deep neural network,Web search ranking,SQL,SDN offload等等。 MS还提出一个HW Microservices的概念:“A hardware-only self-contained service that can be distributed and accessed from across the datacenter compute fabric”。使用这个Microservices有如下优势: 总的来说,就是有更多的灵活性,可以更有效的分享和利用FPGA资源。而针对DNN应用,MS也提出了一个专门的架构。首先,在FPGA上提供DNN Engine,包括了Neural FU(数据通道)和Instruction Decoder&control(控制面功能)。而多个FPGA可以部署为一个大规模的HW microservices,实现分布式处理。 而相应的,MS正在研发一套“编译”工具,可以把在常见的Deep Learning Framework中训练好的model自动部署到一个或多个FPGA(也包括GPU,CPU)中。 不过,这些看起来不错的设计和功能我们现在还用不了,只能等MS准备好公开发布的时候才能使用。所以,Mark Russinovich最后说,“We look forward to eventually making this available to you, a major step toward democratizing AI with the power of FPGA”。希望这个时间不会太远吧。 AWS F1 Instance 相对而言,AWS的FPGA云服务离我们更近。它的规格如下图所示: 其中f1.16xlarge由8个FPGA组成,配合64个vCPUs,接近1T的Memory,规模相当大。其中每个FPGA连接4个DDR。FPGA之间则有两种互连方式,第一种是FPGA Link,这是一种双向环状连接,用于支持Streaming方式串联多个FPGA的应用;另一种是FPGA Direct,这是点到点的PCIe链路,可以从一个FPGA连接到任意一个其它FPGA。另外,为了简化FPGA I/O的设计,AWS还提出FPGA Shell的概念。如下图所示: 这里Shell的概念我看的不是很清楚,感觉就是把FPGA的I/O封装起来了。FPGA的内部逻辑通过AXI4接口和Shell连接,Shell提供对外的PCIe和一个DDR接口;而前面提到的FPGA Link(FPGA间互连)和其它三个DDR接口好像还是在Core Logic中的。如果我看的不对,还请指正。 AWS F1的开发流程和使用的工具如下图所示: 这个流程和我们常见的FPGA开发流程类似。不过还是需要使用FPGA Developer AMI(AWS提供的工具image)和Hardware Developer Kit(HDK),最终需要生成Amazon FPGA Image(AFI)。FPGA设计和实现工具使用的就是Xilinx自家的工具Vivado。 目前,AWS似乎并没提供专门针对Deep Learning Inferece的工具和硬件架构(比如前面MS提到的DNN Engine和相应的软件工具)。因此,对于做相关工作的同学来说,还是必须自己设计在相应的软硬件系统。 阿里云和腾讯云 最后,我们看看国内的玩家。目前阿里云和腾讯云也都推出了FPGA服务,不过都在申请试用阶段。其中,阿里云的F1实例已经有比较清楚的Spec和工具链的介绍: FPGA 计算型实例规格族(f1) 规格族特点:
其工具链使用Altera FPGA自家的工具,方法和AWS类似。而腾讯云公开的信息比较少,这里就不再讨论了。 总结: 本文简单分析了一下Amazon和Microsoft在Cloud中使用FPGA加速的实现方法。相比Google的TPU(ASIC)针对Deep Learning的设计,FPGA虽然在效率上有差距,但在灵活性方面有自己的优势。不管是在AWS和Azure中,FPGA可以更广泛用于不同的加速任务当中。如果能够配合更好的开发环境,形成完整的生态,相信未来它在云端会有更大的发展空间。 |
|
|
|
只有小组成员才能发言,加入小组>>
请问下图大疆lightbridge2遥控器主板电源芯片型号是什么?
4442 浏览 1 评论
使用常见的二极管、三极管和mos做MCU和模组的电平转换电路,但是模组和MCU无法正常通信,为什么?
312浏览 2评论
为了提高USIM卡电路的可靠性和稳定性,在电路设计中须注意的点有哪些?
297浏览 2评论
311浏览 2评论
311浏览 2评论
352浏览 2评论
小黑屋| 手机版| Archiver| 电子发烧友 ( 湘ICP备2023018690号 )
GMT+8, 2024-11-23 18:00 , Processed in 0.858383 second(s), Total 81, Slave 64 queries .
Powered by 电子发烧友网
© 2015 bbs.elecfans.com
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 (电路图) 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证:合字B2-20210191 工商网监 湘ICP备2023018690号