【设计进展】lh023 DIY进程贴

FPGA

今天早上刚刚提交完系统方案，下午开始对系统进行设计。
系统采用的硬件设备是：NetFPGA。下面我对NetFPGA做一个简短的介绍，希望能够使大家更了解这个系统的基本情况。
NetFPGA是由斯坦福大学开发的，为网络研究人员提供了一个低成本可重用的硬件平台。NetFPGA平台能够很好地支持模块化设计，复杂的硬件设计可以通过各个模块的组合来完成；而且，NetFPGA是一个基于Linux的开放性平台，所有对它感兴趣的人都可以利用平台上现有的资源，在前人开发的基础上搭建自己的系统，而自己开发的系统也可以被其他人所用，而不再需要重复地搭建外围模块、开发驱动和GUI等，只要添加自己的模块和修改现有的系统即可。NetFPGA平台的模块化和开放性，大大简化了网络研究的任务量。
　　NetFPGA平台由NetFPGA开发板、双口千兆以太网卡、运行于CentOS操作系统的PC机（或服务器）以及其他软件程序组成。
下面介绍一下我的系统实现计划：
1、首先是熟悉NetFPGA平台，并进行平台搭建，NetFPGA通过计算机的PCI接口与上位机进行数据交互和系统设置等工作；
2、根据NetFPGA的路由器功能对其进行硬件代码的编写和改进；
3、接下来是使用C语言编写网络行为记录器；
4、设计管理系统、Web服务器、数据库。

颜嘉元 · 2012-6-26 09:42:22

   这段时间一直很忙，所以没及时更贴，深表歉意，希望大家谅解。
   下面接着上次的更贴发布项目进程情况。上一次发布了三个函数，接下来将发布剩余的函数编程。
   截图有点乱，还请大家谅解。等项目结束以后会将源文件上传到网上的。
   软件部分最重要的一个模块：网络记录器模块已经完成，接下来将完成硬件方面的编程。敬请大家关注，谢谢。{:soso_e121:}

颜嘉元 · 2012-7-2 23:17:53

   一不小心就进入七月了，很快比赛就要结束了，这个项目最重要的部分还没写，现在有时间把这部分写一点吧。
   本系统是在NetFPGA平台上进行二次开发，基于reference_router工程。Router设计的主体部分主要由输入队列，输出端口查找，输出队列三大模块构成。输入输出队列模块负责PHY的4个RGMII接口和PCI的4个DMA接口的数据接收和发送，输出端口查找模块完成数据包的IP层分析和转发查找，为该系统的核心模块。系统框图如图1所示。
   本系统中硬件的主要作用是根据PC上位机软件提供的规则，对数据包做分析过滤，对符合规则的包进行丢弃或者转发给软件做二次处理，因此，硬件的设计主要是针对Router工程Output Port Lookup模块的升级，添加新的模块对数据包进行更全面的分析，同时新添加的寄存器接口供上位机软件调用。本系统Output Port Lookup模块框架如图2所示。
   一个完整的数据包在达到Output Port Lookup模块时已经被拆分为若干个64位的分段，用一个8位的in_ctrl信号来标记当前的64位in_data属于哪个分段，如图3所示。
   每段数据包在时钟的驱动下并行进入input_fifo和preprcocess_control，前者是32深度的缓冲池，保证了数据包在后续模块中的线速处理，后者是控制中枢，根据in_ctrl信号，启动相应的模块对当前in_data上的数据进行分析。其中本系统添加的处理模块有源MAC过滤、源IP过滤、源端口过滤、目标IP过滤、目标端口过滤和GET包的识别。上述模块除GET包识别之外，其他模块都是基于内容可寻址储存器CAM核的设计，每个CAM的深度均为32位，CAM中匹配数据的写入和读出均由寄存器系统完成，待匹配数据则由各个模块从in_data上获得。寄存器设计采用Router的架构，将本系统添加的模块加入到其中。GET包识别采用的是开源项目url_extraction中的模块。
   各个模块在分析处理完数据包之后，都会将处理结果送到处理中心（op_lut_proce_sm.v）,在处理中心判别该数据包的丢弃或者转发。
（1）源MAC过滤、源IP过滤、源端口过滤、目标IP过滤、目标端口过滤这些模块设计结构类似，这里仅对源MAC过滤模块做分析介绍。该模块由MAC地址的提取、CAM核管理模块（cam_lut_sm.v）、一个48x32 的CAM核和一个输出fifo四个个子模块构成。
模块的设计框架如图4所示。
   从图4中我们可以看到，源MAC地址跨越了两个数据分段（第一和第二分段），所以预处理模块（pre_process.v）会有两根信号线和本模块中的地址提取模块相连，分别为word_MAC_DASA和word_MAC_SA_LO。
当word_MAC_DASA 信号有效时，地址提取模块将in_data上的低16位存入48位mac地址寄存器的前16位，当word_MAC_SA_LO有效时，将in_data的高32位存入mac地址寄存器的低32位，这样就完成了mac地址的提取，此时该模块会触发匹配信号有效，并将提取到的mac地址送给cam管理模块。
源mac过滤器中Cam管理模块采用的是Router工程中通用cam管理模块unencoded_cam_lut_sm，只需配置其接口便可以很方便的完成硬件查找和cam的读写。模块内部采用四级流水线，①从请求查找开始；②当CAM匹配成功，记录匹配选项的未编码地址；③完成地址编码后，读取存放于lut中对应的数据；④将匹配响应信号和读取的数据发送出去。本系统设计中新添加的模块都只将匹配响应信号送到out_fifo。
Out_fifo的深度为2，宽度为1。在output_port_lookup内对数据包线速处理的所有模块都包含此fifo，目的是为了兼容各个模块处理数据包时钟周期的差异，使得处理中心（op_lut_process_sm）可以同时获取所有处理结果。
（2）op_lut_process_sm是关键性模块，它读取上述处理模块中fifo中的处理结果，判定数据包是否合法，如果不合法（比如校验值错误等）则丢弃，否则，根据其目的IP地址和NetFPGA系统中维护的ARP表、路由表等信息决定此包的处理过程：转发给CPU、MAC或丢弃。
   模块的主体是一个复杂的状态机。如图5所示。
   本系统在output_port_lookup模块内新增加了6大处理模块，所以在判定数据包的转发或者丢弃过程中除了遵循原有设计的规则之外，预先考虑本系统设定的规则。如果该数据包中MAC地址、IP地址或者端口在系统的黑名单之内，则数据包被直接丢弃，如果该数据包属于Http GET请求包或者需要是特定端口的数据包则被转发到cpu做二次处理，其余的包按正常规则转发，其处理数据包流程图如图6所示。
   （3）本系统中寄存器模块设计是在Router工程op_lut_regs模块的基础上做修改，增加了新添加模块的接口。op_lut_regs是两个模块的顶层文件，它们分别为router_op_lut_regs_cntr和router_op_lut_regs_non_cntr，前者调用的是NetFPGA设计中通用计数器寄存器模块，在output_port_lookup中的主要作用为统计数据包转发，丢弃等等的数量，后者为各个线速处理模块的控制模块，本系统主要是基于这个文件的修改。
   NetFPGA设计中，寄存器数据总线是32位，地址总线27位，并且地址总线的低两位不用，即有效地址为25位。地址的编码遵循自顶而下的原则，先将高位地址划分给各大核心模块，在每个核心模块下又将次高位划分给本模块中的各个模块，一级级往下。以user_data_path下outopt_port_lookup中ROUTER_OP_LUT_ROUTE_TABLE_ENTRY_IP寄存器地址 27’b01_0000_0000_0000_00000_010010_00为例，高两位01为主模块USER_DATA_PATH的编码，中间17个0为USER_DATA_PATH下ROUTER_OP_LUT的编码，后面010010便是这个寄存器在ROUTER_OP_LUT内的编码，低两位不考虑。在ROUTER_OP_LUT块内有6位的地址编码，最多可以容纳64个寄存器，而原先NetFPGA设计中只用到其中的32个，预留了32个，因此，本系统添加模块所用的寄存器地址便用这32个预留的地址。
   router_op_lut_regs_non_cntr由地址的判定部分和一个处理状态机两部分组成。地址判定部分就是识别当前地址总线上的地址是否属于ROUTER_OP_LUT块内地址，如果是就提取那6位地址，并且启动状态机进行处理。状态机先判定当前的操作的是读操作还是写操作，再判定操作的寄存器是直接可以读取或者写入的，比如四个网口的MAC地址，或者是需要运行其他指令获取或者写入的，比如查找表内某一地址的数据，然后启动相应处理程序。其处理流程如图7所示。
   硬件的整个设计大题如此，我使用的是Xilinx  ISE 9.1i进行编程。如图8所示。
   时间太晚了，今天就写到这里，希望得到大家的支持，谢谢。
   （看的人实在太少。。。。。。）

颜嘉元 · 2012-7-10 22:16:10

   最重要的部分是output_port_lookup模块，图1是这个模块的截图，里面的小模块很多，可以看看截图。另外忘记说明，这个项目需要申请Xilinx的免费IP核，IP核用于网络，是这个项目中的关键。如果大家要开发NetFPGA的项目，涉及到网络方面，这个IP核必不可少。

李仲元 · 2012-7-16 16:28:12

支持

2012-7-16 16:49:46

犀利学习了

guyue · 2012-7-16 21:43:06

技术贴必须顶

ai漫步云端 · 2012-7-17 11:44:01

楼主打个包吧

2012-7-17 11:57:17

看看

肖青 · 2012-7-17 14:26:40

{:soso_e100:}好强呀

杨礼斌 · 2012-7-17 14:48:33

这么好，给力啊

罗玉平 · 2012-7-17 14:54:43

支持。。

颜嘉元 · 2012-7-19 21:29:44

web服务器模块是根据系统设计要求我们利用开源服务器设计并一个适合本系统的web服务器，使其成为一个符合该系统的专用服务器。
新的服务器在原服务器基础上新增功能包括：
（1）运行和关闭网络行为分析监控系统；
（2）查询数据库中网络行为日志；
（3）查询管理员管理日志；
（4）列出数据库中已存在的不同用户的IP地址和MAC地址；
（5）根据网址、IP地址、MAC地址查询数据库中所存的相关信息；
（6）根据时间二次检索用户使用网络信息；
（7）增加用户黑名单、非法网站、重要TCP或UDP端口、特定服务、指定用户及指定端口；
（8）列出用户黑名单、非法网站、重要TCP或UDP端口、特定服务、指定用户及指定端口；
（9）对网络非法行为进行实时监控并报警；
（10）报警信息的处理；
（11）删除用户黑名单、非法网站、重要TCP或UDP端口、特定服务、指定用户及指定端口；
（12）清空数据库中记录。

颜嘉元 · 2012-7-19 21:34:22

   MySQL数据库模块实现日志的存储、查询等操作，根据本系统的要求设计了12张相关表，每一张表实现对应的功能。
   每一张表的名字及表中的字段、功能分别为：
（1） url：包括9个字段，分别为：
① number：序号；
② url：网址记录；
③ ipsaddr：源IP地址记录；
④ ipdaddr：目的IP地址记录；
⑤ macsource：源MAC地址记录；
⑥ macdest：目标MAC地址记录；
⑦ port：端口信息记录；
⑧ time：时间信息记录；
⑨ count：计数；
该表的功能：记录用户访问网址。
（2） log：包括2个字段：
① log：日志信息；
② time：时间信息；
该表的功能：记录管理员日志信息。
（3） limit_ip_port：包括2个字段：
① source_ip：被限制用户源IP地址信息；
② port：被限制用户端口信息；
该表的功能：记录用户端口限制信息；
（4） limit_port：包括1个字段
①    port：被限制特殊端口端口信息；
该表的功能：记录被禁用端口信息；
（5） limit_source_ip：包括1个字段
①    source_ip：被限制用户源IP地址信息；
该表的功能：记录被禁用用户的IP地址；
（6） limit_source_mac：包括1个字段
①    limit_mac：被限制用户源MAC地址信息；
该表的功能：记录被禁用用户的MAC地址；
（7） limit_tcp_port：包括1个字段
①    port：危险TCP端口信息；
该表的功能：记录危险的TCP端口；
（8） limit_udp_port：包括1个字段
①    port：危险UDP端口信息；
该表的功能：记录危险的UDP端口；
（9） limit_url：包括2个字段
① url：黑名单网址信息；
② url_ip：黑名单网址所对应的IP地址；
该表的功能：记录非法的网站；
（10） war：包括5个字段
① source_ip：攻击者的源IP地址；
② sport：攻击者的源端口；
③ dst_ip：攻击者所攻击的目标IP地址；
④ dport：攻击者所攻击的端口；
⑤ ip_p：协议信息；
⑥ count：被攻击次数；
该表的功能：记录攻击日志；
（11） war_time：包括7个字段
① source_ip：攻击者的源IP地址；
② sport：攻击者的源端口；
③ dst_ip：攻击者所攻击的目标IP地址；
④ dport：攻击者所攻击的端口；
⑤ ip_p：协议信息；
⑥ time：攻击的时间；
⑦ count：被攻击次数；
该表的功能：记录攻击日志和时间信息
（12） warning：
① source_ip：攻击者的源IP地址；
② sport：攻击者的源端口；
③ dst_ip：攻击者所攻击的目标IP地址；
④ dport：攻击者所攻击的端口；
⑤ ip_p：协议信息；
⑥ count：被攻击次数；
该表的功能：最新的一条攻击记录信息；

颜嘉元 · 2012-7-19 21:37:39

本系统管理系统模块采用安全防护产品流行的B/S架构。管理员只需在NetFPGA的局域网内的任意一台电脑上访问网关地址并输入正确的口令即可登录到操作界面，而不需要到NetFPGA主机操作，方便、安全、快捷。浏览器客户端页面负责获取管理员的操作指令并送到服务器模块，并将服务器模块返回的数据处理后显示。页面采用基于Prototypejs库的Ajax技术，所有指令的发送，返回数据的处理均在后台进行，操作页面无刷新，具有良好的人机交互特性，并且整个网站的设计遵循“用户至上”的设计理念，最大限度地方便用户操作。客户端设计框架如图1所示。
客户端页面模块由登录验证界面和管理界面两大部分构成。
（1）登录验证界面，当用户口令输入正确并且服务器返回认证指令则进入管理界面，如果口令输入错误或者服务器无响应，则一个掩藏的块会被激活，用于显示错误信息。
如果用户不经过口令验证直接访问管理界面，则会触发未登录保护，显示跳转信息并自动切回登录界面，如图2所示。
（2）管理界面采用Frame模式，主界面分别由header.html、left.html、footer.html和content.html四张网页构成。
①header.html主要是标题以及状态的显示。整个系统设计成为三个状态，分别为一般状态，监控状态和报警状态，状态的改变用一张图片的闪烁和变色来灵活实现。
②Left.html为菜单栏，设计采用开源Accordion菜单框架，具有两级菜单。
第一级用于掩藏和显示功能选项，第二级用于触发各个JS操作函数，将用户操作转换为指令发送给服务器处理。
③content.html主要为数据的显示，同时也负责将用户输入的一些规则提交给服务器。该页面的设计采用掩藏块按需显示模式，每一个功能对应一个掩藏块，当letf.html中触发某个功能后，对应的块将被激活显示。这样的设计可以使得页面无刷新，让用户得到更好的人机交互体验。
④footer.html被专门用于端口实时报警的信息输出，用一张图片显示状态，一个文本框显示报警信息。

颜嘉元 · 2012-7-19 21:39:46

本系统管理系统模块采用安全防护产品流行的B/S架构。管理员只需在NetFPGA的局域网内的任意一台电脑上访问网关地址并输入正确的口令即可登录到操作界面，而不需要到NetFPGA主机操作，方便、安全、快捷。
浏览器客户端页面负责获取管理员的操作指令并送到服务器模块，并将服务器模块返回的数据处理后显示。
页面采用基于Prototypejs库的Ajax技术，所有指令的发送，返回数据的处理均在后台进行，操作页面无刷新，具有良好的人机交互特性，并且整个网站的设计遵循“用户至上”的设计理念，最大限度地方便用户操作。客户端设计框架如图1所示。
客户端页面模块由登录验证界面和管理界面两大部分构成。
（1）登录验证界面，当用户口令输入正确并且服务器返回认证指令则进入管理界面，如果口令输入错误或者服务器无响应，则一个掩藏的块会被激活，用于显示错误信息。
如果用户不经过口令验证直接访问管理界面，则会触发未登录保护，显示跳转信息并自动切回登录界面，如图2所示。
（2）管理界面采用Frame模式，主界面分别由header.html、left.html、footer.html和content.html四张网页构成。
①header.html主要是标题以及状态的显示。整个系统设计成为三个状态，分别为一般状态，监控状态和报警状态，状态的改变用一张图片的闪烁和变色来灵活实现。
②Left.html为菜单栏，设计采用开源Accordion菜单框架，具有两级菜单。
第一级用于掩藏和显示功能选项，第二级用于触发各个JS操作函数，将用户操作转换为指令发送给服务器处理。
③content.html主要为数据的显示，同时也负责将用户输入的一些规则提交给服务器。该页面的设计采用掩藏块按需显示模式，每一个功能对应一个掩藏块，当letf.html中触发某个功能后，对应的块将被激活显示。这样的设计可以使得页面无刷新，让用户得到更好的人机交互体验。
④footer.html被专门用于端口实时报警的信息输出，用一张图片显示状态，一个文本框显示报警信息。

颜嘉元 · 2012-7-19 21:41:06

本系统管理系统模块采用安全防护产品流行的B/S架构。管理员只需在NetFPGA的局域网内的任意一台电脑上访问网关地址并输入正确的口令即可登录到操作界面，而不需要到NetFPGA主机操作，方便、安全、快捷。浏览器客户端页面负责获取管理员的操作指令并送到服务器模块，并将服务器模块返回的数据处理后显示。页面采用基于Prototypejs库的Ajax技术，所有指令的发送，返回数据的处理均在后台进行，操作页面无刷新，具有良好的人机交互特性，并且整个网站的设计遵循“用户至上”的设计理念，最大限度地方便用户操作。