天清汉马USGFWP系列防火墙技术白皮书V文档格式.docx
《天清汉马USGFWP系列防火墙技术白皮书V文档格式.docx》由会员分享，可在线阅读，更多相关《天清汉马USGFWP系列防火墙技术白皮书V文档格式.docx（37页珍藏版）》请在冰豆网上搜索。
特点说明
天清汉马USG防火墙具有如下特点：
完善的防火墙特性
✧支持基于源IP、目的IP、源端口、目的端口、时间、服务、用户、文件、网址、关键字、邮件地址、脚本、MAC地址等方式进行访问控制
✧支持流量管理、连接数控制、IP+MAC绑定、用户认证等
✧支持虚拟防火墙：
可以将接口划分给不同的虚拟防火墙，每个虚拟防火墙具有独立的管理员、安全域、资源对象、安全策略、NAT规则、静态路由等配置
✧同终端无缝结合：
支持同天珣内网安全管理系统联动，将防火墙防御能力推进到桌面终端
高网络适用性
✧支持透明、路由和NAT模式部署
✧支持静态路由、策略路由、RIP/OSPF/BGP动态路由，支持等价路由ECMP和加权路由WCMP，支持组播路由
✧支持STP，可以同二层网络设备进行生成树计算
✧支持IGMPSnooping，优化在桥模式下的组播流量
✧支持私有HA和VRRP
✧支持IPv6：
支持IPv4、IPv6双栈运行、静态IPv6路由、手工隧道、6to4隧道和ISATAP隧道。
✧支持链路聚合，可通过手动方式、IEEE802.3ad静态LACP方式创建聚合链路；
通过链路聚合可以增加链路带宽，并起到负载均衡和链路备份的作用
✧支持802.11B,802.11G协议，可以扩展WIFI模块以提供WIFI接入，支持设备作为WiFi热点（即AP），为客户机提供无线安全接入服务
✧支持3G（CDMA2000）协议，可以扩展3G模块以提供3G上行网络接入
高稳定性和可靠性
✧产品具有高性能，同时多核之间互为备份，可靠性高
✧支持私有协议HA和VRRP，实现双机热备和冗余
✧支持双操作系统和多配置文件，最大支持10个配置文件备份
全面的VPN支持
✧多VPN支持：
IPSec、L2TP、SSLVPN、GRE
✧丰富的应用：
专用VPN客户端、USBKEY、动态口令卡、图形认证码
✧灵活的部署：
Hub-Spoken、Full-Mesh、DVPN、网关－网关的SSLVPN
✧支持对IPAD、IPHONE等移动终端的VPN接入
完善的上网行为管理功能
✧采用独立的上网行为管理库，通过互联网实现每周更新。
✧P2P控制：
对Emule、BitTorrent、Maze、Kazaa等进行阻断、限速
✧IM控制：
基于黑白名单的IM登录控制、文件传输阻止、查毒；
支持主流IM软件如QQ、MSN、雅虎通、Gtalk、Skype
✧流媒体控制：
对流媒体应用进行阻断或限速，支持Kamunppfilm、PPLive、PPStream、QQ直播、TVAnts、沸点网络电视、猫扑播霸等
✧网络游戏控制：
对常见网络游戏如魔兽世界、征途、QQ游戏大厅、联众游戏大厅等的阻断
✧股票软件控制：
对常用股票软件如同花顺、大参考、大智慧等的阻断
强大的日志报表功能
✧记录内容丰富：
可对防火墙日志、攻击日志、病毒日志、带宽使用日志、Web访问日志、Mail发送日志、关键资产访问日志、用户登录日志等进行记录
✧日志快速查询：
可对IP地址、端口、时间、危急程度、日志内容关键字等进行查询
✧报表贴近需求：
根据用户具体需求，定制报表内容、定制报名名称、定制企业LOGO，并可形成多种格式的报表文件。
方便的集中管理功能
✧通过集中管理与数据分析中心实现对多台设备的统一管理、实时监控、集中升级和拓扑展示。
体系架构说明
产品构成
天清汉马USG防火墙主要由两部分组成：
USG防火墙设备和天清集中管理与数据分析中心。
USG防火墙设备：
即部署在网络出口，融合多种安全能力，针对恶意攻击、非法活动和网络资源滥用等威胁，实现精确防控的高可靠、高性能、易管理的网关安全设备。
天清集中管理与数据分析中心：
主要功能分为集中管理功能与数据分析功能，集中管理是对USG防火墙设备的集中管理、统一监控和升级中心，通过它可以集中配置、监控和管理所管辖的多台USG防火墙设备，并按照一定的规则组织成层次结构，方便管理员对于整网USG防火墙设备的监控维护工作；
数据分析中心是USG防火墙设备海量信息的后台处理中心。
主要完成USG防火墙设备日志和流量信息的存储、分析、审计和处理功能。
软件结构
防火墙作为网关类产品，究竟什么样的软件结构更有利于提升整体性能？
那么首先需要知道什么是性能消耗的关键业务单元。
启明星辰通过对网关类产品单一分析处理引擎的详细分析和实验验证，得出网关类产品性能消耗50％来自于模式匹配，25％来自于协议重组、25％来自于报文重组的结论。
图1.网关分析处理引擎性能消耗分析
如何融合分析处理引擎，合并性能消耗关键业务单元成为防火墙产品软件结构设计首要考虑的问题。
基于研究数据，启明星辰在天清汉马USG防火墙的软件结构设计上引入了一体化的设计理念。
即将防火墙、VPN、内容过滤和流量管理等各项功能的分析处理引擎进行一体化设计，以达到性能最优的目的。
天清汉马USG防火墙本着安全高效原则，采用“检测与控制相分离，引擎特征相统一”的一体化设计思想：
人机界面、报文接收模块、报文处理模块、报文发送模块和支撑库。
网络报文首先通过报文接收模块进行预处理后进入报文处理模块，在报文处理模块，防火墙进行2－3层过滤，VPN负责接入控制；
其次模块匹配引擎和行为分析引擎分别根据统一特征库和行为知识库进行匹配查找；
最后，对于合法报文直接交由报文发送模块进行报文转发，对于非法报文，送交相应的处理引擎进行处理。
整个过程的日志信息和数据流量信息送集中管理与数据分析中心监控和备案，管理中心负责整体的配置和调整。
1关键技术
天清汉马USG防火墙采用了多种创新技术，为确保多种安全能力的融合，性能的持续恒定起到了重要作用。
智能的VSP通用安全平台
天清汉马USG防火墙采用创新的VSP（VersatileSecurityPlatform）通用安全平台，将实时操作系统、网络处理、安全应用等技术完美地结合在一起，使防火墙产品具备了高智能、高性能、高安全性、高健壮性、高扩展性等特点。
VSP面向网络吞吐和安全处理，采用基于组件的多平面架构，整个系统分为控制平面、数据平面、系统服务平面和硬件抽象平面，通过控制平面和数据平面的分离，不同于Linux，FreeBSD等通用操作系统追求均衡的方向，集中主要资源于网络吞吐和安全处理，使系统具有极强的实时性和网络吞吐能力。
由于系统功能与资源管理分别工作在不同的平面，各平面和模块之间共同遵循标准接口函数，系统具有高度灵活性和可扩展性。
通过将硬件驱动与资源管理独立为一个单独的硬件抽象平面模块，对上层软件提供统一调用接口，对下层硬件统一定义驱动标准，适应多种不同规格的硬件架构，实现与多种专用芯片的无缝融合，可充分利用从IXP，PowerPC到NP、多核多线程CPU、内容加速芯片等各种先进硬件平台的优势，使天清汉马USG防火墙在性能方面一路领先。
高效的整合内容引擎
天清汉马USG防火墙使用高效的ICE（Integratedcontentengine）整合内容引擎。
它将状态包过滤、VPN、IDS、内容过滤、用户认证等多个子系统集成于单一平台，构造统一架构，综合并优化各子系统，去除冗余，简化数据处理流程，实现统一的安全引擎处理机制。
整合内容引擎克服了传统上各个引擎独自为战的缺点，通过高效的引擎集成技术，将各个安全功能有机地整合为一体，状态检测、协议分析机、深度过滤、内容检测等引擎协同工作，对于监测的数据包，一次性拆包即可完成2-7层的检测，同时采用基于摘要索引的内容处理加速算法，有效地提高了引擎的处理效率。
ICE通过多协议融合分析技术和事件关联再分析技术，综合内容实体，时间因素，提高了安全事件的检测率。
ICE采用标准化技术，对内提供统一服务接口，使安全功能易于扩展，充分满足安全需求的快速发展；
对外实现安全策略的统一配置，给用户带来可管理的等级化安全。
高可靠多重冗余协议
利用电信骨干网可靠性运营维护专业经验，天清汉马USG防火墙通过创新的多重冗余协议，在物理层、链路层、网络层、实体层等多个层面实现多元化冗余设计，有效地保障天清汉马USG防火墙在用户网络应用中的高可用性。
●基于多出口负载均衡的链路备份。
链路层支持多WAN口出口，实现多出口间的负载均衡和备份，任何一条链路的故障瘫痪不会影响网络的正常运行。
●基于802.3ad标准的端口聚合。
物理端口支持802.3ad标准，可实现多物理端口聚合，帮助用户做到“零投资”带宽倍增。
●基于状态自动探测的双机热备。
当主系统发生故障或对应线路的网络故障时，备份机可自动检测并切换到主状态，接管主系统的工作，切换时间小于1秒钟。
●基于状态增量同步的多机集群。
支持主动负载均衡、会话保护和接管以及主动配置同步等功能，尤其是采用国内首创的“状态增量同步技术”解决多台防火墙之间的状态一致性问题，实现了业务在多台防火墙之间的平滑任意分布和切换，解决了采用VRRP协议和动态路由协议带来的“业务续断问题”，最多可以支持高达8台的防火墙集群。
事件关联分析技术与归并处理机制
对用户的多个网络行为进行关联，是提高检测精度的有效手段。
比如一个用户首先对HTTP服务进行了慢速CGI扫描，服务端反馈的结果证明其运行了可能含有漏洞的某个CGI，之后该用户又发送了包含ShellCode的请求，从这两次行为分别看，每个都不能绝对的将其界定为恶意行为，如果将两个行为联系起来，则基本可以确定该行为的高风险等级。
针对大规模的监测系统应用中可能出现一个网络异常行为在多个监测点作为事件报告而形成事件洪流的问题，数据关联性分析模块首次提出并采用了基于统计分析的二次事件分析技术，能够对不同时间、不同地点、不同事件的大量信息进行统一处理，简洁、准确地报告出正确的网络安全事件。
高速深层检测技术
⏹高精度应用层协议分析
协议分析是深度检测必不可少的环节，它可以减少特征匹配的计算量，提高匹配精度。
但是深度的协议分析本身也需要相当大的计算量，如何既保证特征匹配和文件还原所需的分析精确度，又不占用过多的资源，是高速环境下必须面对的课题。
我们将主要通过以下两方面来解决这一问题，
1）基于攻击研究和特征知识库选择分析深度。
协议分析不需要的无限制的精细，否则入侵防御系统将变成一个低效的应用代理系统，协议分析应该建立在对网络攻击研究的基础上，对特征知识库中需要的协议信息进行分析，这点的实现关键集中在攻击研究上，软件实现中可通过编译时的条件控制和运行时对特征库进行扫描设置相应开关完成；
2）高效协议自识别算法。
对于非周知端口的通信，需要通过内容识别其所属的协议类型。
这一内容识别的过程类似于攻击检测的特征识别过程，可以通过多阶段分析和匹配算法的选择降低计算开销。
⏹多模匹配算法选择
由于在一个报文的匹配中，最为耗时的匹配运算是在报文中匹配多个串模式。
过去的几十年中学术界提出了若干的多模匹配算法，并且在工业界得到了很好的应用，比如AC算法、WM算法在软件检测系统中证明了其优秀的性能。
在以往的多模匹配算法通常是在理论分析的基础上，在IA32架构和随机数据源上进行实验选择，且算法一经确定就固化在软件中。
实际这样得出的算法不能保证在所有的处理器架构和数据源条件下都保证是已知算法中最优的。
现在在学术界存在多种多串并行匹配的算法，在商业产品中应用较多有Aho-Corasick、Wu-Manber和ExB算法或它们的变种。
根据研究发现，所有这些算法的性能分析全部是基于理想的存储模型，忽略访存的性能开销。
由于存储器速度远低于处理器速度，两者相差一个数量级以上，为避免存储器效能低造成系统整体的效能低下，绝大多数系统采用多级存储结构，增加少量的高速缓存隐藏存储器的性能瓶颈。
但是在多串匹配算法中，数据结构非常庞大，并且匹配过程中不断在非连续的地址间跳转，此时高速缓存的命中率大幅下降，不考虑访存开销显然已不能反映各算法在实际应用中的效能。
实际上不存在一种普适的算法能够在各种情况下都有最佳表现，同样的算法可能在不同的数据源、特征集、处理器结构上性能相差甚远。
我们将结合具体的硬件（处理器）架构和匹配规则的分布类型，将其抽象为与匹配算法效能相关的若干关键参数，计算出当前适用的最优算法。
具体采用动态和静态两种方式实现自适应选择。
如下图，
图2.自适应示意图
静态自适应在系统初始化时进行，统计各协议变量特征及相关匹配模式特征，结合备选多模式匹配算法的性能特征，为规则匹配树节点选择最优的多模式匹配算法。
控制参数包括处理器类型、主频、CacheLine长度、L2Cache容量、存储器时延、最短模式长度、次短模式长度、模式数量、模式字符集大小、同前缀模式数量等等。
动态自适应在系统运行过程中采样统计影响算法效率的网络数据，如果统计值显示当前网络数据趋势稳定，则进行动态算法选择，确定是否有大幅超过当前算法效率的算法模块存在，并进行调用。
⏹最优规则树
特征匹配的过程不仅包括串匹配，还有对诸如地址、端口、协议类型等等许多协议字段的匹配。
为了方便，我们将多个协议字段构成的模式称为多数据类型模式，与上面提到的串模式进行区分，串模式可以认为是多数据类型模式的一个子集。
在以往的工作中，我们受AC算法的启发，将其扩展到多数据类型模式匹配，即将多个模式中的相同协议字段归并，构建一个或多个树型模式结构，达到一次匹配多个模式的目的。
与串匹配不同的是，多数据类型模式中，每种数据类型的单次匹配开销是不同的，在实际运行中的命中几率也是不同的。
同样是树型数据结构，其最佳效率和最差效率相差可能在一个数量级以上，如果能将低命中率、低匹配开销的工作尽可能提前，将会接近最佳的匹配效率。
智能内容过滤技术
内容分析子系统要充分发挥当前处理器所具备的多核能力。
一个大的原则就是数据交换过程中尽量避免核间和核内的临界锁以及字符串拷贝，所以数据的生产者和消费者应该使用一个大的缓冲区来交换数据。
传统的做法就是把这个缓冲区变成一个环形队列，捕包程序和协议栈程序分别持有一个写指针和读指针，只要两个指针不互相超越就可以。
在协议栈单线程的情况下这种方法没有问题，但是在多核情况下，为了充分发挥硬件的计算能力，必须把内容分析过滤子系统多线程化（并行化）。
但是上述数据交换方式在内容分析多线程的情况下就出现了问题。
当协议栈多线程的时候，必须使用专门的线程实现捕包程序捕获的数据包的分发，也就是把数据包分发到相应的线程进行处理。
这样问题也就出现了：
那个环形缓冲区的读指针不再正确。
这是因为，为了避免拷贝操作，分发线程并没有将捕包程序捕获的数据进行拷贝以后再分发，而是直接对其指针进行操作，在这种情况下，分发程序是不知道协议栈什么时候能够分析完成并释放缓冲区的，因而分发程序不可以直接简单增加环形队列的读指针来申明当前缓冲区以消费完成，可以写入新的数据。
又由于协议栈分析时多线程同时进行，没有办法确定每一数据包分析完成的时间，这样很难确定环形缓冲区的读指针了。
为此，天清汉马USG防火墙采用了如下的解决方法：
依然遵循数据交换的大原则，依然采用大的缓冲区来交换数据，但是对缓冲区的形式作一个变换。
最初定义的是直接在缓冲区上定义读写指针将缓冲区当成环形队列使用，现在不同是缓冲区不再是一个环形队列，而被分成了独立的两部分：
空闲缓冲区队列和已使用缓冲区队列。
注意这里提到的两个缓冲区不是具体的数据缓冲区，而是保存数据缓冲区数据单元指针的指针列表。
捕包程序在捕获一个数据包之前，从空闲缓冲区队列的头部取下一个空的存储单元（为了提高访问速度，采用内存边界对齐的数据单元，比如说2k字节一个单元），将从网卡读入的数据拷贝到这个缓冲区以后，捕包程序将这个缓冲单元挂到已使用缓冲队列的尾部。
分析线程在从缓冲区取数据的时候从已使用缓冲队列的头部取下一个数据单元进行消费，消费完成以后直接将这个数据单元挂到待发送缓冲区队列就可以了，这样既避免的锁定，也避免了内存拷贝。
而且可以充分利用缓冲区的空间。
上述过程构成了本方案的多目标分发机制。
基于多目标分发的多线程连接级并行的内容分析子系统本质上是同时运行多个逻辑上独立的并行内容分析协议栈，结构框如图示。
图3.并行内容分析协议栈
并行协议栈通过一个数据分发器将捕包系统捕获的网络数据包按照IP包首的源地址和目的地址对分发到相应的线程进行处理，并通过一个发送单元收集器完成数据单元的发送，数据发送完毕以后将发送单元占用的数据单元返回给空闲存储单元队列供数据捕获系统使用，让捕包系统重复利用这些单元，实现捕包到分析的零拷贝过程。
每一个内容分析线程均有一个私有的协议栈状态表和两个数据队列索引，其中协议栈状态表是协议栈在进行IP协议、TCP协议已经上层应用协议还原的时候用来保存上下文信息和暂存数据使用，而两个数据队列索引则分别用来存储待分析的数据块和已分析块。
这样，任何一个协议栈线程在进行数据操作的时候都不会和其他协议栈线程共享数据块，避免协分析线程间的临界锁，提供整个系统的计算吞吐量。
此处的多目标分发机制具有如下特点：
●实现了内容分析子模块从数据分析过滤的零拷贝过程
●避免了核间和核内的临界锁，极大的提高了内容分析子系统的计算资源利用率
基于应用的识别控制
天清汉马USG防火墙系列拥有目前最完善的应用识别特征库，通过智能分析技术，将P2P、IM、炒股软件和在线游戏等协议的应用行为、加密方式、处理动作等特点整理成库。
当流量经过防火墙时，防火墙启动过滤引擎，对流量进行特征值的匹配。
当过滤引擎搜索到与之匹配的特征码时，防火墙即可应用智能识别技术进行细粒度控制或一键封锁。
如何快速而准确地识别各种上网行为，是决定防火墙性能的关键因素。
天清汉马USG防火墙从如下几个方面保障内容识别的高速与准确。
智能匹配技术
在特征库上的设置上，天清汉马USG防火墙按照所有上网行为的特点进行了分类，并对P2P、IM、炒股以及在线游戏等上网行为设置了不同的特征库。
当数据包到达防火墙时，防火墙首先根据用户定制策略将其分配到其对应的特征库管道，如P2P下载行为的流量被输送到P2P特征库管道，即时通讯的流量则被输送到IM特征库管道。
流量被分发到相应的特征库管道以后，再由相应的搜索引擎对流量进行扫描。
这样既大大减少了搜索引擎检索的时间，又提高了过滤引擎的性能。
多线程扫描技术
天清汉马USG防火墙采用多线程扫描技术，提高了引擎扫描的效率。
比如当BT数据流和MSN数据流同时进入防火墙时，防火墙内容搜索引擎不是在检索完BT数据流以后再去检索MSN数据流，而是可以同时启动BT搜索引擎和MSN搜索引擎。
两个搜索引擎同时工作而互不影响。
这种多线程处理机制同样适用于2种以上不同类型的数据流同时经过防火墙的情况，快速提升了搜索引擎的工作效率。
应用感控技术
启明星辰新一代P系列防火墙具有与传统的基于端口和IP协议不同的方式进行应用识别的能力，并执行访问控制策略。
例如允许用户使用QQ的文本聊天、文件传输功能但不允许进行语音视频聊天，或者允许使用WebMail收发邮件但不允许附加文件等。
应用识别带来的额外好处是可以合理优化带宽的使用情况，保证关键业务的畅通。
虽然严格意义上来讲应用流量优化（俗称应用QoS）不是一个属于安全范畴的特性，但P2P下载、在线视频等网络滥用确实会导致业务中断等严重安全事件。
精确细致的WEB过滤技术
天清汉马USG防火墙系列在内容过滤库的处理上力求收集齐全、分类准确、更新及时。
通过采用网站全智能搜索引擎技术收集互联网站点，并进行智能分类、人工核验的处理手段。
目前天清汉马USG防火墙支持50多种完善的URL类别，分别涉及色情、暴力、赌博、毒品、犯罪、病毒、体育、财经、娱乐等网站分类，这50多个URL类别库总共包含1000万以上特征网站，具有分类全，覆盖面广的特点。
另外，由于在互联网上每天都有大量新网站出现，启明星辰通过在线升级的方式，使URL库中的网站处于持续的更新状态。
完备的关联安全标准
启明星辰具备完备的关联安全标准即（CSC:
CorrelativeSecurityCriterion），以“面向业务的安全架构”为技术理念，以“统一安全，立体防御”为设计目标，参照国际标准，系统地开发了安全管理协议、安全联动协议、安全审计协议等协议族，构成了完备的关联安全标准。
天清汉马USG防火墙系列全面支持CSC标准，一方面可以保证安全管理中心可以通过安全管理协议全面掌控防火墙的运行，另一方面通过统一的事件格式、事件等级、发送协议，使安全审计中心只要遵从安全审计协议即可以对防火墙的安全事件进行集中、可视化审计。
同时，天清汉马USG防火墙遵从安全联动协议，可以使主机安全软件，入侵检测等系统以防火墙为核心构建深度安全防御体系，使网络安全从独立、单一防护的安全产品保护发展为立体、全面、动态的防护。
非法连接过滤技术
将系统获取的网络数据按标准的以太数据结构、IP数据结构、TCP/UDP数据结构，并进行TCP的会话查找，每条会话相对应源和目的MAC地址、源和目的IP地址、源和目的端口地址、连接次数等。
将上述所获的网络连接信息放入网络连接知识库中，该缓冲区
升级会员 