网御星云日志审计系统产品白皮书V10.docx

1、网御星云日志审计系统产品白皮书V10密级：公开产品白皮书网御安全管理系统-日志审计系统1日志审计的需求与挑战1.1日志审计需求分析日志，是对IT系统在运行过程中产生的事件的记录。通过日志，IT管理人员可以了解系统的运行状况。而通过对安全相关的日志的分析，IT管理者可以检验信息系统安全机制的有效性，这就是安全日志审计，简称日志审计。而日志的产生、收集、审计分析和存储的全过程称作日志管理。日志审计需求主要源自于两个方面的驱动力。一方面，从企业和组织自身安全的需要出发，日志审计能够帮助用户获悉信息系统的安全运行状态，识别针对信息系统的攻击和入侵，以及来自内部的违规和信息泄露，能够为事后的问题分析和调

2、查取证提供必要的信息。有研究指出，69%的攻击行为实际上都有日志留存，而根据国际著名的安全研究与教育组织SANS发布的2011年度日志管理调查报告显示，在受访的747个大中小规模的组织中，超过89%的组织都进行了日志管理。而他们进行日志管理的首要原因是监测与跟踪可疑的行为，例如非授权访问、内部信息泄露，等等。另一方面，从国家法律法规、行业标准和规范的角度出发，日志审计已经成为了满足合规与内控需求的必备功能，例如：GB/T 22239-2008信息安全技术 信息系统安全等级保护基本要求对于二级以上信息系统，在网络安全、主机安全和应用安全等基本要求中明确要求进行安全审计。而日志审计是符合这些要求的

3、基本手段。互联网安全保护技术措施规定（公安部82号令）第八条要求具备“记录、跟踪网络运行状态，监测、记录用户各种信息、网络安全事件等安全审计功能”。商业银行内部控制指引第一百二十六条指出“商业银行的网络设备、操作系统、数据库系统、应用程序等均当设置必要的日志。日志应当能够满足各类内部和外部审计的需要”。银行业信息科技风险管理指引 第第二十七条要求银行业应制定相关策略和流程，管理所有生产系统的日志，以支持有效的审核、安全取证分析和预防欺诈。 保险公司信息系统安全管理指引（试行）第四十四条要求“对主机系统进行审计，妥善管理并及时分析处理审计记录。对重要用户行为、异常操作和重要系统命令的使用等应进行

4、重点审计”。 1.2日志审计面临的挑战当前客户在进行日志审计的过程中几乎都面临着相似的挑战。这其中最主要的三个挑战是：日志分散、日志格式不统一、日志量巨大。日志分散客户网络中信息系统相关的各种软硬件设备、安全防护设施都会产生日志。并且这些设备都分散在网络的不同位置。他们各自产生日志，并有各自的控制台进行日志查看，这对审计人员而言简直就是噩梦，根本没有精力去查看这么多控制台，更不要说分析其中的日志信息了。 日志格式不统一每种设备类型的日志格式都不相同，各有各的表达，即时是表达同一件事情，也都有各自的表达方式。例如同样的登录失败信息，防火墙中的描述和主机操作系统中的描述格式就可能根本不相同。这迫使

5、审计人员去了解每种设备类型的格式。 日志量巨大很多设备，尤其是网络安全设备产生的日志量十分巨大，单个防火墙每秒就可能产生上千条的日志信息，而全网的设备每天产生的日志量就更加可观，可能数以百GB计。审计员去查看这么多的日志根本不可能，即便是将它们存起来都是个问题。1.3如何应对挑战客户需要日志审计，更需要应对所面临的挑战。客户需要从组织策略、处理流程和技术体系等多方面进行统筹考量，客户应该借助一个日志审计平台来为其审计工作提供技术支撑。这个日志审计平台应该能够实现对客户分散的海量日志进行收集，对这些日志格式进行规范化统一描述，实现对日志的集中化存储、分析、审计和展示，并符合相关法规标准的符合性要

6、求。2产品综述2.1产品简介网御星云推出的网御安全管理系统V3.0-日志审计系统（以下简称LEADSEC-RS）是立足于公司十年信息安全积累的基础之上，基于客户需求的日志审计平台及日志管理解决方案。日志审计系统能够通过主被动结合的手段，实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息，并将这些信息汇集到审计中心，进行集中化存储、备份、查询、审计、告警、响应，并出具丰富的报表报告，获悉全网的整体安全运行态势，实现全生命周期的日志管理。LEADSEC-RS融合多种信息安全技术和管理理念，充分实现组织、管理、技术三个体系的合理调配，帮助用

7、户进行基于日志的综合审计和日志全生命周期管理，从而最大化的保障网络、主机和应用系统安全机制的有效性。LEADSEC-RS具有广泛的应用范围和客户群，在政府、电信、金融、电力、军工等行业均有成功的应用。2.2系统组成LEADSEC-RS包括审计中心、日志采集器和日志代理三个部件。日志采集器和日志代理实现对审计数据源（主机/服务器类、网络类和安全类等）的日志信息统一收集，然后上传给审计中心进行集中化存储、分析和审计。同时，审计中心自身也可以直接收集审计数据源的日志信息。审计中心 审计中心，即LEADSEC-RS的管理中心，是LEADSEC-RS的核心部件，实现了对日志的集中化存储、备份、查询、审计

8、、告警、响应，以及出具报表报告。用户的审计员通过浏览器即可登陆审计中心，进行各种审计操作。审计中心内置日志采集功能，可以直接收集审计数据源的日志信息。审计中心也可以汇聚来自日志采集器和日志代理的日志信息。日志采集器 日志采集器可以安装并独立运行在一台服务器上，实现对异构审计数据源的日志采集，功能同审计中心的日志采集模块，用以辅助审计中心解决特定日志采集的问题，并可以实现分布式日志采集能力。日志采集器收集的日志可以转发给审计中心。日志代理日志代理用于安装并运行在审计对象上，实现对审计对象的数据源采集和转发。目前，日志代理支持Windows操作系统，主要用于采集Windows 操作系统及其服务与应

9、用的日志。日志代理收集的日志可以转发给日志采集器，或者直接转发给审计中心。2.3系统结构LEADSEC-RS采用组件式平台架构，实现了分层的逻辑架构，包括：审计数据源层、日志采集层、业务层和应用层。如下图所示：审计数据源层审计对象层是指审计数据源对象，包括各类型的网络设备、安全设备、数据库、应用系统、主机等能产生相关日志的设备和信息系统。日志采集层该层利用SYSLOG、SNMP、ODBC、OPSEC、文件等多种协议方式，从审计对象获取日志，并对原始日志信息进行范式化、分类、过滤、归并，统一推送到业务层进行分析、存储。业务层利用关联分析引擎对采集的日志进行分析，触发规则，生成告警记录；通过高性能

10、海量数据存储代理将日志进行快速存储；通过分布式查询引擎实现日志查询；通过日志聚合引擎实现日志抽取。应用层面向系统的使用者，提供一个图形化的显示界面，展现安全审计系统的各功能模块，提供综合展示、资产管理、日志审计、规则管理、告警管理、报表管理、权限管理、系统管理、知识维护等功能。2.4产品功能规格功能项功能描述日志采集系统支持对包括网络设备、安全设备与系统、主机、中间件、数据库、存储、应用和服务在内的多种审计数据源的日志采集。系统支持以Syslog、SNMP Trap、FTP、OPSEC LEA、NETBIOS、ODBC、WMI/Win RPC、Shell脚本、VIP、Web Service等协

11、议进行日志采集。日志范式化系统自动对所有采集到的日志进行范式化处理，对不同日志格式进行统一描述，并进行日志分类，增加日志类型。日志过滤系统可以对采集到的日志进行基于规则的过滤处理，去掉无意义的日志，消除日志噪声。日志归并系统可以对采集到的日志进行基于规则的归并处理，将相同的日志内容进行合并，并记录事件条数，提升日志质量。日志采集器系统提供可另外部署的日志采集器，每个采集器都能对日志进行采集、范式化、过滤和归并，实现分布式日志采集。日志采集器统一接入审计中心，实现集中化日志审计。日志代理系统提供可另外部署的日志代理，安装并运行在审计对象上，实现对审计对象的日志采集和转发。日志代理统一接入审计中心

12、或者日志采集器。审计数据源管理系统能够对审计数据源以资产的形式进行统一的维护，能够以列表或者拓扑的方式查看资产清单和详细信息，可以查看每个审计数据源的日志和告警信息。日志实时监视系统提供了实时审计视图，审计员可以根据内置或者自定义的实时监视策略，从日志的任意维度实时观测安全事件的走向，并可以进行事件调查、钻取，并进行事件行为分析和来源定位。日志统计分析系统提供了统计视图，审计员可以根据内置或者自定义的统计策略，从日志的多个维度实时进行安全事件统计分析，并以柱图、饼图、堆积图等形式进行可视化的展示。日志查询用户可自定义查询策略，基于日志时间、名称、地址、端口、类型等各种条件进行组合查询，并可导出

13、查询结果。日志关联分析系统具备日志关联分析功能。系统提供了可视化的规则编辑器，用户可以定义基于逻辑表达式的关联规则，所有日志字段都可参与关联。规则支持统计计数功能，可以对达到一定统计数量的日志进行告警。日志存储系统将收集来的日志统一安全存储和备份。系统支持数据的自动或手动备份，备份数据可手工恢复，用作日志回查。综合展示系统的综合展示功能为不用层级的用户提供了多视角、多层次的审计仪表板。用户可以自定义仪表板。告警管理系统支持事件属性重定义、弹出提示框、发送邮件、发送SNMP Trap、发送短信、执行命令脚本、设备联动、发送飞鸽传书、发送MSN、发送Syslog等告警方式。告警信息可查询，可导入导

14、出。报表管理系统内置了丰富的报表报告模板，包括统计报表、明细报表、综合审计报告，审计人员可以根据需要生成不同的报表。报表可以调度生成。系统内置报表编辑器，用户可以自定义报表。用户管理系统采用基于角色的权限管理机制，提供三权分立设计，内置系统管理员、用户管理员和审计管理员。系统管理系统具有丰富的自身配置管理功能，包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。2.5支持审计数据源目前，LEADSEC-RS支持的部分厂商设备类型如下表所示：设备类型厂商或产品交换机Cisco、Extreme、Juniper、博科、华为、H3C、神州数码、锐捷

15、路由器Cisco、Extreme、Juniper、华为、H3C、神州数码、锐捷 防火墙 /UTM/USG 网御星云、Cisco、Juniper Netscreen、飞塔、Checkpoint、Nokia、Bluecoat、天融信、东软、方正科技、网御神州、亿阳信通、中科网威、中网、阿姆瑞特、卫士通、H3C、迪普、山石 VPN 网御星云、天融信、Array、Juniper 网闸网御星云、国保金泰、鸿瑞、南瑞 IDS/IPS/IDP 网御星云、Cisco、McAfee、IBM、Snort、Tipping Point、绿盟、东软、H3C、天融信、安氏、三零盛安、网御神州、理工先河 防病毒Symant

16、ec、TrendMicro、McAfee、瑞星、金山、江民、冠群金辰 Anti-DDoS网御星云、绿盟 WAF 启明星辰、Imperva、绿盟、中创InfoGuard 负载均衡设备F5、信安世纪 安全审计系统 启明星辰、复旦光华、汉邦、格尔、中软、三零盛安 操作系统 IBM AIX 、HP-UX 、Microsoft Windows、SUN Solaris、Linux及其变种 数据库Oracle、SQL Server、DB2、MySQL、Informix、Sybase、国产数据库 中间件Weblogic、WebShpere、JBoss、Apache、Tomcat、Domino网管系统HP Op

17、enView NNM、IBM NetCool、CiscoWorks存储系统HP、IBM、EMC、VERITA业务系统各种用户自有的业务系统（需要定制）其它 任意Syslog日志源、SNMP Trap日志源 对于目前暂不支持的审计数据源，LEADSEC-RS还提供了方便灵活的扩展机制。只要获得审计数据源的日志样本以及通讯协议方式，编写一份XML格式日志解析文件，导入系统，即可获得对该审计数据源的日志采集能力，无需编码。2.6产品型号规格LEADSEC-RS从产品形态上分为软件型和硬件型。2.6.1软件型规格LEADSEC-RS软件型是一套软件包，可以安装在独立的服务器上运行，系统所需运行环境如下

18、：平台支持的操作系统系统需求WindowsWindows Server 2003Windows XP ProfessionalWindows 7Windows 2008 Server最低Intel酷睿双核CPU，推荐使用Intel 至强4核以上CPU至少2GB内存，推荐4GB以上内存500GB以上磁盘空间LinuxRedhat Enterprise Linux4Redhat Enterprise Linux5CentOS最低Intel酷睿双核CPU，推荐使用Intel 至强4核以上CPU至少2GB内存，推荐4GB以上内存500GB以上磁盘空间在双Intel至强4核CPU，24GB内存下，LEA

19、DSEC-RS的日志审计性能可达到平均9000EPS。2.6.2硬件型规格LEADSEC-RS硬件型有两种型号，分别是LEADSEC-RS500和LEADSEC-RS1000。型号规格指标LEADSEC-RS5002U标准机架式，专用硬件平台和安全操作系统日志审计性能可达平均3000EPS（约合每天120GB） 5个千兆电口，1个百兆电口，支持多端口采集1个Console口有效存储容量2TB 10002U标准机架式，带冗余电源，专用千兆硬件平台和安全操作系统日志审计性能可达平均6000EPS（约合每天240GB） 4个千兆电口，支持多端口采集；可扩展4个千兆采集口（电口/光口） 1个Conso

20、le口标配采用Raid5，有效存储容量3TB3典型部署3.1单级部署如下图所示，显示了系统的一个单级部署场景。在这个单级部署场景中，审计中心可以直接采集审计数据源的日志，也可以通过外挂的日志采集器采集审计数据源的日志。3.2级联部署如下图所示，系统支持多级级联部署。4产品特点4.1高性能的日志管理技术架构对了应对海量日志管理带来的挑战，LEADSEC-RS采用了国内领先的高性能日志采集、分析与存储架构，从产品技术架构的层面，进行了系统性的设计，真正使得LEADSEC-RS产品成为一款能够支撑持续海量日志管理的系统。LEADSEC-RS采取了多种高性能设计使得系统在日志采集、分析和存储三个方面获

21、得了本质的性能提升，如下表所示：关键点采用的先进技术达到的技术效果用户价值和作用日志采集异步通讯、高速缓存、日志范式化流水线技术能够对海量异构日志进行持续不断地高速采集能够采集网络中大规模审计对象的日志日志存储高速日志存储、分布式数据存储技术TB级日志存储存储长时间的日志信息，满足合规的要求日志分析实时分析内存实时计算、复杂事件处理（Complex Event Process，简称CEP）技术实时地对日志进行监视和关联分析及时发现安全异常，快速关联出安全隐患查询分析全文检索、分布式查询技术能够快速的从TB级的日志信息中返回查询结果快速从海量日志中进行定点查询统计分析数据抽取、数据摘要等技术能够

22、实现对TB级日志的快速报表生成快速生成各类安全日报、周报、月报等4.2详尽的日志范式化与日志分类LEADSEC-RS对收集的各种日志进行范式化处理，将各种不同表达方式的日志转换成统一的描述形式。审计人员不必再去熟悉不同厂商不同的日志信息，从而大大提升审计工作效率。系统提供的范式化字段包括日志接收时间 、日志产生时间、日志持续时间、用户名称、源地址、源MAC地址、源端口、操作、目的地址 、目的MAC地址、目的端口、日志的事件名称、摘要、等级、原始等级、原始类型、网络协议、网络应用协议、设备地址、设备名称、设备类型等，数量超过50个，使范式化后的日志详尽而易读，更能满足复杂的多维度统计分析和审计要

23、求。网御星云的安全技术人员还对每种日志进行了手工分类和分析工作，加入了日志类型字段，丰富了日志所蕴含的信息量，让枯燥的日志信息变的更可理解。与此同时，LEADSEC-RS将原始日志都原封不同的保存了下来，以备调查取证之用。审计员也可以直接对原始日志进行模糊查询。4.3集中化的日志综合审计LEADSEC-RS提供了强大的日志综合审计功能，为不用层级的用户提供了多视角、多层次的审计视图。系统首先为用户提供了全局监视仪表板，可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图，以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表板，按需设计仪表板显示的内容和布局，可以为不同角

24、色的用户建立不同维度的仪表板。系统提供了实时审计视图，审计员可以根据内置或者自定义的实时监视策略，从日志的任意维度实时观测安全事件的走向，并可以进行事件调查、钻取，并进行事件行为分析和来源定位。审计员可以实时监视防火墙、IDS、防病毒、网络设备、主机和应用的高危安全事件；可以实时监视各个部门、各个安全域、各个业务系统的重点安全事件；可以实时监视全网的违规登录事件、配置变更事件、针对关键服务器的入侵攻击事件；等等。系统提供了统计视图，审计员可以根据内置或者自定义的统计策略，从日志的多个维度实时进行安全事件统计分析，并以柱图、饼图、堆积图等形式进行可视化的展示。审计员可以查看一段时间内的主机流量排

25、行、主机登录失败次数排行、活跃病毒排行、网络设备故障排行、最多访问用户排行，等等。系统提供了日志查询功能，用户可以制定查询策略，针对归一化后的日志或者原始日志进行综合条件查询和模糊查询。系统提供了规则关联、统计关联等分析方法，通过建立科学的分析模型，协助用户对日志的分析深度与安全事件的识别准确度得到进一步的提升。4.4可视化日志审计LEADSEC-RS为用户提供了丰富的可视化审计视图，充分提升审计效率。系统可以为用户展示一幅审计数据源的拓扑图，反映审计数据源的网络拓扑关系，并且在拓扑节点上标注出每个审计数据源的日志量和告警事件量。用户点击拓扑节点可以查询日志和告警信息详情。针对安全日志，用户可

26、以对其源目的IP地址进行追踪，并在世界地图上标注出来。审计员也可以对一段时间内的日志进行行为分析，通过生成一幅行为分析图形象化地展示海量日志之间的关联关系，从宏观的角度来协助定位安全问题。4.5丰富灵活的报表报告出具报表报告是安全审计系统的重要用途，LEADSEC-RS内置了丰富的报表模板，包括统计报表、明细报表、综合审计报告，审计人员可以根据需要生成不同的报表。系统内置报表生成调度器，可以定时自动生成日报、周报、月报、季报、年报，并支持以邮件等方式自动投递，支持以PDF、Excel、Word等格式导出，支持打印。系统还内置了一套报表编辑器，用户可以自行设计报表，包括报表的页面版式、统计内容、

27、显示风格等。4.6对用户网络和业务影响最小LEADSEC-RS在实现对用户网络中的IT设施进行集中日志审计的同时，采取多种技术手段，力求对用户网络和业务的影响最小化。审计数据源影响性分析以远程日志采集为主，基本不必安装在审计数据源上日志代理主要采取被动采集技术，不会对审计数据源发起主动连接，不影响审计数据源的现有安全机制网络影响性分析系统部署无需修改网络拓扑支持多端口日志采集和分布式日志采集器部署，可以就近分别采集多个网段的日志，减少日志流量的汇聚日志采集器在上传日志的时候支持数据压缩，降低网络带宽占用；支持定时上传，可以避开网络流量繁忙期4.7友好的用户交互体验LEADSEC-RS的用户界面

28、采用了WEB2.0风格，具备友好的用户交互体验。系统采用多窗口操作模式，各个功能界面之间可以快速切换，无需重复加载；界面支持换肤，每个用户都可以选择自己喜欢的界面皮肤。4.8完善的系统自身安全性保证LEADSEC-RS具备完善的自身安全性设计，保证系统自身的安全等级符合用户的整体安全策略。系统的自身安全性保证主要体现在三个方面，如下表所示：日志采集日志采集器与审计中心之间支持加密通讯日志采集器支持存储转发、断点续传日志存储存储原始日志日志加密混淆存储，防止非法访问和篡改单条日志不能修改、删除支持日志定期备份系统访问浏览器访问支持HTTPS协议（私密性、完整性） 采用基于角色的访问控制机制 用户

29、身份三权分立，内置系统管理员、审计管理员、用户管理员支持双因素认证 支持Radius、LDAP集成4.9无缝向安全管理平台扩展日志审计系统主要功能是收集异构的安全日志，进行存储、分析、告警和报告。作为长期发展规划，实现安全管理平台是最终目标。安全管理平台不仅包括安全日志（事件）管理，还包括资产/业务管理、应用性能管理、安全风险管理、安全运维管理（工单流程、知识库）和安全态势感知等。LEADSEC-RS安全管理平台采用与LEADSEC-RS完全相同的技术框架，因此，安全管理平台建设可以在现有日志审计系统基础架构上，通过热插拔的方式实现安全管理的其他功能模块，实现向安全管理平台的无缝扩展。5产品功

30、能5.1综合展示用户登录即可进入综合展示首页。通过首页，能够快速的导航到各个功能。用户能够通过仪表板从不同的方面对日志进行审计，可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图，以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表板，按需设计仪表板显示的内容和布局，可以为不同角色的用户建立不同维度的仪表板。用户可以对展示界面进行换肤 。5.2资产管理系统提供资产管理功能，可以对网络中的审计数据源资产进行管理。除基本资产信息外，系统提供灵活的资产分类功能，实现对资产的分类管理。系统提供基于拓扑的资产视图，可以按图形化拓扑模式显示资产，并可编辑资产之间的网络连接关系，通

31、过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。5.3日志采集系统能够采集各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的日志，通过Syslog、SNMP Trap、FTP、OPSEC LEA、NETBIOS、ODBC、WMI、Shell脚本、VIP、Web Service等协议进行采集。用户仅需安装部署审计中心，无需另装采集器，即可实现对日志的采集工作。系统也支持通过日志采集器和日志代理的方式采集日志，完全取决于用户的实际需要。5.4日志范式化与分类对于所有采集上来的日志，系统自动进行范式化处理，将各种厂商各种类型的日志格式转换成系统一的格式。系统提供的范式化字段包括日志接收时间 、日志产生