大数据平台漏洞扫描系统产品白皮书.docx
《大数据平台漏洞扫描系统产品白皮书.docx》由会员分享，可在线阅读，更多相关《大数据平台漏洞扫描系统产品白皮书.docx（15页珍藏版）》请在冰豆网上搜索。
大数据平台漏洞扫描系统产品白皮书
大数据平台漏洞扫描系统
产品白皮书
2019年1月
1为什么要大数据平台漏扫
1.1背景描述
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。
充分利用集群的威力进行高速运算和存储。
具有可靠、高效、可伸缩的特点。
Hadoop的核心是YARN,HDFS和MapReduce。
Hdfs是分布式文件存储系统，用于存储海量数据；MapReduce是并行处理框架，实现任务分解和调度。
Hadoop可以用来搭建大型数据仓库，对海量数据进行存储、分析、处理和统计等业务，功能十分强大。
Hadoop具有成熟的生态系统，包括众多的开源工具，从下图可········以大致看出Hadoop生态圈的庞大。
图1
为了进一步提升大数据应用平台安全管理水平、防止数据资产的泄露及违规访问行为，践行工信部《电信和互联网用户个人信息保护规定》（工业和信息化部〔2013〕第24号），工信部《关于加强电信和互联网行业网络安全工作的指导意见》（工业和信息化部〔2016〕第368号），需要进一步提升大数据平台安全管理水平，增加大数据平台数据资产的安全防护能力。
大数据安全管理技术可有效提高大数据平台的安全性、可靠性，及时发现大数据平台存在的风险，实现主动防御，同时对业务系统和核心数据起到技术层面的防护，有效降低敏感数据泄漏事件发生的概率。
1.2风险分析
熟悉大数据的应该都知道，目前的大数据生态组件，比较常见的就是Hadoop。
这个组件不是一个软件，是一系列的生态组件。
现在的列式数据库、机器学习，还有其他各种各样的应用越来越多，如HDFS、YARN和MapReduce等等，它的组件生态越来越复杂。
大数据平台安全问题来自两个方面，一方面是平台自身确实存在一些漏洞，另一方面是大数据组件本身提供的一些功能，也可能会诱发一些隐患。
这些隐患主要来源于三个方面：
1.是基于安全配制，我们经常用的Apache的发行版，或是CDH、HDP，安全配置并不是默认全开了的。
2.是安全性上比较脆弱。
我们知道2006年Hadoop从谷歌开源出来，并没有没有考虑安全性的问题。
后来版本不断迭代，很多厂商才为它提供了安全的功能。
3.由于采用分布式的架构，这和数据库原来集中式的架构是有很大区别的，它的复杂结构也带来一系列的安全问题。
如越权访问、账户冒充、数据泄密、网络扫描、暴力破解、嗅探监听、物理攻击、勒索攻击等。
2产品概述
2.1产品描述
大数据平台漏洞扫描系统是基于漏洞知识库，通过采集信息、执行漏洞检测脚本对指定的大数据组件的安全脆弱性进行检测，发现可被利用漏洞、不安全配置并实时预警的一款主动防御产品。
图2
2.2大数据组件支持
支持大数据平台组件有Hbase、Hadoop、Spark、Zookeeper、Solr、ES、redis、mongoDB等。
2.3产品框架
大数据平台漏洞扫描系统总体框架分为展示层、智能漏洞分析、分布式引擎、扫描引擎四个层面。
1.展示层负责大数据资产、漏洞风险以及基线核查结果的显示。
2.漏洞分析层负责目标资产的信息收集、报告分析、人机交互以及漏洞风险预警等。
3.分布式引擎主要是负责扫描引擎的智能调度。
4.扫描引擎层主要负责对目标大数据组件进行漏洞以及基线配置情况进行扫描。
图3
2.4设计原则
Ø实用性
以现行需求为基础，充分考虑发展的需要来确定系统规模。
Ø安全性
系统建设必须具有较高的安全性和可靠性。
系统应当结合各类安全产品与安全措施，切实保障系统的平稳运行。
Ø先进性
系统的设计具有先进性，采用当今成熟的技术架构，以及国内先进的设备，实现稳定、便捷的操作和运行模式，并符合未来三年的技术发展趋势。
Ø扩展性
系统结构设计应易于升级和扩展，能满足业务的需求；设备必须充分考虑未来业务应用扩容的需要，具有可扩充性，能较好的保证为应用系统提供较长期的运行平台。
Ø易用性
系统界面应简单、统一、通用，符合现在的办公习惯，力求操作简便，使操作人员很快能进行实际操作。
特别是经常使用的模块，应保证能方便快捷地完成日常工作。
减少人与系统的磨合，降低系统维护的工作量，保障项目的成功实施和顺利推广。
2.5产品设计
2.5.1数据设计
主要包含数据分类、数据存储。
2.5.1.1数据分类
1、数据库引擎数据：
通过执行数据库策略而来的数据，该数据由数据库扫描引擎执行数据库扫描策略，可获取数据库扫描漏洞数据。
2、大数据组件扫描引擎数据：
通过执行扫描策略而来的数据，该数据由扫描引擎执行大数据组件扫描策略，可获取大数据组件扫描漏洞数据。
3、WEB扫描引擎数据：
通过执行WEB扫描策略而来的数据，该数据由WEB扫描引擎执行WEB扫描策略，可获取WEB扫描漏洞数据。
4、基线扫描引擎数据：
通过执行基线扫描策略而来的数据，该数据由基线扫描引擎执行基线扫描策略，可获取基线扫描结果数据。
5、弱口令引擎数据：
通过执行弱口令字典对目标主机进行弱口令扫描，可获取弱口令数据。
6、告警数据：
通过对目标主机进行扫描分析，发现目标主机存在异常漏洞进行告警，告警数据由数据平台进行数据维护。
2.5.1.2数据存储
1、关系型数据库MySQL：
MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于 Oracle 旗下产品。
MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的 RDBMS （RelationalDatabaseManagementSystem，关系数据库管理系统）应用软件。
MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。
MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。
2、文件型数据库Sqlite：
SQLite，是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，它包含在一个相对小的C库中。
它是D.RichardHipp建立的公有领域项目。
它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。
它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如Tcl、C#、PHP、Java等，还有ODBC接口，同样比起Mysql、PostgreSQL这两款开源的世界著名数据库管理系统来讲，它的处理速度比他们都快。
2.5.2精准应用弱点检测
1.验证码登录扫描功能
Web应用系统用户登录界面使用验证码功能可以有效避免机器人暴力采集和恶意扫描。
目前大多Web应用系统用户登录界面均具有验证码功能。
本产品通过Cookie验证功能实现对启用验证码功能的网站进行登录扫描，满足网站的所有目录树和URL的全覆盖，保证扫描结果的全面性，有效避免漏报现象。
2.Web2.0动态执行技术
目前Web应用系统多数都从传统的Web1.0升级到了Web2.0。
Web2.0主要采用Ajax技术实现与服务器的实时通讯。
针对Ajax动态特征技术，本产品使用内嵌沙箱增强JavaScript引擎来分析每个页面，因此能够轻松应对Web2.0下的Ajax、Javascript、Render、Reflow、PaintingandEventFlow等各种事件。
2.5.3深度漏洞扫描
1、采用强大的过滤模块，过滤掉重复或者不必要的网页链接，提高运行效率；
2、单引擎单位时间的发包速率的可控化，可以有效防止扫描数据量过大影响网站正常运行的问题；
3、扫描数据实时存储，扫描过程中实时存储扫描数据和结果，不管是由于程序自身引擎中断、进程人为关闭，还是机器断电引起扫描中断，扫描数据都不会丢失，可以进行断点续扫；
4、可以自定义扫描端口范围、端口扫描策略，支持发现非默认端口启动的服务，能够根据端口服务协议识别和版本识别，有效提高漏洞发现率。
2.5.4断点续扫技术
断点续扫技术是指系统在未完成扫描任务的情况下因故中止后，通过对扫描数据源、快照数据及扫描结果的实时记录和妥善保存，在下次系统启动后，进行重新载入，继续扫描。
图4
2.5.5运行环境
Ø操作系统：
centos7
Ø数据库：
mysql5.7+
2.6主要功能介绍
2.6.1大数据组件管理与发现
2.6.1.1组件管理
可对网络中大数据组及其相关资产统一管理，包含资产名称、地理位置、资产IP/域名、资产责任人、责任人联系方式等。
图5
2.6.1.2组件发现
基于主动探测的方式，在保证对目标网络正常业务运行最低限度影响前提下，完成对目标网络全面而快速的探测。
内置丰富的指纹库，如大数据组件类型、版本、IP位置库等。
发现网络中存活的大数据组件
Ø发现大数据组件所在操作系统类型及操作系统版本
Ø发现大数据组件开启的端口
Ø发现大数据组件的地理位置
根据探测的结果，生成网络拓扑图。
图6
2.6.2大数据组件漏洞扫描
能够分析大数据组件资产的漏洞信息，并计算资产的脆弱性值，能够通过多种方式展示资产/业务系统的弱点信息，管理员可以制定周期性任务，也可以查看所有的任务及其流转的全过程，能够对任务的数量、状态（处理情况）等进行统计分析。
2.6.2.1大数据组件扫描架构
图7
1、信息采集
Ø大数据组件发现：
扫描远程大数据组件是否存活，是否可以正常通信；
Ø端口扫描：
检测远程大数据组件所开启的端口；
Ø类型识别：
检测远程大数据组件的类型，如hadoop、es等。
2、漏洞扫描
Ø支持扫描缓冲区溢出漏洞；
Ø拒绝服务攻击漏洞；
Ø弱口令漏洞；
Ø信息泄露等常见漏洞。
2.6.2.2扫描对象
支持redis、mongoDb、hadoop、hbase、elasticsearch等。
2.6.2.3扫描方式
对目标进行远程检测，且支持登录扫描，如SMB登录、SSH登录等。
2.6.3大数据组件基线配置核查
能够对大数据组件、所在系统、所依赖的其他应用软件、大数据组件相关服务中不安全配置的自动化检查，包括对ElastcSearch、Hadoop、Windows、Linux、Unix、中间件、路由交换、防火墙等资产的管理和配置核查。
从而帮助用户充分了解大数据相关资产存在的不安全配置，并协助用户修复，建立更加安全可靠的IT基础架构。
2.6.4大数据WEB扫描
一些大数据组件带得有WEB管理端或者http/https接口，WEB扫描是一款针对WEB应用开发的自动化监控预警系统，能够主动发现WEB的漏洞、实时监控WEB的安全状况、实时预警。
全面支持OWASPTOP102013漏洞检测，如SQL注入、跨站脚本、文件包含、命令执行、信息泄漏等全部漏洞；覆盖了论坛、内容管理系统（CMS）和电子商务应用系统等平台。
支持检测web可用性、网马和暗链、敏感内容以及实时web是否被篡改等。
2.6.4.1大数据WEB扫描架构
大数据WEB扫描架构如下图所示。
图8
2.6.4.2扫描对象
Ø支持全部主流Web服务器，如IIS、Apache、Nginx、Weblogic、Websphere等；
Ø支持扫描各种编程语言，如PHP、ASP、ASPX、JSP等；
Ø支持全部主流数据库，如Oracle、Mysql、MSSQL、DB2、Postgresql等；
Ø支持全部常见CMS，如Wordpress、Joomla!
、Phpcms、织梦CMS、Discuz!
等；
Ø支持全部主流框架，如Struts2、Spring等。
2.6.4.3扫描内容
Ø可用性：
多维度检查网站可用性。
图9
Ø安全漏洞：
全面覆盖OWASPTOP10漏洞，如注入漏洞（SQL注入、命令注入、链接注入、框架注入等）、跨站漏洞（反射性XSS、存储型XSS等）、框架漏洞（Struts2、Spring等）、CMS漏洞（Struts2、Wordpress、Joomla!
等）、其他漏洞（反序列号漏洞、命令执行漏洞、CSRF、弱密码、安全配置漏洞、使用含有已知漏洞的插件等）。
Ø篡改：
（1）白名单设置。
（2）图片MD5比较。
（3）页面标题比较。
（4）删除链接提醒。
（5）新链接提醒。
（6）页面相似度阀值设置。
Ø敏感内容：
（1）自定义敏感关键字。
（2）身份证信息、银行卡信息识别。
（3）图片文字识别。
（4）基于分词的语义分析：
添加了关键字“北京出租车罢工”，如果页面中出现“出租车北京罢工”、“北#京&出*租车罢工”等也可以被检测到，检测流程如下：
图10
Ø网马和暗链：
基于浏览器沙箱，检测框架挂马、图片挂马、暗链等。
检测原理如下：
图11
Ø高效爬虫：
爬虫是网站监控的核心支撑模块，爬虫爬到URL之后才可以进行进一步的篡改监测、漏洞扫描等操作，支持静态爬虫和动态爬虫。
2.6.5弱口令扫描
支持对SMB、FTP、POP3、SMTP、SSH、TELNET、SNMP、RDP、redis、Oracle、MySQL等协议进行弱口令暴力破解扫描；
支持自定义用户名、口令字典。
2.6.6大数据组件安全评分
具备通过内置的风险计算模型，综合考虑脆弱性和威胁，计算风险的可能性和风险的影响性，能够定期（年、月、日、星期、小时）计算出资产、业务系统的风险值。
2.6.7报告与任务管理
提供脆弱性检测任务的添加、删除、修改的功能；提供脆弱性检测功能周期性扫描检测的功能；提供脆弱性检测历史扫描检测任务查看的功能。
提供资产、风险、修复建议等报表、提供预览查阅功能、能够定期自动生成报表，并支持邮件自动投递的功能。
提供相关脆弱性知识库，包括漏洞信息库、基线安全配置库等功能。
3产品特点
3.1先进的漏洞管理方案
扫描系统遵循“漏洞生命周期”原理，并将之划分为五个阶段，即漏洞扫描、漏洞预警、漏洞分析、漏洞修复、修复验证，最终达到漏洞被修复的效果，形成漏洞管理闭环。
3.2智能风险分析
通过深入研究大量具有重大影响力的安全事件的攻击过程、手段和具体技术形成模型，并综合已知的大数据平台安全风险信息，形成对大数据平台安全态势的感知与预警，前摄性的阻断攻击或增大攻击代价，提高系统的安全性。
3.3实时监测和告警
内嵌多套安全规则，对大数据平台设备状态进行实时监测，对漏洞爆发进行实时告警，帮助实时掌控大数据平台安全情况。
3.4高效的检查速率
产品采用并发规则、并发任务扫描等多项技术及独创的脚本引擎调度算法，对同样的目标系统进行检测时，扫描的速度大大高于其它同类型扫描产品。
另一方面由安全研究小组精心编写的漏洞检测规则插件也很好的保证了检测的准确性，从而保证了在正确率的前提下大幅提高了检测的效率。
在进行大规模扫描时，产品支持分布式部署，充分利用多台硬件资源与带宽，加快扫描速度。
3.5可视化效果的先进性
依据引擎探测的大数据平台全面数据，利用图形化、可视化技术，通过贴近用户场景的高交互式科技感大屏，从资产态势和脆弱性态势两个角度，帮助用户直观地、全方位地了解当前网络的资产地区分布、类型分布、组件类型分布及各类趋势状态，感知辖区内整体大数据平台安全态势。
3.6非默认端口识别技术
一般情况下安装软件后都会有一个固定的服务端口，而该端口用户可以自定义修改，为了在同一台主机可以安装多个相同服务或为了不被恶意人员扫描到默认端口进行攻击，用户可能会将默认端口修改成其他端口，为实现非默认端口识别，本项目产品将针对每台主机的开放端口进行识别扫描，然后发送响应的探测数据包识别出开放端口对应的服务类型和协议。
4产品优势
4.1一键发现大数据组件
Ø扫描发现网络中存活的大数据组件；
Ø支持对目标大数据组件执行多种方式的端口扫描；
Ø识别端口对应的服务；
Ø识别操作系统类型，如Windows、Linux、Unix等；
Ø识别网络中安装的大数据组件类型，如Hbase、Redis等。
4.2完备的漏洞规则库
产品包含将近60000条策略，包括有：
Hdoop、Redis、MongoDb、Es、WINDOW测试、UNIX测试、WEB测试等，涵盖了所有常见的系统。
目前漏洞知识库完全兼容CVE国际标准，按风险级别分为高、中、低、信息四个级别。
另外还提供完善的漏洞风险级别、漏洞类别、漏洞描述、漏洞类型、漏洞解决办法及扫描返回信息，并提供有关问题的国际权威机构记录（包括CVE、Bugtraq编号），以及与厂商补丁相关的链接。
4.3高效的检查速率
产品采用并发规则、并发任务扫描等多项技术及独创的脚本引擎调度算法，对同样的目标系统进行检测时，扫描的速度大大高于其它同类型扫描产品。
另一方面由安全研究小组精心编写的漏洞检测规则插件也很好的保证了检测的准确性，从而保证了在正确率的前提下大幅提高了检测的效率。
在进行大规模扫描时，产品支持分布式部署，充分利用多台硬件资源与带宽，加快扫描速度。
4.4先进的漏洞管理方案
扫描系统遵循“漏洞生命周期”原理，并将之划分为五个阶段，即漏洞扫描、漏洞预警、漏洞分析、漏洞修复、修复验证，最终达到漏洞被修复的效果，形成漏洞管理闭环。
4.5丰富的监控报告
Ø多维度的监控报告展示；
Ø根据漏洞类型展示风险情况；
Ø根据危险等级展示风险情况；
Ø详细的漏洞内容展示；
Ø支持导出多种格式的报告，如pdf、word、html、xml等。
4.6实时预警
Ø支持实时系统预警.
Ø支持实时邮件预警。
Ø支持实时短信预警。
4.7权威、高效、专业的等保合规检查
以公安部制定的信息安全等级保护检查工具箱技术规范为设计理念，完全满足规范要求。
将耗时的政策检查自动化，实现了信息安全等级保护工作检查的流程化管理，让耗时的政策检查更快捷高效。
5系统部署
大数据平台漏洞扫描系统部署方式可以分为两种模式，单点部署和分布式部署模式。
5.1一体机部署
针对小型网络，可部署一体机大数据平台漏洞扫描系统，系统采取旁路部署模式，不影响原有网络架构。
图12
5.2分布式部署
针对大中型网络，可采用分布式部署方式进行部署，系统采取旁路部署方式部署在用户的网络环境钟。
部署图如下：
图13
6产品价值
1.实现大数据平台组件周期性漏洞扫描和基线检测，达到主动防御的效果；
周期性漏洞扫描包括：
能够根据用户指定的时间周期，定时对大数据组件的各类安全漏洞进行扫描；
基线检测包括：
能够根据用户指定的时间周期，定时对大数据组件的基线配置进行扫描。
2.满足行业合规要求，满足来自监管部门的合规性要求，有效控制合规风险；
等保2.0针对大数据提出了“大数据安全扩展要求”，通过大数据平台漏洞扫描系统进行扫描并修复漏洞和配置缺陷，提高系统安全性，满足国家法律法规要求。
3.减少安全人员负担，提高安全运维效率
自动检测大数据平台存在的安全漏洞以及基线配置情况，根据漏洞及基线扫描结果自动分析等保合规情况并与等保检查项进行自动关联。
升级会员 