当今大数据安全技术的研究.doc

1、北京邮电大学本科毕业设计（论文） 信 息 安 全 课 程 论 文 题目: 当今大数据安全技术的研究姓 名 赵 阳 学 院 理学院 专 业 数学 学 号 2013111151 2014 年 6 月II北京邮电大学课程设计（论文）当今大数据安全技术的研究摘要 大数据是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。随着大数据技术的成熟、应用与推广，网络安全态势感知技术有了新的发展方向，大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知的关键技术创造了

2、突破的机遇。本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。 实践中，我们不难发现大数据发展面临的两个问题，大数据处理技术的发展和完善，以及数据安全的考验。前者需要技术人员不懈的努力，但是在信息处理技术如此发展的今天，完成只是时间问题。而安全问题似乎更棘手，由于大数据的特殊性，安全防护变得极其重要。一旦数据发生安全隐患，影响最终结果是小事，由这个结果导致的错误判断则可能对个人、企业甚至国家带来巨大的灾难。关键词： 大数据安全 防护措施 研究进展Research on todays large data security technology ABSTRACTB

3、ig data refers to the size exceeds the commonly used software tools at run time can afford to collect, manage and process the data capacity data sets; big data is currently stored patterns and the ability to calculate the model and capacity can not meet the storage and processing of existing data Se

4、t the scale generated relative concept. As the technology matures big data, application and promotion, network security situational awareness technology with new development direction of big data technologies specific to mass storage, parallel computing, efficient query features for large-scale netw

5、ork security situational awareness of key technologies create a breakthrough opportunity. In this paper, the security situation will be the perception of large-scale network environment, big data technologies in promoting security perception to do some research.In practice, we find two problems faci

6、ng the development of big data, big data processing technology development and improvement, as well as data security test. The former requires technical staff for their tireless efforts, but such a development in the information processing technology today, completed just a matter of time. The safet

7、y issues seem to be more difficult, due to the particularity, security becomes extremely important for large data. Once the data security risks occur, affecting the final result is trivial, error of judgment by the result of this may be a huge disaster for individuals, companies and even countries.K

8、ey words：Big Data Security Protective measures Research Progress第一章 大数据的安全现状1.1大数据安全的背景调查 快速发展的互联网技术不断地改变人们的生活方式，然而，多层面的安全威胁和安全风险也不断出现。对于一个大型网络，在网络安全层面，除了访问控制、入侵检测、身份识别等基础技术手段，需要安全运维和管理人员能够及时感知网络中的异常事件与整体安全态势。对于安全运维人员来说，如何从成千上万的安全事件和日志中找到最有价值、最需要处理和解决的安全问题，从而保障网络的安全状态，是他们最关心也是最需要解决的问题。与此同时，对于安全管理者和高

9、层管理者而言，如何描述当前网络安全的整体状况，如何预测和判断风险发展的趋势，如何指导下一步安全建设与规划，则是一道持久的难题。 对于一个大规模的网络而言，面临的风险也是巨大的，可分为广度风险和深度风险。从广度上讲，以中国移动的CMNET网络为例，所辖IP地址超过3000万个，提供对外服务的网站数千个，规模大、节点类型丰富多样，伴随其中的安全问题随网络节点数量的增加呈指数级上升。从深度上讲，下一代移动互联网安全威胁主要表现在传统攻击依然存在且手段多样、APT（高级持续性威胁）攻击逐渐增多且造成的损失不断增大。而攻击者的工具和手段呈现平台化、集成化和自动化的特点，具有更强的隐蔽性、更长的攻击与潜伏

10、时间、更加明确和特定的攻击目标。以上造成了下一代安全威胁具有更强的杀伤能力与逃避能力。结合广度风险与深度风险来看，大规模网络所引发的安全保障的复杂度激增，主要面临的问题包括：安全数据量巨大；安全事件被割裂，从而难以感知；安全的整体状况无法描述。网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息；脆弱性感知则包括3个层面的脆弱性感知能力：不可见、可见、可利用；安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果；异常行为感知是指通过异常行为判定风险，以弥补对不可见脆

11、弱性、未知安全事件发现的不足，主要面向的是感知未知的攻击。随着Hadoop、NoSQL等技术的兴起，BigData大数据的应用逐渐增多和成熟，而大数据自身拥有Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式三大特性。大数据的这些天生特性，恰巧可以用于大规模网络的安全感知。首先，多类数据格式可以使网络安全感知获取更多类型的日志数据，包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等；其次，大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持，可以为高智能模型算法提供计算资源；最后，在异常行为的识别过程中，核心是对正常业务行为与异常攻击

12、行为之间的未识别行为进行离群度分析，大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间成为可能。数据分析和业务紧密相关，近两年产生的数据量是过去互联网出现以来所有数据量的总和。而随着社交网络和移动设备的普及，企业80%的数据是非结构化或半结构化的，结构化数据仅有20%。同时，全球结构化数据增长速度约为32%，而非结构化数据的增速则高达63%。 大数据为传统安全防护带来不小的安全挑战。中国电子信息产业发展研究院信息安全研究所分析师王闯表示，大数据时代的安全与传统安全相比，变得更加复杂。“这体现在两方面：一方面，大量的数据汇集，包括大量的企业运营数据、客户信息、个人的隐私和各种行为的细节记录

13、。这些数据的集中存储增加了数据泄露风险，而这些数据不被滥用，也成为人身安全的一部分。另一方面，大数据对数据完整性、可用性和秘密性带来挑战，在防止数据丢失、被盗取和被破坏上存在一定的技术难度，传统的安全工具不再像以前那么有用。” 由于这些数据已经成为企业生存的根本，信息安全防护体系的建设越发重要了。但是面对海量的数据收集、存储、管理、分析和共享，传统意义上的网络与信息安全面临新的问题。”王闯认为，“企业要从网络安全、数据安全、灾难备份和安全管理等各个角度考虑，部署整体的安全解决方案，来保障企业数据安全， 知易行难。当企业用数据挖掘和数据分析获取商业价值的时候，黑客也可以利用大数据分析向企业发起攻

14、击。“黑客最大限度地收集更多有用信息，比如社交网络、邮件、微博、电子商务、电话和家庭住址为发起攻击做准备。尤其当你的VPN 账号被黑客获取时，黑客就可以获取你在单位的工作信息，进而入侵企业网络。”绿盟科技首席战略官赵粮表示，大数据分析让黑客的攻击更精准。 通常，那些对大数据分析有较高要求的企业，会面临更多的挑战，例如电子商务、金融、天气预报的分析预测、复杂网络计算和广域网感知等。启明星辰核心研究院资深研究员周涛告诉记者，任何一个会误导目标信息的提取和检索的攻击都是有效攻击，因为这些攻击对安全厂商的大数据安全分析产生误导，导致其分析偏离正确的检测方向。“这些攻击需要我们集合大量数据，进行关联分析

15、才能够知道其攻击意图。大数据安全是跟大数据业务相对应的，传统时代的安全防护思路此时难以起效，并且成本过高。”在周涛的眼里，与传统安全相比，大数据安全的最大区别是，安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。第二章 大数据安全时代的威胁2.1大数据安全威胁 大数据架构和平台算是新事物，而且还在以一种非凡的速度不断发展着。商业和开源的开发团队几乎每月都在发布其平台的新功能。当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。在采用大数据的生命周期中，业界仍处于早期阶段，但公司越早开始应对大数据

16、的安全问题，任务就越容易。如果安全成为大数据集群发展过程中的一种重要需求，集群就不容易被黑客破坏。此外，公司也能够避免把不成熟的安全功能放在关键的生产环境中。“大数据”一词常被误解。事实上，使用频率太高反而使它几乎没有什么意义了。大数据确实存储并处理大量的数据集合，但其特性体现远不止于此。在着手解决大数据问题时，将其看作是一种观念而不是特定的规模或技术非常有益。就其最简单的表现来说，大数据现象由三个大趋势的交集所推动：包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。如今，有很多特别重视不同数据类型(例如，地理位置数据)的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同