大数据的认识与思考.docx

大数据的认识与思考.docx

《大数据的认识与思考.docx》由会员分享，可在线阅读，更多相关《大数据的认识与思考.docx（22页珍藏版）》请在冰豆网上搜索。

大数据的认识与思考

“大数据”的认识与思考

刘姝祎

1“大数据”的时代背景

1.1“大数据”的概念

纽约时报在2012年宣布“大数据时代”已经降临，“大数据”成为了时下最火热的词汇。

顾名思义，大数据是“无法任意时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合”。

Gartner认为大数据是“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。

“大数据”的要义是尽可能地收集众多可以相互叠加补充的信息，据以完成对“未来”的预测。

这些数据可能有些混乱，甚至会出现纰漏，但数据量的“多“和时间的“即刻”可以弥补数据质量的瑕疵，“大数据”将以最快的速度“预测”出最“可靠”的答案，指引人们迅速采取行动。

1.2“大数据”产生的背景

大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到2000年前后。

当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿，用户检索信息越来越不方便。

谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。

当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。

为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统（GFS，GoogleFileSystem）、分布式并行计算（MapReduce）和分布式数据库（BigTable）等技术，以较低的成本实现了之前技术无法达到的规模。

这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。

伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。

这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。

与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。

2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。

2012年3月，美国政府发布《大数据研究和发展计划》，同时组建大数据高级指导小组，以协调政府在数据领域的两亿多美元投资。

根据这一计划，美国希望利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土安全等，此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，形成了全体动员格局。

随后，英国、法国、日本等各国都相继将大数据计划作为国家战略型计划提上日程。

值得一提的是，由中国各级政府主导的大数据计划也已经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。

1.3“大数据”的特征

“大数据”具有4V的特点：

一是数据容量巨大（Volume）。

国际数据公司（IDC）的研究报告称，2011年全球被创建和被复制的数据总量为1.8ZB（2的70次方），并预测到2020年，全球将拥有35ZB的数据量。

二是数据类型众多

（Variety）。

相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。

三是数据价值密度低（Value）。

举例而言，在一个连续监控三个小时的视频中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。

四是处理数据的速度要求非常快（Velocity）。

一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。

在此基础上，阿里巴巴延伸至3个维度—可实时性、可解释性、数据准确性稳定性，这三个维度是决定数据是否有价值的关键。

1.4“大数据”的发展阶段

每种技术都有自己的生命周期，Gartner曾经指出新技术生命周期的5个阶段，即技术萌芽期（technologytrigger）、期望膨胀期（PeakofInflatedExpectations）、泡沫化的谷底期（ThroughofDisillusionment）、稳步爬升的光明期（SlopeofEnlightement），最后才能进入成熟使用期（PlateauofProductivity）。

如下图1-1所示

图1-1大数据生命周期图

而大数据正是出于期望膨胀期，预计通过近两年的发展，大数据将会在2016年达到泡沫化的低谷期，之后在5-10年的时间内经历稳步爬上的光明期，到2020年后将会到达实质的成熟使用期。

1.5“大数据”带来的机遇

（1）新一代信息技术融合应用新焦点

对大数据的处理和分析正成为未来新一代信息技术融合应用的核心支撑结点。

物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。

以大数据为结点，各项新一代信息技术应用产生的信息将不断汇集，并通过对不同来源数据的统一性、综合性的处理、分析与优化，将结果反馈或交叉反馈到物联网、移动互联网、数字家庭、社会化网络等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。

（2）信息产业持续高速增长的新引擎

大数据因其巨大的商业价值和市场需求正在推动着信息产业持续高速增长。

随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据市场的新技术、新产品、新服务、新业态将会不断涌现，大数据将为信息产业打开一个高增长的新市场。

在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。

在软件与服务领域，因为大数据中蕴含的巨大价值，带来对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。

（3）用户提升竞争能力的新动力

对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。

企业的决策正在从“业务驱动”转变为“数据驱动”。

在未来3到5年，我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距。

真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。

在零售行业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持；在服务行业，对大数据的分析可以帮助企业为消费者提供更加及时和个性化的服务；甚至在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等不可小觑的重要作用。

（4）推动商业模式的创新

对于海量数据而言，提供髙附加价值的数据分析服务，将数据封装为服务形成可对外开放、可商业化的核心能力，实现商业模式的创新，才是大数据运用的关键所在。

对于政府和企业而言，至少可以实践4种商业模式的创新。

第一是客户关系管理的创新，通过大数据分析可以根据客户的属性，从不同角度深层次分析客户、了解客户，推出新的客户关系管理平台，以增加新的客户，提高客户的忠诚度，降低客户流失率。

第二是企业经营决策指导的创新。

企业可以利用用户数据，有效提升资源利用能力，提高决策的准确性，从而提升整体运营效率。

如，沃尔玛通过分析客户购买产品的种类组合，适时推出产品联合促销信息，以提升产品的销量。

第三是个性化精准推荐。

企业根据用户喜好推荐各类产品和业务，如淘宝根据分析客户的检索数据，适时向客户推送相关产品的广告信息。

第四是创新社会管理。

政府可以将大数据运用到交通、应对突发灾害、维稳等领域中。

如，在大数据的帮助下，什么时间段、哪条路拥堵等问题，都可以通过分析得知，通过同一条路上多个用户的手机位移速度，便可以判断当时的路况，为拥堵做出准确预警。

2“大数据”的关键技术

“大数据”已经不仅是数据大这一事实了，更重要的是要对大数据进行分析以获取更多智能、深入和有价值的信息。

而随着“大数据”在越来越多的领域得到应用，“大数据”也变得越来越复杂，因此“大数据”处理技术在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。

大数据应用分析结果需要经过数据采集、预处理、存储、分析和挖掘等多多个环节才能最终呈现出来。

2.1“大数据”的采集和预处理

在数据分析界有着一个“拇指法则”，即数据分析工作至少有70%~80%的时间都花在搜集和准备数据上，而仅有20%~30%的时间花在分析本身上。

随着新技术采集手段的出现，数据来源和数据类型变得丰富多彩，企业和机构采集数据首先需要明确所需的数据内容，并制定好数据分类存储规则，以便更有效的采集数据。

按照数据所有者划分，企业数据采集源可以分成3类：

一类是企业和机构的内部数据，如系统日志、生产经营数据等；一类是合作机构的内部数据，可以通过设定好企业与合作机构的系统接口进行采集；还有一类是大量的网络公开数据，可以通过网络爬虫或者网站公开的应用开发接口（API）将所需信息从网页中采集出来。

目前一些互联网企业和开源社区开发的海量数据采集工具，如Facebook的日志采集工具Scribe、淘宝的实时数据传输平台TimeTunnel等，均已能够满足每秒数百MB的日志数据采集和传输需求。

下面就物联网及社交网络这两个“大数据”的新型来源进行简单的介绍。

（1）“大数据”与物联网

物联网是一个信息技术领域的热词，其本质是传感器技术进步的产物。

遍布大街小巷的摄像头，是大家可以直观感受到的一种物联网形态。

事实上，传感器几乎无处不在，现在大家常用的智能手机中，就包括重力感应器、加速度感应器、距离感应器、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器。

这些不同类型的传感器，无时无刻不在产生大量的数据，这些成为大数据的重要来源之一。

妥善的利用这些数据可以监测大气的温度、压强、风力，监测桥梁、矿井的安全，监测飞机、汽车的行驶状态等。

（2）“大数据”与社交网络

社交网络是互联网发展史上一个重要的里程碑。

它把人类真实的人际关系完美地映射到互联网空间，并借助互联网的特性而大大升华。

社交网络使得互联网甚至具备某些人类的特质，譬如“情绪”：

人们分享各自的喜怒哀乐，并相互传染传播。

社交网络为“大数据”带来一类最具活力的数据类型，人们的喜好和偏爱。

由于现实采集的数据与大数据分析过程中所需的数据，会存在结构不一致或不完整的情况，大数据预处理过程可以通过数据提取、转换和加载等操作，对采集的数据进行初步的组织和数量，从而提高大数据分析质量和效率。

2.2“大数据”存储技术

大数据存储需要满足海量存储、安全存储和快速读取的要求。

其中海量存储包含数据容量和数据文件量两个方面，为保障系统存储容量能够以较低成本存储海量数据并能实现快速平滑扩展，分布式存储和存储虚拟化技术被广泛采用；为更好的对系统中海量文件进行有效管理，将数据传输和数据控制分离开的对象存储架构应用广泛。

为了保障数据安全存储不丢失，大数据存储过程中会采用加密等安全技术，同时会对数据进行数次备份。

为了支持数据的快速读取和并发访问，分布式存储和对象存储架构将会更有效。

目前应用广泛的大数据海量文件存储技术主要有谷歌文件系统（GFS）和基于GFS发展的开源Hadoop分布式文件系统（HDFS）等。

一些大型网站将“数据”视为最核心的资产，他们甚至花费高昂的费用来保管这些数据，以便加快用户的访问速度。

谷歌公司购买了单独的水力发电站，为其庞大的数据中心提供充足的电力。

2.3“大数据”分析技术

当大数据的采集和存储已经完成，如何分析数据，将这些碎片化的数据系统化，在无序的数据和信息世界里寻找有序的连接，挖掘到可应用的价值，是真正驾驭大数据的重要环节。

大数据的分析技术，大致包括5个基本方法理论技术：

（1）可视化分析

可视化分析能够直观的呈现大数据特点，简单明了易于接受