大数据的认识与思考Word格式.docx
《大数据的认识与思考Word格式.docx》由会员分享，可在线阅读，更多相关《大数据的认识与思考Word格式.docx（13页珍藏版）》请在冰豆网上搜索。
与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。
2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。
2012年3月，美国政府发布《大数据研究和发展计划》，同时组建大数据高级指导小组，以协调政府在数据领域的两亿多美元投资。
根据这一计划，美国希望利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土安全等，此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，形成了全体动员格局。
随后，英国、法国、日本等各国都相继将大数据计划作为国家战略型计划提上日程。
值得一提的是，由中国各级政府主导的大数据计划也已经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。
1.3“大数据”的特征
“大数据”具有4V的特点：
一是数据容量巨大（Volume）。
国际数据公司（IDC）的研究报告称，2011年全球被创建和被复制的数据总量为1.8ZB（2的70次方），并预测到2020年，全球将拥有35ZB的数据量。
二是数据类型众多
（Variety）。
相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。
三是数据价值密度低（Value）。
举例而言，在一个连续监控三个小时的视频中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。
四是处理数据的速度要求非常快（Velocity）。
一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。
在此基础上，阿里巴巴延伸至3个维度—可实时性、可解释性、数据准确性稳定性，这三个维度是决定数据是否有价值的关键。
1.4“大数据”的发展阶段
每种技术都有自己的生命周期，Gartner曾经指出新技术生命周期的5个阶段，即技术萌芽期（technologytrigger）、期望膨胀期（PeakofInflatedExpectations）、泡沫化的谷底期（ThroughofDisillusionment）、稳步爬升的光明期（SlopeofEnlightement），最后才能进入成熟使用期（PlateauofProductivity）。
如下图1-1所示
图1-1大数据生命周期图
而大数据正是出于期望膨胀期，预计通过近两年的发展，大数据将会在2016年达到泡沫化的低谷期，之后在5-10年的时间内经历稳步爬上的光明期，到2020年后将会到达实质的成熟使用期。
1.5“大数据”带来的机遇
（1）新一代信息技术融合应用新焦点
对大数据的处理和分析正成为未来新一代信息技术融合应用的核心支撑结点。
物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。
以大数据为结点，各项新一代信息技术应用产生的信息将不断汇集，并通过对不同来源数据的统一性、综合性的处理、分析与优化，将结果反馈或交叉反馈到物联网、移动互联网、数字家庭、社会化网络等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。
（2）信息产业持续高速增长的新引擎
大数据因其巨大的商业价值和市场需求正在推动着信息产业持续高速增长。
随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据市场的新技术、新产品、新服务、新业态将会不断涌现，大数据将为信息产业打开一个高增长的新市场。
在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。
在软件与服务领域，因为大数据中蕴含的巨大价值，带来对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。
（3）用户提升竞争能力的新动力
对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。
企业的决策正在从“业务驱动”转变为“数据驱动”。
在未来3到5年，我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距。
真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。
在零售行业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；
在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持；
在服务行业，对大数据的分析可以帮助企业为消费者提供更加及时和个性化的服务；
甚至在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等不可小觑的重要作用。
（4）推动商业模式的创新
对于海量数据而言，提供髙附加价值的数据分析服务，将数据封装为服务形成可对外开放、可商业化的核心能力，实现商业模式的创新，才是大数据运用的关键所在。
对于政府和企业而言，至少可以实践4种商业模式的创新。
第一是客户关系管理的创新，通过大数据分析可以根据客户的属性，从不同角度深层次分析客户、了解客户，推出新的客户关系管理平台，以增加新的客户，提高客户的忠诚度，降低客户流失率。
第二是企业经营决策指导的创新。
企业可以利用用户数据，有效提升资源利用能力，提高决策的准确性，从而提升整体运营效率。
如，沃尔玛通过分析客户购买产品的种类组合，适时推出产品联合促销信息，以提升产品的销量。
第三是个性化精准推荐。
企业根据用户喜好推荐各类产品和业务，如淘宝根据分析客户的检索数据，适时向客户推送相关产品的广告信息。
第四是创新社会管理。
政府可以将大数据运用到交通、应对突发灾害、维稳等领域中。
如，在大数据的帮助下，什么时间段、哪条路拥堵等问题，都可以通过分析得知，通过同一条路上多个用户的手机位移速度，便可以判断当时的路况，为拥堵做出准确预警。
2“大数据”的关键技术
“大数据”已经不仅是数据大这一事实了，更重要的是要对大数据进行分析以获取更多智能、深入和有价值的信息。
而随着“大数据”在越来越多的领域得到应用，“大数据”也变得越来越复杂，因此“大数据”处理技术在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。
大数据应用分析结果需要经过数据采集、预处理、存储、分析和挖掘等多多个环节才能最终呈现出来。
2.1“大数据”的采集和预处理
在数据分析界有着一个“拇指法则”，即数据分析工作至少有70%~80%的时间都花在搜集和准备数据上，而仅有20%~30%的时间花在分析本身上。
随着新技术采集手段的出现，数据来源和数据类型变得丰富多彩，企业和机构采集数据首先需要明确所需的数据内容，并制定好数据分类存储规则，以便更有效的采集数据。
按照数据所有者划分，企业数据采集源可以分成3类：
一类是企业和机构的内部数据，如系统日志、生产经营数据等；
一类是合作机构的内部数据，可以通过设定好企业与合作机构的系统接口进行采集；
还有一类是大量的网络公开数据，可以通过网络爬虫或者网站公开的应用开发接口（API）将所需信息从网页中采集出来。
目前一些互联网企业和开源社区开发的海量数据采集工具，如Facebook的日志采集工具Scribe、淘宝的实时数据传输平台TimeTunnel等，均已能够满足每秒数百MB的日志数据采集和传输需求。
下面就物联网及社交网络这两个“大数据”的新型来源进行简单的介绍。
（1）“大数据”与物联网
物联网是一个信息技术领域的热词，其本质是传感器技术进步的产物。
遍布大街小巷的摄像头，是大家可以直观感受到的一种物联网形态。
事实上，传感器几乎无处不在，现在大家常用的智能手机中，就包括重力感应器、加速度感应器、距离感应器、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器。
这些不同类型的传感器，无时无刻不在产生大量的数据，这些成为大数据的重要来源之一。
妥善的利用这些数据可以监测大气的温度、压强、风力，监测桥梁、矿井的安全，监测飞机、汽车的行驶状态等。
（2）“大数据”与社交网络
社交网络是互联网发展史上一个重要的里程碑。
它把人类真实的人际关系完美地映射到互联网空间，并借助互联网的特性而大大升华。
社交网络使得互联网甚至具备某些人类的特质，譬如“情绪”：
人们分享各自的喜怒哀乐，并相互传染传播。
社交网络为“大数据”带来一类最具活力的数据类型，人们的喜好和偏爱。
由于现实采集的数据与大数据分析过程中所需的数据，会存在结构不一致或不完整的情况，大数据预处理过程可以通过数据提取、转换和加载等操作，对采集的数据进行初步的组织和数量，从而提高大数据分析质量和效率。
2.2“大数据”存储技术
大数据存储需要满足海量存储、安全存储和快速读取的要求。
其中海量存储包含数据容量和数据文件量两个方面，为保障系统存储容量能够以较低成本存储海量数据并能实现快速平滑扩展，分布式存储和存储虚拟化技术被广泛采用；
为更好的对系统中海量文件进行有效管理，将数据传输和数据控制分离开的对象存储架构应用广泛。
为了保障数据安全存储不丢失，大数据存储过程中会采用加密等安全技术，同时会对数据进行数次备份。
为了支持数据的快速读取和并发访问，分布式存储和对象存储架构将会更有效。
目前应用广泛的大数据海量文件存储技术主要有谷歌文件系统（GFS）和基于GFS发展的开源Hadoop分布式文件系统（HDFS）等。
一些大型网站将“数据”视为最核心的资产，他们甚至花费高昂的费用来保管这些数据，以便加快用户的访问速度。
谷歌公司购买了单独的水力发电站，为其庞大的数据中心提供充足的电力。
2.3“大数据”分析技术
当大数据的采集和存储已经完成，如何分析数据，将这些碎片化的数据系统化，在无序的数据和信息世界里寻找有序的连接，挖掘到可应用的价值，是真正驾驭大数据的重要环节。
大数据的分析技术，大致包括5个基本方法理论技术：
（1）可视化分析
可视化分析能够直观的呈现大数据特点，简单明了易于接受。
（2）数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式能更加科学的呈现出数据本身具备的特点，而这些数据挖掘的算法能够快速的处理大数据。
（3）预测性分析能力
大数据分析最重要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
（4）语义引擎
大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。
（5）数据质量和数据管理
大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理能够保证分析结果的真实和有价值。
2.4“大数据”与云计算
对于许多组织来说，“大数据”对存储容量的需求已经超出目前的存储能力。
我们正处于PB级存储时代，而EB及存储时代也即将到来。
大容量的存储不但要求系统具备在原有数据存储规格上进行扩展的能力，还要简单快速的进行扩展。
云计算就为“大数据”的诞生提供了集中采集数据和存储数据的基础。
云计算的出现改变了数据的存储和访问方式，在云计算出现之前，数据大多分散保存在每个人的个人计算机中、每家企业的服务器中。
云计算，尤其是公用云计算，把所有的数据集中存储到“数据中心”，也即所谓的“云端”，用户通过浏览器或者专用应用程序来访问。
一些大型的网站，通过提供基于“云”的服务，积累大量的数据，成为事实上的“数据中心”，这为“大数据”诞生奠定了基础。
而云计算及其技术给了人们廉价获取巨量计算和存储的能力，云计算分布式架构能够很好地支持“大数据”存储和处理需求。
这样的低成本硬件+低成本软件+低成本运维，更加经济和实用，也使得“大数据”处理和利用成为可能。
可以说云计算为“大数据”提供了存储空间和访问渠道，“大数据”则是云计算的灵魂和必然的发展方向。
而近年来国内各地也兴起了建设云计算基地的风潮，客观上为“大数据”在我国的推广和应用准备了必备的储存空间和访问渠道。
3大数据产业的应用
3.1大数据产业
“大数据”的应用能带来巨大的经济价值和社会价值，对于产业发展而言，“大数据”可以实现应用创新、降低行业内的生产成本并创造新的产业价值。
咨询机构麦肯锡最早提出“大数据时代已经到来”，在2012年发布的《大数据：
创新、竞争和生产力的下一个领域》文章上表明，在零售业、制造业、医疗卫生和公共部门，“大数据”可以加快产业规模的增长速度，降低生产运营成本；
对于企业而言，采用“大数据”可以提升企业的竞争力，改善企业的营销规划，客户定位，产品创新、工作流程优化、人力资源管理、物理管理和风险控制等多方面的能力。
目前，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。
对于“大数据”产业，政府与公共事业部门、行业企业、个人消费者是其的最终用户。
在政府与公共事业领域，“大数据”可以应用到城市规划、公共安全、公共交通、舆情管理等社会管理和民生服务领域，带来效率提升、响应速度加快、服务水平提高、管理成本下降等诸多效益。
对于行业企业，“大数据”可以应用到产品研发设计、生产运作管理、供应链管理、客户关系管理、企业品牌营销等各个环节，能够帮助企业准确把握市场需求变动、提高产品设计与生产效率、提高供应链的敏捷性和准确性、实现个性化精准营销，同时也促进IT技术的创新。
对于个人消费者，通过“大数据”的应用服务将使信息变得更加泛在，从家庭生活、出行、消费、娱乐、旅游、学习等方方面面拓展民众生活空间、提高民众的生活品质。
总结以往，“大数据”的应用价值可以分为感知现在和预知未来两部分。
（1）感知现在
通过对历史数据和当前数据的融合，以及潜在模式挖掘，力求达到对事物对群体与社会发展当前状态进行更全面、更精确、更理性的认知。
这种认知可以是宏观的，也可以是微观的。
宏观方面可以对PB级社会媒体数据、百亿级日志数据继续拧分析挖掘，掌握宏观现状，如环境指数，健康指数等。
在微观方面可以利用PB级的日志数据和EB级的监控数据，挖掘潜在线索，如犯罪行为轨迹等。
（2）预测未来
通过对“大数据”彼此之间的关联分析，演化态势和效应的判定与调控，揭示事物发展的演变规律，进而对是事物发展趋势进行预测。
如基于twitter等网上公开数据的实时感知、动态获取与综合分析，结合仿真调控，预测大选结果；
联合国“全球脉动”利用网络大数据预测失业率与疾病暴发等现象，利用数字化的早起预警信号来提前指导援助项目，以免某个脱贫地区重新陷入贫困。
这些都说明了正确的大数据应用对于准确预测事件发展趋势具有重大的价值，人们可以给予“大数据”更好的进行科学决策和事前准备，未来“大数据”预测技术将会更广泛的运用到人们的日常生活中，变革人们的生活。
3.2“大数据”在典型领域中的应用
当前“大数据”已经在物理学、生物学、环境生态学等领域，以及军事、金融、通讯等行业有所应用并带来了巨大的产业价值。
以下本文将举出实际案例以介绍“大数据”在各个领域的具体应用。
在IT领域，一个典型的案例就是eBay通过数据分析技术可以精确计算出广告中的每一个关键字为公司带来的回报，通过对广告投放的优化，自2007年以来eBay产品销售的广告费降低了99%，而顶级卖家占总销售额的百分比却上升至32%。
在经济领域，大数据在经济领域的应用可以通过这样一个有趣的案例进行说明，社交媒体检测平台DataSift检测了社交网络Facebook首次公开募股当天Twitter上的情感倾向与Facebook股价波动的关联。
在Fcebook开盘前，Twitter上的情感逐渐转向负向，25分钟之后twitter的股价就开始下跌，当twitter上的情感转向正面时，Facebook的股价在8分钟后也开始回弹，最终当股市接近收盘，twitter上的情感转向负面时，10分钟口Facebook的股价又开始下跌，该机构得出结论，Twitter上每一次情感倾向的转向都会Facebook股价的波动高度关联。
这证实以大数据预测未来股价走向的典型案例。
气象预测方面，一家美国公司把气象数据放在亚马逊的“云平台”上进行处理，以及时提供气象预报的方式，保证当地的农牧业主在特定的地区以及特定的季节不会遭受天气灾害，由此获得了丰厚的利润。
智能交通方面，根据路网监控，火车票及飞机票的预定，以及网上地图查询记录，能够提前预测某个城市的出行人数的大致规模，再结合交通部门的其他信息，便可以预测出群体出行的态势，对其可能的出行时间、出行路线、出行方式等进行预测，从而为城市交通调度提供决策帮助。
军事领域，美国“2049项目研究所”于2008年在华盛顿成立，2010年它利用网络上公开的数据和资料，分析和预测我国在军事和经济领域的安全问题，发布了一份名为《中国核弹头存放和使用系统》的报告，称在陕西、江西、四川等地发现了中国的核武器基地，甚至还精确到了核基地所在的市县名称。
2013年3月，他们还发布了一份关于中国无人机项目的研究报告，较全面的分析了中国无人机的研制、发展、装备以及作战部署情况。
以上都是“大数据”在一些实际领域的应用，未来“大数据”将会在更多的领域得到应用，决策行为将会基于数据分析做出，通过对数据的整理和分析，政府和企业能够预测个体下一步的需求，进而提供更加智能与高效率的管理和服务。
3.3智慧城市：
立体的大数据生态系统
智慧城市是城镇化发展的高级阶段，是城市信息化的新形式，是现代城市发展的愿景。
智慧城市在产生大数据的同时，“大数据”也支撑着智慧城市的建设和发展，而智慧城市的衡量指标是由“大数据”体现的。
“大数据”挖掘对智慧城市的经济发展和社会管理是无形的生产资料，“大数据”合理利用将创造巨大财富。
在未来，大数据将成为维护城市运行的基本要素，智慧城市在“大数据”的支撑下，成为立体的大数据生态系统，促进城市的发展。
3.3.1智慧城市的产生
随着城市规模的增大、城市人口的增多，人们对住房、教育、交通、医疗保险等的需求的也在不断膨胀。
诸如高房价、堵车、雾霾等“城市病”也越来越多，传统的管理手段已变得捉襟见肘，而信息化可以说是抗击“城市病”的有效手段。
伴随着网络帝国的崛起、移动技术的融合发展以及创新的民主化进程，知识社会环境中的智慧城市是继智能城市之后信息化城市发展的高级形态。
利用城市管理中产生的大量信息与数据，积极促进城市机构之间的实时沟通和协助，分析原因，制定对策，有效平衡社会、商业和环境发展需要，优化现有的可用资源，以最优化的方式为城市公民提供全面又超前的服务，积极提高公民的生活幸福感—这种高效、智能且可持续的城市管理被称为智慧城市。
可以说大数据是智慧城市实现智慧化的关键支撑，成为驱动智慧城市发展的动力。
智慧城市采用以物联网、云计算、大数据等为核心的新一代信息技术，集成城市的组织（人）、业务（政务）、交通、通信、能源等城市运行中的各个核心系统，使整个城市成为以一种更有智慧的方式运行的宏大的智慧城市系统，对保障城市正常运行的每个系统进行全面的监测、管理、预警和处置，快速、智能地响应城市管理者和市民的各种需求，提高城市运行效率，提高政府决策力。
建设智慧城市是城市发展的新范式和新战略，是当今世界城市发展的趋势和特征。
建设智慧城市对抗击“城市病”具有强烈的现实意义。
首先智慧化运营通过运用来自城市多个部门的信息，进行数据聚集和规范化后，识别出相关的重要事件，以提升服务质量。
其次，智慧化运营能够预测城市发展的问题与危机，最大限度降低对城市居民的影响。
如通过可视化重要事件和警报、地理信息等数据，识别出模式和趋势，保证行动有依据，主动触发预设的预案以加快响应，减少服务中断概率，避免城市内大型事故扩大升级，减少灾害的影响。
最后，智慧城市可实现通过协调不同部门的资源，以提高更快、更有效的影响。
“大数据”的智慧化帮助管理者跨部门决策、协调，提高公共服务交付效率，减少应对突发灾害的响应时间。
3.3.2全球智慧城市的实践
全球在智慧城市的实践中展现了各自不同的设计理念：
美国在智慧城市建设方面选择智能电网进行突破，注重于商业机构的合作，利用UrbanSim等智能化的城市仿真系统对城市空间发展进行优化。
在美国2009年的经济复苏计划中，有项高达110亿美元的投资，用于建设可安装各种控制设备的新一代智能电网。
日本在2009年7月推出“智慧日本战略2015”，旨在将数字信息技术融入生活的方方面面，聚焦于电子化政府治理、医疗健康信息服务、教育与人才培养3大公共事业。
韩国政府于2004年提出了“U-韩国”发展战略，经过多年的实践，首尔、釜山等一些城市已进入“泛在城市”时代。
“泛在城市”以“建设尖端信息城市，提高市民生活质量和城市竞争力”为目标，利用无线传感器网络，实现对城市设施、安全、交通、环境等方面的智能化管理和控制。
根据国际数据公司预计，2011年，全球新型智慧城市信息技术的市场规模达到340亿美元，并将以每年超过18%的速度增长，到2014年将达到570亿美元。
3.3.3.中国智慧城市
2012年11月，住房和城乡建设部办公厅发布《关于开展国家智慧城市试点工作的通知》，将建设智慧城市作为贯彻党中央、国务院关于创新驱动发展、推动新型城镇化、全面建成小康社会的重要举措，要求各地高度重视，抓住机遇，通过积极开展智慧城市建设，提升城市管理能力和服务水平，促进产业转型发展。
截至2012年7月，中国共有150多个城市提出建设或正在建设智慧城市，其中，北京、上海、广州等城市是智慧城市创建进程的领跑者。
总体上说，中国东部地区智慧城市建设重点在于以信息技术促进转变经济发展方式，提高社会管理水平，提升城市竞争力，塑造城市品牌。
中西部地区智慧城市的建设更加注重对城市的宣传推广作用，力争通过智慧城市建设促进投资软硬件环境的改善，加强招商引资。
中国智慧城市建设分为前期基础设施建设、中期数据处理设施建设和后期的服务平台建
升级会员 