大数据云计算与云GIS研究发展现状1221.docx

1、大数据云计算与云GIS研究发展现状1221大数据、云计算与云GIS研究发展现状1大数据（1）定义迄今为止，对于“大数据”（Big data）无论从学术界、产业界都尚未形成统一成熟的定义。简单来讲，可以看作是人们为了面对“信息爆炸”的现实挑战与机遇所需的一项数据分析前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。从产

2、业界看，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据需要特殊的数据分析计算技术，以快速有效地处理大量数据并分析得出有价值的信息或知识，包括大规模并行处理（MPP）数据库、机器学习、分布式文件系统

3、、分布式数据库、云计算平台、互联网和可扩展的存储系统等。（2）特点大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。计算机学报刊登的“架构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速

4、度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。（3）发展现状继“物联网”、“云计算”之后，2012年始，“大数据”一词被越来越多地提及。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”（Big Data Research and Development Initiative），这是继1993年美国宣

5、布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺焦点。谷歌公司通过大规模集群和MapReduce软件，每个月处理的数据量超过400 PB；XX每天大约要处理几十PB数据；Facebook注册用户超过10亿，每月上传的照片超过10亿张，每天生成300 TB以上的日志数据；淘宝网会员超过3.7亿，在线商品超过8.8亿，每天交易数千万笔，产生约20 TB数据；雅虎的总存储容量

6、超过100 PB。近年来大数据的飙升主要还是来自人们的日常生活，特别是互联网公司的服务。据IDC（Internet Data Center）统计，2011年全球被创建和复制的数据总量为1.8 ZB，其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200 PB）。基因组学、蛋白组学、天体物理学和脑科学等都是以数据为中心的学科，这些领域的基础研究产生的数据越来越多。例如，用电子显微镜重建大脑中的突触网络，1 mm3大脑的图像数据就超过1 PB。传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监控每时每刻都在采集巨量的流媒体数据。工业设备的监控

7、也是大数据的重要来源，例如，劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送PB量级的数据。由于大数据技术巨大的产业价值和应用潜力，并且信息爆炸已经成为一种不可逆转的时代潮流，大数据技术引起了政府、产业界和学术界的高度重视甚至到了火热的程度。图11当前国际上大数据领域的研究范畴是南京大学信息管理学院2014年9月全面采集国际核心期刊数据库中“大数据”相关文献分析给出的最新统计分析结果。研究发现，当前国际大数据研究可分为算法设计与开发、平台与框架实践、数据统计分析方法及实践、语义与本体研究和大数据的应用五个方面，且具有范围不断扩大、内容持续纵深、继承性逐渐体现等特点。图11当前国际上

8、大数据领域的研究范畴1）算法设计与开发。对应类团A，大数据的“4V”特征使得以往数据处理算法变得不再适合，因而需要基于不同的平台对原有算法进行改进，或开发新的算法以处理海量的多源异构数据。当前针对大数据处理的算法开发多是基于云平台的并行计算模式，算法的种类及旨在解决的问题涉及数据搜集、存储、检索、利用等各个方面。2）平台与框架实践。对应类团F，Map/Reduce是由Google 提出的一种用于大规模数据集的并行计算处理模型。其中，Map（映射）将处理任务分拆成若干份，交给不同的处理器进行运算；Reduce（规约）则是将不同处理器中的处理结果进行归并汇总，在这个过程中存在专门的控制节点对处理的

9、过程进行监督和控制。由于这种积沙成塔的计算模式，Map/Reduce 架构使得处理大规模的海量数据成为可能。Hadoop 则是一个能够用于大规模数据的分布式处理软件框架，是由Apache 软件基金会开发的开源项目，主要包括HDFS（Hadoop Distributed File System，Hadoop 分布式文件系统）和Hadoop Map/Reduce（Google Map/Reduce 思想的开源实现），以及NoSQL 类型的分布式数据库Hbase、大数据分析平台Pig 等一系列的子项目。由于Hadoop 是一个开源的免费项目，被大多数的研究者作为大数据平台和架构研究及实践的工具。3）

10、数据统计分析方法及实践。正如以往的算法对大数据的处理不再适用，曾经的数据统计分析方法在大数据的环境中也需在原有基础上进化与创新，以适应海量的非结构化信息处理。在这一方面，国外的学者已经进行了一些卓有成效的尝试。在统计分析方法方面，通过聚类分析、机器学习与并行计算的结合，在大数据集合上进行数据挖掘，从而获得有价值的信息以支持决策，是目前相关研究的热点。而将数据密集型计算的结果进行可视化的展示，则是该领域研究的一个扩展与延伸。与该领域研究结合最为紧密的应用则是物联网（ internet of things，IoT），物联网中海量的传感器数据构成了巨大的数据集合，对这个数据集合的管理、分析和使用就需

11、要借助大数据相关的信息处理技术。4）语义与本体研究。对应类团G，语义信息是信息的第二个层次，在语法信息和语用信息之间。语义分析的基础是使机器可以理解数据与信息，因此知识的概念化和形式化以及相应的推理机制就成为了语义分析的前提。为了使语义分析可以在互联网中实现，Berners-Lee等提出了语义网（semantic web）的七层架构以实现互联网语义层面的知识表示并确保其通用性。在这七个层次中，本体（ontology）位于第四个层次，是一种明确的共享概念化的形式说明。简单地说，本体作为一种语义工具，在知识的表示、处理及管理上具有非常大的优势。因此，针对大数据的海量异构数据，本体在知识管理和信息挖

12、掘方面的优势得以充分发挥。那么，如何对海量的数据构建本体？如何进行知识的概念化表示？如何制定相应的推理机制以实现机器的语义理解？这都是大数据环境下需要讨论的问题。5）大数据的应用。这一部分包括B、C、D、E 和I 五个类团。“大数据时代”的来临，对许多行业和研究领域产生了深刻的影响。经济学研究、社会网络研究、生物信息学、化学信息学，以及医疗保健行业和移动互联网，成为与大数据研究结合最为紧密的几个领域。在经济及商业领域，大数据技术的发展使企业得以升级营销策略和顾客关系管理模式，追求更加精准的定位和更加个性化的服务以提高客户的忠诚度，从而获得经济效益。在供应链管理方面，通过对从物联网传感器等渠道收

13、集的大规模数据进行分析，可更加准确地预测库存、订货量等信息，进而控制成本，提高收益。而在社会网络研究领域，Twitter 则成为相关领域大数据研究的重要数据来源，如探究网络化组织中海量的社交关系、分析大语料库中的用户行为信息等；同时，如何在数据处理的过程中最大限度地保护公民的隐私权也是此领域关注的主要内容之一。生物信息学、化学信息学的研究则主要是利用大数据技术对基因组信息、蛋白质组信息等进行处理。欧美国家的医疗档案数据化程度非常高，因而大数据量的医疗档案的管理及分析也需要利用大数据技术实现。但是整体而言大数据技术研究仍处于起步阶段，各领域研究尚不成体系。1）“大数据”研究兴起不过几年时间，现时

14、的研究多处于探索和拓展研究领域、发掘研究主题的阶段，因而其中心度及成熟度不会太高。2）目前为止，大数据技术研发的最大推动力并非来自于科研机构，而是来自于Google、IBM、IDC 等世界领先的IT企业。科学研究需要通过论文发表来进行学术交流、实现迭代创新，而企业却需要对其研发成果进行保护，甚至将之作为商业秘密以获得竞争优势，不可能将其核心的研究成果以论文的形式发表出来，其成果也就无从在相关期刊数据库中得到体现。3）就科研机构而言，大数据主题的研究不同于以往科学研究的地方在于，它既需要海量的多源异构数据作为实验样本，又需要成规模的硬件支持以实现其处理架构，这两个方面的条件的满足不仅需要科研机构

15、的努力，更需要政府给予资金、政策等方面的支持。值得欣慰的是，截至当前，美国、英国、日本、韩国和欧盟等都相继出台了大数据的战略计划，拟投入大量的资金支持大数据的科学研究及基础设施建设。可以预见的是，未来各国的科研机构将会以此为风帆，为大数据领域的研究做出更多的贡献。具体到地理信息领域，地理大数据已然成为业内探讨的热点问题。2007年,美国科学院地理信息科学院士GoodChild首次提出了志愿者地理信息（VGI）的概念，这反映了互联网时代地理信息新的获取与应用方式，即来自公众、服务公众的新形式。在地理信息产业内，可将传统模式采集的地理信息数据与VGI数据的融合，创造出具有活力的满足移动互联网时代用

16、户需求的大数据成果，即地理信息大数据来自公众。对于传统的大数据处理，基于涉密广域网，构建大数据分析环境；对于VGI数据处理，由于存在数据分布不均匀和连续性不一致甚至错误等问题，需基于Hadoop等云计算架构，利用MapReduce技术开发分布式并行算法，面向涉密广域网调用计算资源，进行地理信息大数据分析，将VGI数据应用到地理信息数据库动态更新中，快速将大数据及其分析成果和相关应用发布到广大的用户群之中，即地理信息大数据服务公众。（4）影响、机遇与挑战无论是制造业、金融业还是互联网行业，“数据”都是永远绕不开的话题。随着全球化进程不断加快，企业面临的竞争愈加激烈。如何从企业内部和外部相关的海量

17、数据中提取出有利于企业正确决策的信息，成为当前获得竞争优势的重要途径之一。而在巨大利益驱动下，大数据在商业领域中的应用研究无疑会成为未来大数据研究的热点。中国官方对发展大数据也日益重视。国务院总理李克强日前在给贵阳国际大数据产业博览会的贺信中提出，中国发展大数据产业“空间无限”，现在正研究制定“互联网+”行动计划，推动各行各业依托大数据创新商业模式，实现融合发展。中国工业和信息化部部长苗圩2015年5月27日在北京表示，将编制实施软件和大数据产业“十三五”(2016-2020年)发展规划，培育一批竞争力强的龙头企业集团。大数据作为一种新型战略资源，提供了一个在虚拟信息世界中了解和掌握客观现实世

18、界的前所未有的机会。地理信息产业作为信息产业的重要分支，应抓住大数据技术和应用所带来的新机遇，面向最广大的公众在地理信息大数据采集、分析与服务方面进行机制创新，推动地理信息产业的快速发展。目前，地理信息系统已积累了大数据量级别和多种类的地理信息数据，但应客观看到地理信息大数据发展中的制约因素。一是随着大数据时代的到来，应探索更多不同的获取地理信息数据的手段，为海量空间数据的积累提供多种渠道；二是现有地理信息大数据的价值并未充分发挥出来，很多数据应用离智慧发展的要求还存在差距，需要密切结合实际发展需要，充分挖掘地理信息数据的使用价值；三是地理信息大数据分发服务方式还需创新，服务对象还需扩展，将最

19、新最全的地理信息大数据成果以最快的速度服务到最广大的政府、企事业单位、国防和公众手中。2云计算早在1961年，计算机先驱John Mc Carthy就预言：“未来的计算资源能像公共设施（如水、电）一样被使用。”为了实现这个目标，在之后的几十年里，学术界和工业界陆续提出了集群计算、效用计算、网格计算、服务计算等技术，而云计算正是从这些技术发展而来。2005年Google、IBM、Amazon等公司纷纷提出了“云计算”的概念，当时这三家公司对云计算的理解完全不同，IBM是为了卖设备，Google是希望将用户的应用都搬到互联网上以抵消微软公司的操作系统优势，而Amazon则是希望向商家和网站出售计算

20、能力。起初，外界对云计算还有不少质疑的声音，认为它是甲骨文公司在20世纪90年代提出的不成功的网络电脑概念的翻版，这种质疑声在微软和Adobe等软件公司中最为强烈。但是很快大家都体会到这种通过互联网共享服务的好处，连微软和Adobe也加入其中，这时全世界对云计算的质疑便逐渐烟消云散。根据美国国家标准与技术研究院（NIST）的定义，云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池（如计算设施、存储设备、应用程序等）的计算模式。计算机资源服务化是云计算重要的表现形式，它为用户屏蔽了数据中心管理、大规模数据处理、应用程序部署等问题。通过云计算，用户可以根据其业务负载快速申请或释放资源，

21、并以按需支付的方式对所使用的资源付费，在提高服务质量的同时降低运维成本。云计算具有两大本质特征，其一，保证用户可以随时随地访问和处理信息，并且可以非常方便地与他人共享信息。其二，保证用户可以使用云端的大量计算资源，包括处理器、存储器、软件服务，而无需自己配置设备及单机软件。作为信息产业的一大创新，云计算模式一经提出便得到工业界、学术界的广泛关注。其中 Amazon等公司的云计算平台提供可快速部署的虚拟服务器，实现了基础设施的按需分配。Map Reduce等新型并行编程框架简化了海量数据处理模型。Google 公司的 App Engine云计算开发平台为应用服务提供商开发和部署云计算服务提供接口

22、。Salesforce 公司的客户关系管理（CRM, customer relationship management）服务等云计算服务将桌面应用程序迁移到互联网，实现应用程序的泛在访问。同时，各国学者对云计算也展开了大量研究工作。早在 2007 年，斯坦福大学等多所美国高校便开始和 Google、IBM 合作，研究云计算关键技术。近年来，随着云计算研究的深入，众多国际会议（如SIGCOMM、OSDI、SIGMOD、CCS 等）上陆续发表了云计算相关研究成果。不仅如此，各国政府纷纷将云计算列为国家战略，投入了相当大的财力和物力用于云计算的部署。其中，美国政府利用云计算技术建立联邦政府网站，以降

23、低政府信息化运行成本。英国政府建立国家级云计算平台（G-Cloud），超过2/3 的英国企业开始使用云计算服务。在我国，北京、上海、深圳、杭州、无锡等城市开展了云计算服务创新发展试点示范工作；电信、电网、石油石化、交通运输等行业也启动了相应的云计算发展计划，以促进产业信息化。云计算在全社会的普及将从根本上颠覆当今以“WinTel”（Windows + Intel）为主线的IT产业链，用户对Windows操作系统、客户端软件和Intel计算架构的依赖程度将大幅减弱，用户仅需要通过浏览器和一个能够联网的终端（智能手机、平板电脑、上网本等），无需安装客户端软件便可以通过互联网上的云计算设施获得便捷、

24、高效、廉价的各种计算、存储、数据、应用服务。云计算的出现同时使得以前很多做不了的、大数据的收集处理变得相对容易。一位17岁的美国高中生利用谷歌的云计算工具分析了750万个病例，编写了一个基于云计算的乳腺癌细胞位置的检测程序，她把这个程序称为“全球云服务的神经网”，该程序对癌细胞位置检测的准确率可以做到98%，大大高于现在的临床水平。这就是云计算带来新的企业级服务的很好例子，而这些功能是以前单机客户端软件和企业级软件服务根本做不到的。此外，对于很多现有的服务，例如硬件系统升级、软件升级，云计算可以大大降低服务成本。对于企业级用户或行业用户，通过租用云计算、云存储服务，可以大大降低系统建设成本。对

25、于大众用户，无需安装客户端软件便可以通过互联网上的云计算设施获得便捷、高效、廉价的各种计算、存储、数据、应用服务。3互联网与物联网互联网（英语：Internet），又称网际网络，或音译因特网、英特网，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。这种将计算机网络互相联接在一起的方法可称作“网络互联”，在这基础上发展出覆盖全世界的全球性互联网络称互联网，即是互相连接一起的网络结构。互联网并不等同万维网（www），万维网只是一建基于超文本相互链接而成的全球性系统，且是互联网所能提供的服务其中之一。互联网始于1969年的美国，又称因特网。是美军在AR

26、PA（阿帕网，美国国防部研究计划署）制定的协定下，首先用于军事连接，后将美国西南部的加利福尼亚大学洛杉矶分校、斯坦福大学研究学院、UCSB（加利福尼亚大学）和犹他州大学的四台主要的计算机连接起来。这个协定由剑桥大学的BBN和MA执行，在1969年12月开始联机。经过不断的发展与进化，1991年，第一个连接互联网的友好接口在Minnesota大学被开发出来。1994年4月，中国国家计算与网络设施NCFC工程连入Internet的64K国际专线开通，实现了与Internet的全功能连接。从此，中国正式成为真正拥有全功能Internet的国家。当前，在大数据、云计算、移动互联网、“互联网+”的浪潮驱

27、动下，互联网已经实现了从web 1.0 到web 2.0的飞跃，并且正在向下一代互联网加速迈进。虽然学术界对于下一代互联网还没有统一定义，但对其主要特征已达成如下共识：（1）更大的地址空间：采用IPv6协议，使下一代互联网具有非常巨大地址空间，网络规模将更大，接入网络的终端种类和数量更多，网络应用更广泛；（2）更快：100M字节/秒以上的端到端高性能通信；（3）更安全：可进行网络对象识别、身份认证和访问授权，具有数据加密和完整性，实现一个可信任的网络；（4）更及时：提供组播服务，进行服务质量控制，可开发大规模实时交互应用；（5）更方便：无处不在的移动和无线通信应用；（6）更可管理：有序的管理、

28、有效的运营、及时的维护；（7）更有效：有盈利模式，可创造重大社会效益和经济效益。2003年8月，国务院正式批复由国家发改委、中国工程院、信息产业部、教育部等8部门联合启动“中国下一代互联网示范工程”（CNGI）。目前，CNGI核心网已经完成建设任务，该核心网由6个主干网、两个国际交换中心及相应的传输链路组成，6个主干网由在北京和上海的国际交换中心实现互联。现已建成包括6个核心网络，22个城市59个节点以及北京和上海两个国际交换中心的网络，273个驻地网的IPv6示范网络。目前CERNET2、中国电信、中国网通/中科院、中国移动、中国联通和中国铁通这6个主干网含国际交换中心已全部完成验收。已经向

29、互联网标准组织IETF申请互联网标准草案9项，已获批准2项，这也是中国第一次进入互联网核心标准领域。中国在下一代互联网研究与建设上取得了一定成果，但面临的形势依然严峻。下一代互联网的研究开发特别是产业化是一个长期过程，国际竞争日趋激烈。美国、欧洲、日本等发达国家和地区在审视技术路线和发展趋势后，又制定了下一代互联网发展计划。欧盟已经明确要求在2010年前推动25%的个人及机构试用，美国也在今年突然加快了IPv6的部署与实施，所申请的IPv6地址从世界排名11位突然上升到第一位，中国仅处于第16位。中国仍需要进一步加快CNGI项目向深度和广度发展，保证中国在下一代互联网产业发展及科研上的领先优势

30、，继续抢占国际下一代互联网竞争的战略制高点。物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“Internet of things（IoT）”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应

31、用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新2.0是物联网发展的灵魂。物联网的实践最早可以追溯到1990年施乐公司的网络可乐贩售机Networked Coke Machine。2003年美国技术评论提出传感网络技术将是未来改变人们生活的十大技术之首。2009年1月28日，奥巴马就任美国总统后，与美国工商业领袖举行了一次“圆桌会议”，作为仅有的两名代表之一，IBM首席执行官彭明盛首次提出“智慧地球”这一概念，建议新政府投资新一代的智慧型基础设施。当年，美国将新能源和物联网列为振兴经济的两大重点。总之，2008年后，为了促进科技发展，寻找经济新的增长点，各国政府开始重视下一代的技术

32、规划，将目光放在了物联网上。2009年8月，温家宝“感知中国”的讲话把我国物联网领域的研究和应用开发推向了高潮，无锡市率先建立了“感知中国”研究中心，中国科学院、运营商、多所大学在无锡建立了物联网研究院。自温总理提出“感知中国”以来,物联网被正式列为国家五大新兴战略性产业之一，写入“政府工作报告”，物联网在中国受到了全社会极大的关注，其受关注程度是在美国、欧盟、以及其他各国不可比拟。物联网作为一个新经济增长点的战略新兴产业，具有良好的市场效益，2014-2018年中国物联网行业应用领域市场需求与投资预测分析报告数据表明，2010年物联网在安防、交通、电力和物流领域的市场规模分别为600亿元、300亿元、280亿元和150亿元。2011年中国物联网产业市场规模达到2600多亿元。综上所述，互联网正处于从量变到质变的加速发展进程当中，移动互联网、物联网、下一代互联网以及与5G通信技术的进一步融合，将为今后的世界提供便捷、高效、安全、无处不在的信息网络，同时必将导致相关技术、产业、行业、社会发生深刻变革。4地理信息系统（GIS）地理信息系统（GIS，Geographic Information System）是一门综合性学科，结合地理学与地图学以及遥感和计算机科学，已经广泛的应用在不同的领域，是用于输入、存储、查询、分析和显