面向空间大数据的GIS_精品文档.docx

面向空间大数据的GIS_精品文档.docx

《面向空间大数据的GIS_精品文档.docx》由会员分享，可在线阅读，更多相关《面向空间大数据的GIS_精品文档.docx（6页珍藏版）》请在冰豆网上搜索。

面向空间大数据的GIS

摘要：

大数据因具有巨大的研究发展潜力，已经得到了学术界和产业界的持续关注和利用。

本文总结了目前的大数据利用现状，以及大数据引发的科学研究新思维和新观念。

空间数据作为大数据的主体数据集，在泛在测绘、多源异构时空数据等方面给传统GIS的发展带来了巨大的挑战。

面对挑战，文章总结了大数据环境下GIS应该具备的基础特征，以及在空间数据挖掘和空间分析方面的研究进展。

最后，文章从商业模式、智慧城市、云计算、城市计算和大数据驱动的人类移动规律等方面展望了大数据背景下GIS的研究热点和发展前景。

关键词：

空间大数据，GIS，空间数据挖掘，空间分析,云计算

1空间大数据

1.1大数据倍受关注和利用

在学术界，0’ReillyMedia于2008年出版了《数据之美》，随后Nature、Science等陆续刊登了大数据专辑，麦肯锡从经济和商业维度分析了大数据在不同行业的应用潜力。

2012年，我国科技部发布的十二五国家科技计划信息技术领域2013年度备选项目征集指南中把大数据研究列在了首位。

在产业界，IBM、亚马逊、Google、甲骨文等信息技术巨头都纷纷推出了大数据解决方案和应用。

在中国，百度、腾讯、淘宝、阿里巴巴等也采用了Hadoop处理大规模数据。

大数据的研究与发展涉及国防安全、生活健康、气候变化、地质调查、减灾防灾、智慧地球等众多领域。

以美国为例，2012年3月，奥巴马政府率先在全球宣布推出大数据的研究和发展计划，将大数据研发上升为国家意志，并投资2亿多美元资助美国国家科学基金和美国地质调查局等6个联邦政府部门的大数据项目，以提高从大量的、复杂的数据集合中获取知识的能力。

1.2空间数据是大数据的基础

大数据具有体量巨大、多种多样、高速变化、真实质差等特点。

在这些数据中，大约80％的数据与空间位置有关。

空间数据描述了对象的具体地理位置和空间分布，包括空间实体的位置及其空间关系等，涵盖从宏观、中观到微观的整个层次，可以是点的高程、道路的长度、多边形的面积、建筑物的体积、像元的灰度等数值，也可以是空间关系等拓扑结构。

空间数据具有空间性、时间性、多维性、空间关系复杂等特性。

用于采集空间数据的设备包括红外、卫星、多光谱扫描仪、全站仪等各种宏观与微观传感器或设备，也包括野外测量、人口普查、土地资源调查、地图扫描、地图数字化等空间数据获取手段，还可能是计算机、GPS、RS和GIS等技术应用和分析空间数据的过程。

遥感对地观测技术形成了一个多层次、多角度、全方位和全天候的全球立体对地观测网，传感器的地面分辨率数量级从千米到厘米，波段范围从紫外到超长波，探测深度从几米到万米，新型的高分辨率卫星遥感数据如QuickBird等已提供使用。

空间数据基础设施积累了大量的城市电子地图数据库、工程地质信息数据库、用地现状信息数据库、市政红线数据库、建筑红线与用地红线数据库、地籍数据库，以及土地利用及基本农田保护规划数据库等空间基础数据。

此外，人类活动每时每刻还在采集和产生新的空间数据集[1,2]。

1.3大数据引发科学新观

维克托.迈尔.舍恩伯格对大数据引发的思维变革进行了总结，他认为：

分析数据时，要尽可能地利用所有数据，而不只是分析少量的样本数据；人们应该更为关注事物之间的相关关系，而不是探索因果关系；大数据的简单算法比小数据的复杂算法更为有效。

科学家格雷对科学发展的进行了四个阶段的划分：

在几千年前，科学是经验法；在几百年前，科学是由假想到印证假想的过程；在最近几十年前，科学通过计算进行模拟和验证；现在，科学是数据探索与挖掘，通过数据挖掘来统一理论、模拟和实验验证。

2010年，美国地质调查局制定了美国地质调查局核心科学体系科学战略（2013-2023），以期构建一个新的地球科学框架体系，服务于复杂问题的解决。

新制定的核心科学体系就是通过对海量数据的交换、整合、分析，实现科学和技术的新发现，形成新知识，以应对国家在自然资源管理、自然灾害防治等方面面临的复杂性问题[3]。

2GIS面临新的挑战

2.1泛在地理信息时代的挑战

目前GIS已发展为由地理信息科学、地理信息技术和地理信息工程、计算机科学等交叉体系组成的泛在GIS。

地理信息的泛化具有数据类型丰富多样、时空粒度不断细化两个显著特征。

泛在地理信息强调动态性，对于地表要素或区域，强调与其关联的实时属性变化。

对于移动对象，强调其几何位置的连续表达和其他社会属性的实时变化表达。

同时，数据时空粒度不断细化，从而使得地理空间概念越发重要。

泛在地理信息时代数据以惊人的速度在增长，如何利用泛在地理空间数据挖掘、信息提取、空间智能技术为决策提供依据，如何实时处理各种方式产生的地理空间隐喻大数据，使之成为生活助理等挑战已经超越了传统GIS的能力范畴。

因此，泛地理信息时代要求GIS能处理广义地理信息，包括各种具有地理空间分布特征的异构信息，具有地理空间语义的网络文本，以及基于位置的复杂社交网络关系与内容。

近年来GIS的快速发展主要是由于IT技术的驱动，IT技术的每一次重大进步，都深刻地影响着GIS技术的发展，促使其技术体系和应用模式，乃至商业模式的演化和变革。

当前大数据、移动技术和物联网等技术的发展，已经直接反映到了GIS技术和应用模式之中[4,5]。

2.2多元异构时空数据的挑战

随着地理信息服务的需求从基础信息的管理走向智慧解决方案,GIS技术处理多源异构信息的局限性也越发明显。

首先，由于大数据来源具有复杂性、多样性、多尺度性和不确定性,利用现有的数据模型难以真正实现异构多尺度数据的描述与管理。

其次,多源异构信息的接入、关联、融合需要制定统一标准和规范,为决策分析、联动指挥等提供可靠的多源异构融合信息。

再次,用户需要的是无缝、便捷与自适应感知全方位、多层次、多粒度的信息,以满足立体的生产生活需求。

大数据时代的信息具有异构、多维、海量、多时相等特性,如何实现各种架构的互联互通,以及不同数据格式的转换,是信息智能应用必须解决的问题。

目前,时空数据模型和时空数据库的应用研究主要集中在地籍历史变更数据的组织管理、智能交通和导航信息系统、城市气候环境变化分析、城市发展和土地利用模拟等方面,本质上依然是一种静态的信息化城市,仅有少量专题数据以离散时间点的全局空间快照或长时间序列来组织管理,尚难以进行时空数据高效存取。

为适应各种城市问题分析决策需要，研究基于异常变化发现的数据更新机制是保证数据的准确性和现势性，提高数据质量、支撑智慧城市运行的重要基础，因此，GIS的发展依然面临巨大的挑战[6]。

3大数据GIS

3.1大数据GIS的基础特征

大数据没有改变GIS的基本特征，但是对传统GIS提出了巨大的挑战。

在架构层面，大数据体量大、速度快、模态多等特性带来的挑战终将引起GIS数据存储与管理的质变。

相对于静态、有限的数据集，大数据GIS的数据存储管理系统需要具备扩展性，以处理动态无限增长的数据的存储和查询问题。

在数据层面，针对传统关系型数据库难以适应大数据可扩展和非结构化的要求，以及云计算部署环境的问题，近年来以Key-Value为代表的NoSQL数据库迅速发展，非关系型数据库已经成为和关系数据库并存的空间数据存储及管理的方式之一。

在数据处理层面，大数据GIS的数据源头以秒、分为间隔采集，且经年累月不间断，数据无限增长，长期积累的数据不可能全部存储在可随机访问的磁盘或内存中。

当数据继续不断积累后，必须采用一定的数据粗筛策略，即数据通常在存储前需要进行预处理，保留有价值的信息；原始数据经过处理后，要么被丢弃，要么被存储，但是存储后再次提取代价昂贵。

这个预处理过程通常以应用为导向，需要构建适于实时分析的概要结构、时空聚合和多尺度表达等方法，实现高效的数据筛选和聚合机制，以解决数据冗余及噪音问题[2]。

3.2面向空间大数据的数据挖掘

大数据必然要和数据挖掘相结合，但是空间数据挖掘不同于传统的数据挖掘，多了空间维度以及在不同空间尺度上的挖掘，所以不能完全套用普通事物数据挖掘的策略和方法。

早在1994年我国科学家李德仁院士等首次提出了从GIS数据库中发现知识,使GIS成为智能化的信息系统。

随后李院士又将从GIS数据库中发现知识发展成为空间数据挖掘与知识发现,并出版了<<空间数据挖掘理论与应用>>专著（2006、2013），系统的介绍了空间数据挖掘的理论与方法。

其经典理论与方法主要包括概率论、证据理论、空间统计学、规则归纳、聚类分析、空间分析、模糊集、云模型、数据场、粗集、地学粗空间、神经网络、遗传算法、可视化、决策树、空间在线数据挖掘等。

随着技术的进步，出现了针对时空数据集的时空模式发现、时空聚类、时空异常检测、时空预测和分类等时空数据挖掘技术和算法。

从空间数据中可以发现的基本知识类型有普遍的几何知识、空间分布规律、空间关联规则、空间聚类规则、空间特征规则、空间区分规则、空间演变规则等,可用特征表、谓词逻辑、产生式规则、语义网络、面向对象的表达方法和可视化等GIS知识和规则。

基于GIS的数据挖掘在许多领域得到应用,如基于位置的服务、土地利用分类及地域范围预测、全球气候变化监控、犯罪易发点发现、交通协调与管理、疾病监控、水资源管理、自然灾害预警、公共卫生与医疗健康等[7,8]。

3.3面向大数据的空间分析

空间分析主要研究空间格局、空间位置、空间行为、空间关系、空间过程，广义的空间分析包括空间分析、空间建模、空间优化三部分。

大数据时代，地理信息系统数据极大丰富，数据已经成为一种类似水、电、气等按需服务的基础设施。

过去，空间数据的收集工作量巨大，人们总是通过减少模型复杂度来尽量使用较少的参数和数据进行预测建模，这从一定程度上影响了模型的精度。

大数据的出现为复杂空间过程建模的深入研究提供了可能，特别是对一些严重依赖背景信息的迭代计算模型，实时的数据获取和实时的建模计算为这种问题提供了解决方法。

另外，大数据还可以聚合展现空间对象在复杂模型中的具体行为，从微观尺度上弥补宏观模型构建上的错误和不足。

大数据时代，数据的精度越来越高，空间数据也越来越丰富，这对于复杂优化问题的求解是一个新的机遇。

在实际应用中，空间优化对于交通建模、位置建模、商业地理学、政治地理学、土地利用规划、城市规划等有着重要的应用价值，可用于区域空间综合评价、资源空间优化配置、突发事件优化管理以及空间决策支持等方面[9]。

4大数据GIS的发展前景

4.1面向大数据的商业模式

在2012瑞士达沃斯世界经济论坛上与会学者宣称：

数据是一种新的经济资产，将对国家治理模式、企业决策、组织和业务流程、个人生活方式产生巨大的影响。

基于大数据的企业特征层面的商业模式创新主要表现为：

价值主张创新、价值创造和关键业务与流程创新、收益模式创新，以及外部关系网络和价值网络重构。

从产业链来看，基于大数据产业链的模式可以从两个方向进行描述：

以大数据产品价值链为线索沿横向从数据采集、整理、分析到决策逐级递进，以大数据技术为中心沿纵向从底层的基础设施供应、大数据技术提供到完整IT解决方案服务。

在行业层面，一些前瞻性的公司已经开始尝试跨界与融合，这种跨界与融合主要来自三个方向：

一是产业链外企业依托天然拥有的大数据资源向大数据产业链扩张，涉足大数据生产；二是产业链内企业依托大数据资源向其他行业扩张，涉足大数据行业外应用；三是以大数据为核心资源的全方位扩张。

总之，面向大数据的商业发展模式及变化才刚刚开启序幕[10]。

4.2从数字城市到智慧城市

为解决城市现代化发展中的一系列问题,地理信息领域从数字地球的角度提出数字城市的概念。

近年来,学者们进一步提出智慧城市的概念,认为城市的未来发展将在各种IT技术的支持下,保障物质流信息流、资金流的自动、实时、安全地流动,实现城市管理的智能抉择与市民生活的智能服务,保障城市的社会、经济、民生的和谐发展。

智慧城市是基于物联网、云计算等新一代信息技术以及社交网络、智能搜索、智能分析等工具和方法,实现城市信息全面透彻的感知