山东省地理信息时空大数据中心建设方法.docx

山东省地理信息时空大数据中心建设方法.docx

《山东省地理信息时空大数据中心建设方法.docx》由会员分享，可在线阅读，更多相关《山东省地理信息时空大数据中心建设方法.docx（10页珍藏版）》请在冰豆网上搜索。

山东省地理信息时空大数据中心建设方法

摘要：

大数据时代对地理信息数据管理、应用和服务提出了新的要求。

分析了我国地理信息数据管理及应用存在的问题，以山东省为例阐述了地理信息时空大数据中心的建设思路，对基础设施建设、地理信息资源数据库构建、数据整合技术以及应用服务系统开发进行了深入分析。

本研究可以提升地理信息资源的管理和应用服务水平，具备较为广阔的应用前景。

关键词：

 地理信息 ; 大数据中心 ; 云平台

1引言

近年来，大数据、物联网、云计算等新兴信息技术得到了快速发展，很多国家在积极实施大数据战略，推进各类数据资源的开放共享。

2012年美国启动了“大数据研究和发展计划”，2014年美国建立了犹他州大数据中心，实现了对互联网数据、地理信息数据、遥感影像数据、通信数据等的集中存储和统一管理，相关部门可以根据各自承担的职责与需要来分析、处理和使用这些数据。

如今大数据撼动了社会的方方面面，尤其是商业科技、教育、医疗、环境、交通、生物、政府服务、地理信息等领域，并催生了各行各业持续变革的力量。

在我国，信息技术行业最早开展了大数据的研究与应用，目前大数据已在网上购物、市场营销、在线医疗、视频监控、人工智能、金融服务等领域发挥着重要作用。

我国的测绘地理信息行业也非常重视大数据的研究和应用。

《测绘地理信息部门“十三五”信息化规划》从管理、应用和服务层面对时空地理信息数据的发展进行了新的规划，提出了更高的标准，要求在2020年前基本建成测绘地理信息服务体系，初步建成时空地理信息大数据体系，基本实现各类地理信息数据的有效集成服务，大幅提升时空地理信息智能化管理与数据交换技术能力和水平。

我国原有的地理信息数据在生产、存储管理与应用服务过程中存在着数据生产项目化、存储离散化、管理烟囱式、难以进行整合应用、服务类型单一等问题，无法满足当前测绘地理信息数据获取速度越来越快、新数据类型不断出现以及社会各界越来越个性化的应用需求。

为了解决上述问题，国家自然资源管理部门积极推动地理信息时空大数据中心的建设，目前国家基础地理信息中心和浙江省、海南省、贵州省、山东省、陕西省以及黑龙江省等省份的测绘地理信息数据管理部门已经开始了各自的地理信息时空大数据中心建设。

本文根据山东省地理信息时空大数据中心建设的内容和实现方法，阐述了一种利用大数据、云计算、空间地理信息等技术构建集中统一、陆海一体的山东省地理信息时空大数据资源体系，结合云基础设施搭建高效开放的时空大数据应用系统，推进地理信息时空大数据服务模式升级与应用创新。

从而形成基于大数据等新型信息技术的管理、应用和服务体系，形成以“混合存储、动态整合、集成管理、联动更新、开放共享、按需服务”为典型技术特征的地理信息时空大数据中心建设思路，进而全面提升地理信息服务保障能力。

2山东省地理信息时空大数据中心建设方法

2.1总体技术架构

系统总体架构设计模式可分为分层架构、事件驱动架构、微核架构和微服务架构等。

其中，分层架构模式采用“高内聚、低耦合”的思想，将一个庞大的系统工程分解为不同的任务组，能够更加方便地进行系统维护，非常适合山东省地理信息时空大数据中心这类超大型项目的建设与实施。

为此本研究采用分层架构模式，其总体技术架构主要包括基础支撑层、数据资源层、软件服务层、专题应用层等（如图1所示）。

图1   总体技术架构

（1）基础支撑层基础支撑层是时空大数据中心运行的软件、硬件环境。

本研究将构建私有云环境，通过云平台管理软件将存储资源、计算资源、网络资源、安全防护资源等进行池化，实现上述资源的统一调度和动态分配。

本研究还将在云平台基础上搭建空间大数据基础框架，将分布式计算框架与地理信息系统（geographicinformationsystem，GIS）基础平台进行深度融合，实现支持分布式文件系统、非关系型数据库、空间数据库的混合存储框架能力以及支持高性能并行计算和分布式空间计算的混合计算框架能力，为数据存储、软件服务及专题应用提供基础支撑。

（2）数据资源层数据资源层是时空大数据中心建设的核心。

通过对已有的测绘基准数据、地形要素数据、地理国（省）情数据、原始影像数据、市县基础地理信息数据、档案资料以及各类行业专题数据进行动态汇聚，形成汇集库。

对上述数据资源进行对比，制定数据融合标准，建设包含地理空间要素、遥感影像、地形数据、三维模型、地名地址、公共专题六大类数据在内的资源数据库。

根据专题应用的需要对资源数据进一步处理，形成服务库。

服务库包括电子地图、专题地图、标准地形图和新型地理信息产品等。

（3）软件服务层软件服务层通过开发软件和工具为内部数据管理与外部专题应用提供技术支撑。

构建时空大数据管理系统，实现对数据资源层数据的整合加工、混合存储、统一管理和共享交换，实现各类数据资源的合理组织、有序流动和联动更新。

构建时空大数据服务系统，为用户提供空间一张图服务、地理编码服务、在线定制服务、成果分发服务、大数据分析挖掘与可视化服务等时空信息数据服务支撑。

另外，还要对已有的专项业务管理系统进行技术架构升级，使其融入大数据中心的结构体系中。

（4）专题应用层专题应用层依托时空大数据中心的数据资源与软件服务能力，与其他部门的专题数据相结合，实现对内、对外的专题应用。

对内，为单位的主要业务（如应急测绘、地理信息公共服务平台）提供数据和技术支撑；对外，为对山东省经济社会发展有较大影响的社会热点（如乡村振兴、离任审计等）提供权威的地理信息数据及服务支撑。

（5）标准规范体系标准规范的制定是时空大数据中心规范有序、稳定运营的重要保障。

本研究中将建立大数据基础类、资源类、应用服务类和运行支撑类等地理信息时空大数据业务标准，为数据资源整合、数据库建设、数据挖掘、数据应用和资源服务等工作提供操作依据和规范流程。

（6）安全防护体系总体技术架构将严格遵循国家的有关规定和要求，构建时空大数据中心的安全技术体系和安全管理体系，综合管理和技术两个方面的要求，建立信息系统综合防护体系，实现技术措施和管理措施的有机结合，提升系统的安全保护能力。

山东省地理信息时空大数据中心是一个系统性工程，涉及的内容很多，但是其核心的内容是基础设施建设、时空大数据库建设和应用系统建设，由于文章篇幅的限制，下面将着重介绍上述3个方面的内容。

2.2基础设施建设

基础设施建设主要包括网络资源、存储资源、计算资源及云环境等方面的建设。

其中网络资源建设将采用万兆网络互联，确保40Gbit/s的网络传输，实现服务器和交换机之间10Gbit/s的网络传输；保持存储接口网络整体性能大于2GB/s。

存储资源将由两台磁盘阵列组成，拥有450TB的容量，且支持扩容。

计算资源将采购含英特尔至强第14代CPU的数据库服务器4台，应用服务器、渲染服务器和瓦片服务器8台，终端计算机10台。

本研究将采用国产自主化云管理平台构建私有云环境，通过云平台提供的轻量级虚拟化技术、分布式文件系统技术、网络虚拟化技术和硬件设备透传技术，将上述服务器、存储、计算和网络资源统一池化，实现统一管理、弹性伸缩、自助服务。

2.3时空大数据库建设

2.3.1时空数据库总体设计数据资源体系建设是山东省地理信息时空大数据中心建设的重点。

时空大数据中心数据资源包括汇集数据库、资源数据库、服务数据库以及目录与元数据库4个部分（如图2所示），全省地理信息时空数据在此进行汇集、整合与输出。

（1）汇集数据库未建库数据按照数据来源进行组织，通过对数据的收集、分类、整理进行数据建库，已建库成果则直接通过数据模型转换与接入的形式纳入汇集数据库，为资源数据库建设打下基础。

图2   数据库总体设计

（2）资源数据库资源数据库是对汇集数据库的数据按照大数据标准规范进行对比、整合与归一化形成的，根据数据类型和应用服务的需要进行数据库内容组织，是时空大数据的核心数据库，其作用在于为服务数据库提供覆盖全省的、多时态的数据支撑。

地理空间要素数据需要实现汇集数据中地形要素、地理国情信息数据以及市县基础地理信息数据的融合，是资源库建设的核心。

（3）服务数据库根据用户需求提取资源数据库中的相关内容进行深加工，形成多样化的地理信息数据产品，并按照地图种类在服务数据库中进行组织管理，目的是更好地发挥时空大数据资源的价值。

（4）目录与元数据库在充分衔接山东省测绘成果网络化分发服务系统和国家地理信息资源目录服务系统的基础上，构建面向管理、应用与服务的统一资源目录体系，采用元数据对各类时空大数据资源进行描述，形成规范的目录内容。

2.3.2时空大数据资源建设流程依据时空大数据中心数据资源建设的目标，在分析业务需要的基础上，以目前收集的各类型地理信息数据为基础，以数据整合改造技术为纽带，实现基础地理信息数据资源的建库管理，并为应用系统提供基础数据支撑。

数据资源建设采用工作流的方式逐步推进，根据操作的先后顺序，将整个过程分为8个环节（如图3所示）。

图3   数据资源建设流程

2.3.3时空大数据存储框架时空大数据存储整合了多种存储模式，对外提供统一的、开放的数据存取访问接口，提供时空大数据统一存取服务，以支撑上层应用开发分布式、并行计算应用。

空间大数据存储框架是在传统关系数据库、共享文件系统基础上，扩展并综合利用NoSQL数据库、分布式文件系统，形成面向空间大数据的关系数据库集群、NoSQL数据库集群、分布式文件系统集群的混合存储框架，并在此基础上提供规范化的数据存取接口（如图4所示）。

图4   时空大数据存储框架

2.4应用系统建设

应用系统是大数据中心的核心技术支撑，也是开展时空大数据管理、应用与服务的主要技术手段。

它由数据管理系统、数据服务系统和业务管理系统三大系统19个子系统组成（如图5所示），其依托空间大数据基础框架和大数据资源体系为大数据中心内部用户提供统一管理抓手，实现大数据资源的多源汇集、动态整合、按需加工以及一体化集成管理与应用能力；为大数据中心外部用户提供多样化服务，根据应用需求提供数据在线服务、共享服务、处理服务、分析服务等各类智能化服务。

图5   应用系统总体设计

2.4.1数据管理系统建设数据管理系统主要由6个子系统构成（如图5所示），它是地理信息时空数据资源建设的管理手段，为地理信息时空数据资源的整合加工、综合管理和数据更新提供完备的软件支撑。

数据管理系统各子系统均采用服务器/客户机（client/server，C/S）架构，建设过程中采用国产自主化组件GIS平台和开源数据库软件。

（1）主要技术路线●采用EA（enterprisearchitect）作为主要设计工具、VisualStudio2012作为开发环境，综合数据库管理系统、服务产品加工工具、资源目录管理系统采用开发效率较高的C#作为开发语言。

由于数据整合系统、联动更新系统和集成展示系统要进行较多的耗时操作，因此采用执行效率较高的C++作为开发语言，同时采用并行处理技术，使数据编辑操作实现秒级响应，数据更新效率较原有模式提升1倍，展示效率提升2倍以上。

●为了对矢量数据进行形象直观的显示，定义矢量数据存储管理模型，主体基于空间数据库进行物理实现，完成矢量数据的时空化管理。

该模型能够支持在标准的数据库管理系统中存储和管理地理信息，可以实现对海量地理信息数据的高效存储、多用户并发操作和空间数据无缝管理。

●为了兼顾数据管理与读取速度的要求，基于空间数据库与文件系统的混合存储架构实现文件资料数据的存储管理。

对数据量相对较小的矢量数据采用空间数据库进行存储，对数据量相对较大的遥感影像数据采用文件系统进行存储。

采用该技术能够为上层业务和应用提供稳健、高效的实时数据服务。

●同其他数据库相比，MongoDB和SQLite数据库具有更高的插入速度、良好的可扩展性、高效的查询速度等特点，因此采用MongoDB、SQLite实现矢量瓦片数据的存储管理。

其中，MongoDB数据库提供瓦片数据的网络管理解决方案，SQLite数据库提供矢量瓦片数据的本地管