地理空间大数据创新技术及应用.pptx

1、地理空地理空间间大数据大数据创创新技新技术术及及应应用用浙江大学地理信息科学研究所浙江省资源与环境信息系统重点实验室2017年7月地理国情大数据地理国情大数据创创新技新技术术及及应应用用全国土地大数据全国土地大数据创创新技新技术术及及应应用用高分遥感大数据高分遥感大数据创创新技新技术术及及应应用用点云数据高性能点云数据高性能计计算算创创新技新技术术及及应应用用后云后云时时代技代技术创术创新新雾计雾计算算内容提要GIS-Transforming our WorldGIS-Transforming our World地理国情大数据地理国情大数据创创新技新技术术及及应应用用地理国情普查/监测数据获取

2、能力：日均获取原始影像超300GB每年累计亿级矢量图斑要素应急支撑需采集十余种数百TB数据空天地海立体观测技术发展高高 精精 度度高高 频频 度度高高 覆覆 盖盖海量空间数据爆炸式增长地理国情大数据应运而生背景背景以浙江省地理国情普以浙江省地理国情普查查主要成果主要成果为为例例背景地理国情大数据地理国情大数据海量、多源、异构海量、多源、异构背景地理国情大数据地理国情大数据海量、多源、异构海量、多源、异构背景问题挑战高效高效计计算算难难计算作业时间长、交互等待时间长、无法应对大规模地理国情数据处理需求。数据管理数据管理难难传统数据管理技术存储模式单一，面向海量、多源、异构的时空数据扩展存储能力有

3、限。突破地理国情大数据关键技术，解决大规模地理国情数据异构海量存储、高性能实时统计分析、增量更新技术瓶颈我们的应用技术方案云云计计算算环环境下地理国情大数据高效境下地理国情大数据高效存存储计储计算算关关键键技技术术1、大、大规规模地理国情多模地理国情多态态云云存存储储模型模型关关键键技技术术一一、地理国情地理国情大数据大数据多多态态云存云存储储根据数据不同类型、不同需求，选取不同的存储模型数据节点1数据节点1HDFS分布式文件系统数据节点1 地 理 国 情 要 素矢量数据组织结构文件数据组织结构文件索引Hbase元数据与表数据Oracle传感器名 年份月份日数 卫星名称日数分区数据不分区数据G

4、eodatabaseWKTGeodatabaseWKT规范化数据预处理入库工具检核实体编元数据码提取.矢量影像文档待入库数据集 中 存 储数 据 组 织数 据 整 合小要素小要素集集、更新更新频频繁繁的数据采用Geodatabase模型管理大要素集大要素集、计计算算频频繁繁的数据以WKT格式基于HDFS存储，并使用HBase存储空间索引影像数据、文档数据采用分分布布式式文文件件系系统统与元元数数据据表表结合的方式管理2、泛化地理信息高效并、泛化地理信息高效并发发检检索索技技术术关关键键技技术术一一、地理国情地理国情大数据大数据多多态态云存云存储储HBaseHDFS数 据 分 块网 格 包 含

5、的geo_ID文 件合 并 文 件获取查询条件（行政区编码、分类码）生成查询任务查询任务1（StartKey，EndKey）查询任务2（StartKey，EndKey）查询任务n（StartKey，EndKey）.查询结果合并实现了全省千千万万级级地理国情矢量数据的快速检索与统计数据模型：OGC+WKT空间定位：网格索引关键字查询：倒排索引空间查询：最小外接矩形过滤多多样样化地理国化地理国情情信息快信息快速速检检索索统统计计多多态态存存储储方法方法传统传统方法方法1.使用单一存储模型，效率低、性能差2.难以充分利用计算资源3.无法应对时空大数据存储对对比比1.分布式存储模型2.运行在分布式存算

6、一体化环境，检索资源利用率高3.专门应对时空大数据存储对浙江省700万条地表覆盖要素进行检索和三级类统计，仅需24秒，解决了传统GIS平台均无法处理的国际技术难题创新效果关关键键技技术术一一、地理国情地理国情大数据大数据多多态态云存云存储储创新效果覆盖全省覆盖全省PB级级地地理理国国情数据的高情数据的高性性能存能存储储管理管理地表覆盖数据遥感影像数据关关键键技技术术一一、地理国情地理国情大数据大数据多多态态云存云存储储创新效果县县域域级别级别任意多任意多边边形的形的空空间检间检索索：秒：秒级级响响应应（传统传统超超过过100s）县级县级地表覆盖地表覆盖统计统计效果演示，以嘉善效果演示，以嘉善县

7、为县为例的空例的空间间范范围执围执行地表覆盖行地表覆盖汇总统计汇总统计，可达到秒，可达到秒级级响响应应。关关键键技技术术一一、地理国情地理国情大数据大数据多多态态云存云存储储创新效果全省地理国情数据分全省地理国情数据分类类分分行政行政区区统计统计：24秒（秒（传传统统超超过过3小小时时）浙江省全省浙江省全省700万条地表覆盖要素的三万条地表覆盖要素的三级类统计汇总级类统计汇总效果演示，效果演示，查询结查询结果果总长总长度度为为400多多万千米，万千米，总总面面积为积为12多万平方千米。多万平方千米。关关键键技技术术一一、地理国情地理国情大数据大数据多多态态云存云存储储关关键键技技术术二、地理国

8、情大数据高性二、地理国情大数据高性能能地理地理计计算算传统计算效率存在问题16单机处理方式效能低计算作业时间长交互等待时间长无法应对大规模时空数据处理需求MPP架构下大规模并行计算基础设备昂贵基于MPI框架，并行效率存在瓶颈计算过程仍需网络I/O多云共生平衡架构本地存储、本地处理、独立服务智能感知的计算任务调度体系最大限度减少数据传输损耗适用分布式计算模型多云并算协同机制分布式部署的内存云，提供了海量内存计算空间计算过程在内存云中，无硬盘I/O基于内存云GPU协同加速，并行能力强，效率高内存云硬盘云高高效效稳稳定定双态云计算方法关关键键技技术术二二、地理国情地理国情大数据大数据高高性能地理性能

9、地理计计算算异构云异构云环环境下境下时时空信息双空信息双态态云云计计算方法算方法4 U4 U4 U4 U2 U4 U4 U4 U4 U4 U4 U4 U2 U4 U4 U4 U4 U4 U42 U硬件架构图42 U存算节点预处理服务器主节点通讯服务器构图逻辑架1、Hadoop、Storm、Spark多多云共云共生生平衡平衡架架构构关关键键技技术术二二、地理国情地理国情大数据大数据高高性能地理性能地理计计算算Hadoop常用于离常用于离线线的复的复杂杂的大数据的大数据处处理，理，Spark常用于离常用于离线线的快速的大数据的快速的大数据处处理，而理，而Storm常用于在常用于在线线的的实时实时的

10、大数据的大数据处处理理。I m a g e I n p u t F o r m a tI m a g e S p l i tI m a g e S p l i tI m a g e S p l i tI m a g e R RI m a g e R RI m a g e R RM a pM a pM a pR e d u c eI m a g e O u t p u t F o r m a t从H D F S 中读取影像文件写回到H D F S 存储算任务管理引擎计算任务池计算任务监控DiskDiskRAMGPUDiskRAMGPU.储硬盘云算内存云RAM行加速云GPU计并 计 存图像 文件计

11、算任务接口层HeartbeatDaemonDaemonDaemon2、Disk、RAM、GPU多多云并云并算算协协同同机制机制关关键键技技术术二二、地理国情地理国情大数据大数据高高性能地理性能地理计计算算R D D PairRDDPairRDDpid,List,ListR*-T ree N LGroup Partitions B y pidJoin Partitions B y pidSpatial Grid PartitionR D D PairRDDP airRD D pid,List P airR D D pid,List flatMapT oPair transform ationgr

12、 oupByKey transform ationjointransform ationflatMapT oPair transform ationR D D PairRDDP airRD D pid,List PairRDDrid1,r1 with ListPairRDDMer g e1PairRDDpid,Listr withList RepartitionreduceByKey transform ationflatMapT oPair transform ationPairwise Spatial JoinP a i r w i s e S p a t i a l J o i nPai

13、rwise Spatial JoinwithoutM er g e and RepartitionO utputRDDOutput FileflatMap transform ationsaveA sTextFile actionInput File0Input File1Input FilentextFile actionDisk I/OIn-memory Process F low Store on diskStore in m e m o r y多多云云构构建建的的同同时时带带来来一一个个问问题题，如如何何协协同同，我我们们构构建建了了多多云云并并算算的的协协同同机机制制，自自动动将将适

14、适合合不不同同架架构构进进行行计计算算的的任任务务分分发发到到基基于于硬硬盘盘、内内存存、CPU的的计计算算模模式式中中，实实现现计计算算效效率率的的巨巨大提升大提升内存云内存云调调度引擎度引擎主节点DAG任务调度器RDSD索引管理RDSD数据块管理计算线程n分布式硬分布式硬盘盘云云节点1节点2节点n硬硬盘盘云云调调度引擎度引擎存储虚拟化管理分布式文件系统管理从节点任务调度计算线程计算线程12节点状态异异 构构 云云 存存 算算 一一 体体 化化 管管 控控 引引 擎擎RDSD缓存重建RDSDFlash内存内存扩扩展展缓缓存存缓存持久化重建缓存RDSD空间变换RDSD创建RDSD持久化RDSD

15、管理RDSD读取分布式内存云分布式内存云（弹性分布式数据集（RDSD）GeoToolsRDSD(rid,r)RDSD(rid,MBRr)RDSD(Zr,MBRr)RDSD(Zrsort,MBRr)RDSD(Zrsample,MBRr)RDSD(id,R-Tree)采样计算MBR计算Z-Value排序构建分布式R-TreeRDSD序列化GeoDataSet 块文件GeoDataSet块文件map变换sort变换sample变换reduce行为输入格式构建RDSD输出格式Key Columns Subkey Value Timestampid1 idnsknvntssk1v1sk2v2sk3v3.

16、ts ts ts.Key Columns Subkey Value Timestamp id1sk1 sub-tree1ts.idnskn sub-treents3、异构云、异构云弹弹性空性空间间数据数据集集协协同同调调度技度技术术关关键键技技术术二二、地理国情地理国情大数据大数据高高性能地理性能地理计计算算我我们们建建立立了了数数据据调调度度引引擎擎，利利用用三三个个不不同同层层次次的的引引擎擎协协同同不不同同云云环环境境的的技技术术平平滑滑，以以本本地地化化计计算算为为核核心心导导向，向，实现实现数据的自数据的自动调动调度，度，大大规规模地理国情数据模地理国情数据计计算算效能效能对对比比关关键键技技术术二二、地理国情地理国情大数据大数据高高性能地理性能地理计计算算创新效果+T_SpatDataUpdtInfoIDLayerNameVerTimeElemSTimeElemETime.NewFeatureIDVLayerNewTimeHistoryTimeNewTime.VLayer_VHistoryTimeVLayer_CHVNewTimePresentVLayer百万百万级级点集和