GIS平台部署项目方案设计.docx

1、GIS平台部署项目方案设计1.1技术方案1.1.1项目背景为了满足xxxx研究所(地理所)资源与环境信息系统国家重点实验室时空大数据的存储、管理、计算、制图、共享服务等业务需求，为空间数据部门提供海量化、可视化与自动化的技术支持，全面提升地理所对大规模时空数据的管理与服务能力，希望通过时空大数据管理与服务平台的实施为xxxx研究所的根底数据的整合共享、可视化管理、大规模时空数据库的管理与服务能力等提供必要的保障与服务，同时全面提升信息化水平，完成大数据管理平台的建设。总体建设要求：本项目要建成xxxx研究所时空大数据管理与服务平台，可实现地理所对大规模时空数据的管理、计算与服务能力的全面的提升

2、，尤其是在可视化管理、查询高达数百TB空间数据、影像处理水平、大规模空间数据的数据共享与可视化制图服务的整体能力。1.1.2项目需求分析项目建设目标：建成xxxx研究所时空大数据与服务平台，实现平台数据、三维产品、应用系统云端下的部署与应用，为空间数据部门提供海量化、可视化与自动化的技术支持，全面提升地理所对大规模时空数据的管理与服务能力，希望通过时空大数据管理与服务平台的实施为xxxx研究所的根底数据的整合共享、可视化管理、大规模时空数据库的管理与服务能力等提供必要的保障与服务。本项目的招标内容主要是xxxx研究所时空大数据与服务平台系统开发、数据处理、系统对接工作。1软件平台通过该平台可以

3、达到两大方面的需求，一是通过该平台可以进展集群硬件状况与性能的监控；能够实现大规模栅格数据的接入、存储、管理、检索、快速可视化与制图、共享服务等(数据单景可达500GB，数据总量可达500TB)；同样实现大规模矢量数据的接入、存储、管理、检索、快速可视化与制图、共享服务等(单个数据可达3GB，属性字段支持中文，并支持WCS、WFS等标准服务)；还有实现大规模三维模型数据的接入、存储、管理、检索、快速可视化与制图、共享服务等(支持三维模型的渐进传输模型的存储与抽取)；与此之外还可以提供非时空数据的接入、存储、管理、共享等支持，设计实现大规模时空数据的计算框架，支持集群/多核/GPU等多层次的高性

4、能计算技术，实现分布式的空间计算(调用计算工具)；提供空间数据模型(多种栅格与矢量数据格式)，开放计算框架APIs与工具编写规X，并可由用户自主开发计算工具；提供100200个具有代表性的计算工具(RS计算工具、GIS计算工具)，实现多层次的空间大数据计算与分析；大规模时空数据的实时渲染与交互制图，支持地图配置、图层配置、样式配置等；达到单个地图瓦片的服务响应时间控制在45ms以内。二是在平台功能服务的需求上，要求该平台技术先进、成熟，核心技术自主研发；所有服务的使用都通过完善的加密控制和权限管理，确保用户的数据安全；支持分布式和集群式部署，能够实现系统服务能力的动态扩大； 软件平台服务提供W

5、ebAPI，实现各类数据服务的远程管理，包括创建数据服务、删除数据服务、初始化数据服务；客户端应提供成熟的二次开发工具，实现应用功能的定制开发。2平台客户端通过平台服务的支撑，平台客户端的建设，可以提供C/S管理客户端、B/S数据查询服务应用客户端以与Android的手机端与平板APP，且支持二维与三维的地图视图；管理客户端通过简明UI流畅对接数据管理、查询，计算与工具，可视化与配图功能，并能流畅交互；应用客户端与移动端提供根本的数据查询、浏览，地图浏览等。3遥感影像数据处理入库通过该平台可以在遥感影像数据处理入库方面实现以下要求，在数据提取方面全面检查遥感影像原始数据，确保数据源的完整性和一

6、致性，提取原始影像元信息并入库；对影像进展正射纠正处理，消除原始影像由于传感器的外方位变化、传感介质不均匀、地球曲率等因素造成的变形误差；对经过正射纠正后的影像进展配准，确保不同传感器影像数据的几何精度一致性，并且具备一样的空间坐标系；对配准后的影像进展融合处理，合成真彩色影像或假彩色影像；根据行政界限或者指定感兴趣区，对影像进展匀色镶嵌处理，最终镶嵌成果色彩一致，接近真实地表情况；对于影像处理过程中的阶段性成果进展入库，主要入库数据包括：原始数据、正射数据、融合数据、镶嵌数据。xxxx研究所时空大数据与服务平台将满足不同部门的大量用户同时登录系统、进展数据提取入库、数据处理计算等等，因此对平

7、台的性能有着较高的要求：用户数和响应时间：支持1000用户并发，登录时间小于3秒；200用户并发，登陆时间小于2秒；对于一般的系统提交操作与简单的查询操作，平均相应时间小于2秒；对于较复杂的组合查询，平均响应时间小于5秒。系统的吞吐量：页面点击率为12Pages Hit/s；Web流量：100M环境下，能够支持20M/s。系统的稳定性：系统支持7*24小时稳定运行，系统出错率小于0.1%。制图可视化性能要求：交互式可视化效率不低于25帧/秒。xxxx研究所时空大数据与服务平台以统一的空间根底数据库为依托，面向全所各部门提供空间信息服务，平台的安全性尤为重要。在系统的安全设计中需要考虑系统的物理

8、设备安全、网络安全、应用系统安全以与数据安全。进度要求：本项目建设工期为45日历天。质保期要求：一年。1.1.3平台总体方案基于高性能GIS系统，对平台的软件功能进展集成、封装，搭建TQJD大数据管理与服务平台，提供“集群数据计算信息制图一体化的服务。本小节详细讨论平台的软硬件部署与服务，具体包括平台功能的需求、平台的软硬件架构、平台的服务APIs等几个局部。某某中科xxxx遥感科技某某自主研发的TQJD平台以空间数据的分布式存储为指导思想，采用“主(Master)-从(Node)的数据存储架构模式，将数据与其元数据(metadata)分开存储，在主节点(Master)上存储元数据并提供元数据

9、服务；而将数据文件存储在多个节点(Node)上并提供并行I/O访问。这种架构方式的一个好处是可随着数据规模的扩大进展存储服务器的动态扩展，而且也相对容易地实现负载平衡和动态调整。图31 总体方案图在深入分析项目建设现状的根底上，根据xxxx研究所平台部署项目需求，结合系统建设规划和目标，我们在此阐述系统平台的优势与特色。为了科学、经济合理的完本钱次建设，实现项目建设目标，并满足长远规划的要求，在本方案总体设计中，我方的平台充分考虑和遵循以下原如此：系统扩展性原如此在主流IT技术与相关技术飞速开展的今天，系统的扩展性是任何一个新建系统不容无视的问题。本系统的扩展性主要从以下两个方面来考虑：1数据

10、的扩展性数据的扩展性是指系统数据模型的扩展性，是对于本系统建立后出现的数据模型的兼容性。对此，本系统提供了用户自定义数据模型的功能，用户可以通过它定义自己的数据模型来实现与现有数据模型的兼容。2功能的扩展性系统设计时所采用的“插件根底，框架集成的模式能很好地解决功能的扩展性。系统建成后，扩展功能可以写成插件的形式，然后通过插件管理器集成到系统中来。还要允许用户可以自定义参数、自定义数据处理方法、自定义查询条件、自定义输出数据类型，使系统具有良好的扩展性。系统结构设计时，采用面向对象的技术，利用事件驱动和封装的思想为应用软件提供接口；在功能实现上，充分表现xxxx研究所时空大数据管理与服务平台功

11、能，同时还考虑数据共享和接口应用；在软件的平台选型上，选用当今主流平台，为系统的开展和升级提供方便；在软件的总体架构方面，注重接口的设计，充分考虑本系统与其它系统的无缝连接。系统应具有多种功能的批处理实现，人机交互必须简便实用，系统的输入和输出统一规X化。为保障系统安全，应对软件需求、结构设计、程序编写、软件测试和软件变更进展安全性分析，防止设计异常、实现异常和使用异常。4.系统可靠性原如此在方案设计过程中，必须对服务器、和相关软件的部署进展合理的规划、保障系统全年不连续稳定运行，关键业务系统设备不存在单点故障隐患，并提供完备的备份和灾难恢复措施，保障在业务系统出现重大故障后能迅速恢复。此外，

12、还应合理的配置资源的规格型号数量，防止关键性资源形成瓶颈影响整体业务的正常运转。5.经济性原如此在满足系统需求的前提下，选用经济实用的软硬件设备，以便节省投资，即选用高性能价格比的设备；同时，应该充分挖掘现有系统软硬件设备的使用潜力，尽可能以最低本钱来完成系统建设。TQJD大数据管理与服务平台面向急剧暴涨的空间大数据与日益增长的信息需求，提供上百TB的大数据存储与管理、空间大数据的高性能计算与分析、面向企业/个人/区域/全球等多层次的数据与信息服务。平台的数据服务指标数据服务指标包括：1.数据类型分析；平台管理的数据包括栅格数据(影像与DEM)、矢量数据、三维模型数据和其他非空间数据等四种类型

13、。2.数据容量需求；单景栅格数据容量达100+GB，单个Feature Layer达500+MB、对象10W+个；栅格数据总容量达上百TB，矢量数据达TB级。3.数据共享服务；栅格数据、其他非空间数据实现FTP文件服务；矢量数据提供WCS/WFS标准服务；三维模型数据实现渐进传输(PT)服务。平台的计算服务指标计算服务指标包括：1.计算服务形式；平台提供开发的计算框架，用户遵循开发功能，并能简便地集成到平台计算环境中。2.计算规模分析；平台具有大规模的空间计算能力，单次计算数据量可达200+GB，同时在线计算数据量可达5TB。平台的制图服务指标制图服务指标包括：1.交互制图；支持地图、地图样式

14、、图层、图层样式、波段合成、图层顺序等地图的交互配置和预览；2. 支持高并发访问；并发用户数10,000时的制图服务可靠性99%；3. 制图可视化性能；交互式可视化效率不低于25帧/秒。平台服务能力指标服务能力指标包括：1.平台服务形式；平台基于标准的HTTP(S)通信协议，提供标准的服务；2.平台的服务用户；1)面向大司空数据应用的客户 “总分结构的分布式架构针对上述对TQJD大数据管理与服务平台的数据、计算与服务的指标分析，基于高性能GIS系统，搭建“总分结构的服务平台，而在总中心与分中心分别实现分布式的架构。1. 大数据服务的“总分结构2.数据中心的分布式架构在大数据服务“总分结构的根底

15、上，数据服务的总中心和分中心均采用分布式的软硬件架构。基于上述平台功能的需求，参考“数据计算一体化的分布式架构思想，构建可伸缩的平台硬件架构。硬件整体架构基于“数据计算一体化的分布式架构思想，搭建无共享系统构架(Shared Nothing Architecture, SNA)：集群中每个节点都配备有存储设备和计算资源，使计算本地化，减少数据在节点间的迁移。如图32所示，整个硬件构架共包含三层；存储/计算层是“数据计算一体化硬件构架的核心，由机架服务器与磁盘阵列组合而形成集群节点，节点通过高速的控制网络与数据网络(Gigabit Ethernet Switch)相连而成，组成庞大的集群系统；服务层是分布式架构的服务端，经由高速以太网，连接各个集群节点和服务器，并通过服务端将集群所提供的存储、计算能力提供出去。图32 高性能GIS的硬件架构下面对各个硬件的功能进展简单论述。1. 磁盘阵列(Redundant Array of Independent Disks, RAID)RAID通过硬盘控制器把多块独立的物理硬盘按某种方式组合成一个硬盘组(逻辑硬盘)，实现多个硬盘的读写同步；并通过数据备份，提高磁盘的可靠性。RAID不但能够充分发挥出多块硬盘的优势，提供远远超出任何一块单独硬盘的速度和吞吐量；而且RAID提供多个级别的数据备份功能，具有良好的容错能力，在用户数