GIS平台部署项目方案Word格式文档下载.docx

1、应用客户端与移动端提供基本的数据查询、浏览，地图浏览等。（3）遥感影像数据处理入库通过该平台可以在遥感影像数据处理入库方面实现以下要求，在数据提取方面全面检查遥感影像原始数据，确保数据源的完整性和一致性，提取原始影像元信息并入库；对影像进行正射纠正处理，消除原始影像由于传感器的外方位变化、传感介质不均匀、地球曲率等因素造成的变形误差；对经过正射纠正后的影像进行配准，确保不同传感器影像数据的几何精度一致性，并且具备相同的空间坐标系；对配准后的影像进行融合处理，合成真彩色影像或假彩色影像；根据行政界线或者指定感兴趣区，对影像进行匀色镶嵌处理，最终镶嵌成果色彩一致，接近真实地表情况；对于影像处理过程

2、中的阶段性成果进行入库，主要入库数据包括：原始数据、正射数据、融合数据、镶嵌数据。xxxx研究所时空大数据与服务平台将满足不同部门的大量用户同时登录系统、进行数据提取入库、数据处理计算等等，因此对平台的性能有着较高的要求：用户数和响应时间：支持1000用户并发，登录时间小于3秒；200用户并发，登陆时间小于2秒；对于一般的系统提交操作及简单的查询操作，平均相应时间小于2秒；对于较复杂的组合查询，平均响应时间小于5秒。系统的吞吐量：页面点击率为12PagesHit/s；Web流量：100M环境下，能够支持20M/s。系统的稳定性：系统支持7*24小时稳定运行，系统出错率小于0.1%。制图可视化性

3、能要求：交互式可视化效率不低于25帧/秒。xxxx研究所时空大数据与服务平台以统一的空间基础数据库为依托，面向全所各部门提供空间信息服务，平台的安全性尤为重要。在系统的安全设计中需要考虑系统的物理设备安全、网络安全、应用系统安全以及数据安全。进度要求：本项目建设工期为45日历天。质保期要求：一年。1.1.3 平台总体方案基于高性能GIS系统，对平台的软件功能进行集成、封装，搭建TQJD大数据管理与服务平台，提供“集群数据计算信息制图”一体化的服务。本小节详细讨论平台的软硬件部署与服务，具体包括平台功能的需求、平台的软硬件架构、平台的服务APIs等几个部分。苏州中科xxxx遥感科技有限公司自主研

4、发的TQJD平台以空间数据的分布式存储为指导思想，采用“主（Master）-从（Node）”的数据存储架构模式，将数据及其元数据（metadata）分开存储，在主节点（Master）上存储元数据并提供元数据服务；而将数据文件存储在多个节点（Node）上并提供并行I/O访问。这种架构方式的一个好处是可随着数据规模的扩大进行存储服务器的动态扩展，而且也相对容易地实现负载平衡和动态调整。图31总体方案图在深入分析项目建设现状的基础上，根据xxxx研究所平台部署项目需求，结合系统建设规划和目标，我们在此阐述系统平台的优势与特色。为了科学、经济合理的完成本次建设，实现项目建设目标，并满足长远规划的要求，

5、在本方案总体设计中，我方的平台充分考虑和遵循以下原则：系统扩展性原则在主流IT技术及相关技术飞速发展的今天，系统的扩展性是任何一个新建系统不容忽视的问题。本系统的扩展性主要从以下两个方面来考虑：（1）数据的扩展性数据的扩展性是指系统数据模型的扩展性，是对于本系统建立后出现的数据模型的兼容性。对此，本系统提供了用户自定义数据模型的功能，用户可以通过它定义自己的数据模型来实现与现有数据模型的兼容。（2）功能的扩展性系统设计时所采用的“插件基础，框架集成”的模式能很好地解决功能的扩展性。系统建成后，扩展功能可以写成插件的形式，然后通过插件管理器集成到系统中来。还要允许用户可以自定义参数、自定义数据处

6、理方法、自定义查询条件、自定义输出数据类型，使系统具有良好的扩展性。1.系统兼容性原则系统结构设计时，采用面向对象的技术，利用事件驱动和封装的思想为应用软件提供接口；在功能实现上，充分体现xxxx研究所时空大数据管理与服务平台功能，同时还考虑数据共享和接口应用；在软件的平台选型上，选用当今主流平台，为系统的发展和升级提供方便；在软件的总体架构方面，注重接口的设计，充分考虑本系统与其它系统的无缝连接。2.系统实用性原则系统应具有多种功能的批处理实现，人机交互必须简便实用，系统的输入和输出统一规范化。3.系统安全性原则为保障系统安全，应对软件需求、结构设计、程序编写、软件测试和软件变更进行安全性分

7、析，避免设计异常、实现异常和使用异常。4.系统可靠性原则在方案设计过程中，必须对服务器、和相关软件的部署进行合理的规划、保障系统全年不间断稳定运行，关键业务系统设备不存在单点故障隐患，并提供完备的备份和灾难恢复措施，保障在业务系统出现重大故障后能迅速恢复。此外，还应合理的配置资源的规格型号数量，避免关键性资源形成瓶颈影响整体业务的正常运转。5.经济性原则在满足系统需求的前提下，选用经济实用的软硬件设备，以便节省投资，即选用高性能价格比的设备；同时，应该充分挖掘现有系统软硬件设备的使用潜力，尽可能以最低成本来完成系统建设。TQJD大数据管理与服务平台面向急剧暴涨的空间大数据与日益增长的信息需求，

8、提供上百TB的大数据存储与管理、空间大数据的高性能计算与分析、面向企业/个人/区域/全球等多层次的数据与信息服务。平台的数据服务指标数据服务指标包括：1.数据类型分析；平台管理的数据包括栅格数据（影像与DEM）、矢量数据、三维模型数据和其他非空间数据等四种类型。2.数据容量需求；单景栅格数据容量达100+GB，单个FeatureLayer达500+MB、对象10W+个；栅格数据总容量达上百TB，矢量数据达TB级。3.数据共享服务；栅格数据、其他非空间数据实现FTP文件服务；矢量数据提供WCS/WFS标准服务；三维模型数据实现渐进传输（PT）服务。平台的计算服务指标计算服务指标包括：1.计算服务

9、形式；平台提供开发的计算框架，用户遵循开发功能，并能简便地集成到平台计算环境中。2.计算规模分析；平台具有大规模的空间计算能力，单次计算数据量可达200+GB，同时在线计算数据量可达5TB。平台的制图服务指标制图服务指标包括：1.交互制图；支持地图、地图样式、图层、图层样式、波段合成、图层顺序等地图的交互配置和预览；2.支持高并发访问；并发用户数10,000时的制图服务可靠性99%；3.制图可视化性能；平台服务能力指标服务能力指标包括：1.平台服务形式；平台基于标准的HTTP（S）1.1通信协议，提供标准的服务；2.平台的服务用户；1）面向大司空数据应用的客户“总分”结构的分布式架构针对上述对

10、TQJD大数据管理与服务平台的数据、计算与服务的指标分析，基于高性能GIS系统，搭建“总分”结构的服务平台，而在总中心与分中心分别实现分布式的架构。1.大数据服务的“总分”结构2.数据中心的分布式架构在大数据服务“总分”结构的基础上，数据服务的总中心和分中心均采用分布式的软硬件架构。基于上述平台功能的需求，参考“数据计算”一体化的分布式架构思想，构建可伸缩的平台硬件架构。硬件整体架构基于“数据计算”一体化的分布式架构思想，搭建无共享系统构架（SharedNothingArchitecture,SNA）：集群中每个节点都配备有存储设备和计算资源，使计算本地化，减少数据在节点间的迁移。如图32所示

11、，整个硬件构架共包含三层；存储/计算层是“数据计算”一体化硬件构架的核心，由机架服务器与磁盘阵列组合而形成集群节点，节点通过高速的控制网络与数据网络（GigabitEthernetSwitch）相连而成，组成庞大的集群系统；服务层是分布式架构的服务端，经由高速以太网，连接各个集群节点和服务器，并通过服务端将集群所提供的存储、计算能力提供出去。图32高性能GIS的硬件架构下面对各个硬件的功能进行简单论述。1.磁盘阵列（RedundantArrayofIndependentDisks,RAID）RAID通过硬盘控制器把多块独立的物理硬盘按某种方式组合成一个硬盘组（逻辑硬盘），实现多个硬盘的读写同步

12、；并通过数据备份，提高磁盘的可靠性。RAID不但能够充分发挥出多块硬盘的优势，提供远远超出任何一块单独硬盘的速度和吞吐量；而且RAID提供多个级别的数据备份功能，具有良好的容错能力，在用户数据一旦发生损坏后，利用备份信息可以恢复损坏的数据，保障了用户数据的安全性。计算机技术的发展，使得RAID技术被应用于中低档甚至个人PC机上，可以通过主板上板载的RAID芯片，直接组建磁盘阵列并同计算机相连。2.机架服务器机架服务器是一种外观按照统一标准设计的服务器，配合机柜统一使用，以尽可能减少服务器空间的占用。将机架服务器同磁盘阵列相连，集群中的每个节点具有独立的存储设备与计算资源，能够独立完成计算任务。

13、3.高速以太网络利用多网卡技术，实现控制和数据的分离传输。磁盘阵列之间通过高速数据网络互联，保证大数据量传输的稳定性；控制指令通过高速控制网络传输，保证控制的实时性。4.GPU处理器CPU包含几个专为串行处理而优化的核心，而GPU由数以千计更小、更节能的处理核心组成，这些核心专为提供强劲的大规模的并行性能而设计。通过流程设计，将程序中计算量繁重的并行部分交由GPU处理，以提高程序执行速度。5.服务器在上述机架服务器上，利用虚拟机技术，抽象出空间数据查询服务器、空间数据服务服务器、空间信息计算服务器、WTS服务器、WFS服务器等。上述分布式硬件架构，可通过增加更多节点的方法获取更大的平台存储能力

14、、更高效的计算能力与服务能力，平台具有较强的可扩展性与伸缩性。硬件配置针对硬件架构建设的需要，进一步设计机房环境、机柜与机架服务器配置、RAID参数与指标、交换机参数等。1.机房环境表3-1服务器机房环境配置污染物远离腐蚀气体、易燃易爆物;腐蚀气体随着新风吸入机房后会对计算机设备和人员健康造成危害，同时不洁净的空气也会对计算机设备的运行造成不利影晌，还会对机房内精密空调、新风机等的滤网等造成污染。温度、湿度1.干球温度计:2025（68F77F）；2.相对湿度:40%50%；3.最大露点:2l（69.8）；4.最大变化速度:每小时5（9）。噪声计算机停机时，机房内的噪声在主机房中心处测试应小于

15、6SdB（A）照度机房在距地0.8m处，照度不应低于3001x，辅助房间照度不低于2001x无线电干扰场强频率为0.151000MHz时不大于126dB磁场干扰磁场干扰场强不大于800A/m地板振动加速值计算机停机时，主机房地板表面垂直及水平向的振动加速度值不应大于500mm/s电阻主机房地面及工作台面的静电泄漏电阻，应符合现行国家标准GE6650-1986计算机机房用活动地板技术条件的规定静电主机房内绝缘体的静电电位不应大于lKV2.机柜表3-2KVM一体机服务器机柜套件基本参数17寸LCD液晶屏幕、键盘及鼠标触控板整合于一个1U的抽拉式控制端模块内口数：8；带宽：75Hz；支持分辨率：12

16、80x1024切换方式：OSD屏幕选单、热键、面板按键特点CL5708SlideawayLCDKVMP抽拉式多电脑切换器是一套先进的控制方案，其可通过一组PS/2或USBKVM控制端（键盘、鼠标及显示器）存取多台服务器。一台设备可分别直接管理8台服务器；通过菊链方式另外再串接31台KVM多电脑切换器，即可从单一控制端管理多达256台服务器;图腾42U服务器标准机柜：600*1000*2000，前后网孔，带3个以上托盘;KVM保修3年3.机架服务器表3-3机架服务器的配置参数架构机架式，高度2U，带快速滑动导轨，带理线架；CPU不低于两颗E56492.53GHz，12MB缓存，5.86GT/sQ

17、PI,6C；内存最大可扩展容量不低于8个插槽，当前配置容量不低于32B（48GB）1066MHz，四列LVRDIMMs；硬盘当前配置不低于2个300GB10KrpmSAS热插拨硬盘，5块2TBNL-SAS盘，不低于6Gbps;工厂定制希捷硬盘，5年硬盘不返还服务，扩展性（必须满足）最大支持不低于14块硬盘，可选8块硬盘机箱和4块硬盘机箱；RAID卡配置RAID0、1、5、6、10、50、60，支持热备盘技术，高速缓存H700不低于512MB；网卡：不低于2个主板集成千兆以太网卡，带故障切换和负载均衡功能，支持TOE，iSCSI启动；I/OPCI插槽不低于4个，两种Riser卡可选:3PCIe（

18、x8）+1Storage或1PCIe（x16）+1Storage；光驱1个DVD-ROM驱动器；配置服务器导轨；管理1、远程管理卡（必备）：远程管理卡，具有单独的管理网口，不依赖主机操作系统进行远程操作，独立远程管理卡不占用PCI插槽，支持视频重定向，服务器复位、重新启动、开机/关机，远程虚拟介质（CD/DVD/软驱/USB存储固态盘），内置128MBFlashMemory可用于紧急的软件诊断，支持加密连接（SSL），支持Vflash卡。（必须满足）；2、LCD屏幕/主板管理控制器（必须满足）前面板上配备有可编程液晶屏，可显示默认或定制信息，包括IP地址、服务器名称、金牌支持服务编号等。如果系

19、统发生故障，该液晶屏上将显示关于故障的具体信息。主板集成嵌入式管理控制器，可一站式地完成操作系统的部署，包括内建驱动程序安装、固件更新、硬件配置和问题诊断。不需要辅助光盘，在内嵌管理器中快速部署驱动、RAID、Firmware；不需要辅助光盘/软盘，实现快速安装系统；3、管理软件（必须满足）管理控制台支持将IT网络中所有主流品牌基础架构管理整合到一个控制台上，提供单一视图和单一通用数据源，采用模块化结构，提供基本的硬件管理，支持资产和安全管理。采用基于网页的界面，符合行业标准的SSL协议传输加密数据；支持SSL虚拟介质连接；可与动态目录（ActiveDirectory）集成。电源两个热插拔75

20、0W电源，额定功率750W电源；服务5年IT专业支持与关键任务，5年当日4小时（24X7）上门服务（配件+人力），人工、配件、交通等任何费用全免；高级软件支持；原厂本地技术客户经理247电话支持，可选硬盘不返还服务；要求提供原厂商正式服务承诺函；要求必须提供原厂商产品授权证明。4.交换机表3-4交换机的配置参数端口线速非阻塞交换机，48个10/100/1000Base-TX自适应以太网端口，4个可用的1000Base-XSFP千兆以太网端口，支持万兆接口不少于2个；速率交换容量240G，包转发率132Mpps；IP支持虚拟化，支持IPv6，支持IPv4和IPv6的三层路由功能；三年原厂7244

21、现场服务。按照xxxxTQJD大数据管理与服务平台的整体设计，大数据平台基于高性能GIS软件的功能体系，对资源引擎、数据引擎、计算引擎和可视化与制图引擎进行有机组合和封装，构建面向数据/信息流水线生产、数据/信息服务多样化服务的平台软件体系，并通过服务APIs接口支撑平台的产品生产和解决方案。（1）统一的对外服务接口根据用户请求的类型（资源、数据、计算、地图等），将服务分发到服务集群相应的服务节点上。图33服务总线统一的对外接口（2）平台安全与权限在请求发送到服务总线时，服务总线查询用户及权限数据库，对请求进行动作过滤、数据约束等，并将限制后的命令发送到服务集群。 图34服务总线的权限/安全机

22、制基于大数据服务平台的应用需求，平台的软件功能构架如图35所示。图35软件功能架构资源服务引擎建立在底层硬件的基础上，是对硬件资源的抽象和虚拟化。其实现对集群系统中硬件资源的管理、调度和监控，如收集各个节点的CPU、内存容量、磁盘、网络带宽等信息及其实时利用情况，集群中节点的添加、暂停、配置和移除操作；同时配合数据存储和计算任务的管理，如数据存储位置的确定、计算资源的分配等；并且支持平台的安全管理和日志功能，如客户端用户权限管理、系统日志查看、针对不同用户的客户端订制等。在大数据服务云平台中，资源服务是基础实施即服务（G-IaaS）的具体实现，是最底层的云服务，为上层的数据、计算和可视化服务以

23、及客户端提供基础支撑。数据服务建立在分布式文件系统的基础上，利用MySQL-SE、GDAL/OGR模型、NoSQL数据库和NFS文件系统，实现空间数据存储、管理的抽象和虚拟化。在数据存储上，采用MySQL-SE存储空间数据的元数据，而空间数据本身按照既定的存储策略分布式地存储在集群节点上；在数据管理上，数据服务引擎负责数据的迁移、备份、恢复等；在数据服务上，数据服务引擎支持数据的查询、查看、导入、导出、删除等操作。在大数据服务云平台中，数据服务引擎是空间数据即服务（G-DaaS）的具体实现，为计算和可视化服务以及客户端提供服务支撑。计算服务建立在多层次的异构并行计算环境的基础上，是对空间数据计

24、算的抽象和虚拟化。计算服务负责计算工具的管理，如RS/GIS工具的注册、卸载、调用执行以及工具流的组装等；支持计算任务的调度和分配，任务的执行和监控等。在大数据服务云平台中，计算服务是空间信息软件即服务（G-SaaS）的具体实现，为可视化服务以及客户端提供服务支撑。可视化与制图服务建立在数据服务和计算服务的基础上，是计算服务针对空间大数据渲染的特殊应用。从计算实现看，数据可视化是数据计算的具体化和实例化，具有的数据密集，运算简单而琐碎，实时性较高等特点。大数据服务平台通过APIs对外提供资源管理服务、数据服务、计算服务和可视化与制图服务，其功能清单和所依赖功能如表3-5所示。表3-5平台功能列

25、表项目功能底层依赖资源服务1. 节点的增删/启停；2. 集群节点硬件性能检测；3. 节点资源消耗监测；4. 用户与组角色分配与管理；5. 系统日志；管理引擎数据服务1. 数据的接入/交换/导出；2. 数据的时空属性查询；3. 数据存储的统计分析（时间、空间、存储）；4. 数据简单的预处理；5. 数据安全与一致性维护（迁移、备份、恢复）；数据引擎计算服务1. 计算工具注册、卸载、调用；2. 计算任务的分发、监控、结果回收；3. 计算任务的重启、迁移、负载均衡；4. 计算流水线的构建与执行；计算引擎可视化与制图服务1. 创建/删除/配置/发布地图；2. 添加/删除/调整/配置图层；3. 切片/缓存

26、地图；4. 栅格/矢量/DEM图层支持；5. WMS/WTS标准地图服务；制图引擎三维可视化引擎表3-6平台软件环境配置软件其他说明1.操作系统WindowsServer2008R2支持x64操作2.空间（元）数据库MySQLServer5.6+;MySQLWorkbench;3.NETFramework4.0;4.54.文件服务FTPIIS的FTP服务5.Web服务IIS的HTTP服务对平台的软件功能进行集成与封装，并开放平台APIs，支持服务平台的门户网站、解决方案等应用。图36平台服务APIs资源服务、数据服务、计算服务和制图服务等的APIs经过服务总线的聚拢和集成，对外提供统一的服务接口。利用高精度卫星影像制作数字正射影像图需要经过一系列的数据处理过程，先是对单景进行处理，使每一块影像都有较好的处理效果，然后对整体图进行拼接与镶嵌。主要生产技术流程为数据准备、控制点选取、正