山东省农业遥感一张图地理信息系统.docx

1、山东省农业遥感一张图地理信息系统1 项目概述 61.1 建设背景 61.2 建设目标 62 系统建设内容 72.1 “一张图”数据库及数据展现系统 82.2 “一张图”数据管理应用系统 82.3 “一张图”数据共享服务系统 82.4 系统建设原则 83 系统总体设计 93.1 总体框架 93.2 总体技术路线 123.3 技术架构设计 133.4 软件应用架构 153.5 关键技术 154 “一张图”数据库建设 154.1 数据库设计 164.1.1 数据库模型设计 164.1.2 数据库组织 164.2 数据入库 185 “一张图”数据管理应用系统 215.1 数据预处理子系统 215.1.

2、1 数据转换模块 215.1.2 数据检查模块 215.1.3 数据编辑与处理模块 225.1.4 数据栅格化处理模块 225.2 数据仓库子系统 225.2.1 多源异构数据管理模块 235.2.2 数据仓库目录管理模块 235.2.4 数据离线分发模块 235.2.5 数据更新模块 245.2.6 历史数据管理与回溯模块 245.2.7 元数据管理模块 245.2.8 数据备份、还原模块 245.3 数据应用子系统 255.3.1 数据查询模块 255.3.2 数据浏览展示模块 255.3.3 数据统计模块 265.3.4 数据分析模块 265.3.5 地图制图模块 265.3.6 符号库

3、管理模块 275.3.7 标准制图模板管理模块 285.3.8 专题图制作模块 285.3.9 成果输出模块 28 数据字典管理模块 285.4 数据发布子系统 285.4.1 目录服务模块 295.4.2 WMS地图服务模块 295.4.3 空间查询服务模块 305.4.4 空间分析服务模块 305.4.5 数据分发、交换服务模块 305.4.6 调用接口服务模块 305.4.7 服务配置管理模块 315.4.8 DEM分析服务 315.4.9 其他服务模块 315.5 系统中心配置管理子系统 325.5.1 用户与权限管理模块 325.5.2 系统监控模块 335.5.3 系统设置模块 3

4、35.5.4 日志管理模块 336 “一张图”数据共享服务系统 336.1 系统功能 336.2 系统主页 346.3 专题图功能描述 467 项目实施计划 477.1 项目组织管理 477.1.2 项目组织机构 507.2 项目开发计划和实施过程 527.3 项目跟踪与监督 527.4 项目质量管理 537.5 项目风险管理 547.6 项目沟通管理 557.7 项目测试 567.8 项目总结验收 587.9 系统交付运行 597.10 培训和系统维护 607.11 项目实施进度 601项目概述1.1建设背景2005年中央首次在一号文件中提出有关农业信息化方面的问题，指出“加快生物技术和信息

5、技术等高新技术的研究”，要“加强农业信息化建设”。 2006年中央一号文件强调要积极推进农业信息化建设，充分利用和整合涉农信息资源，强化面向农村的广播电视电信等信息服务，重点抓好“金农”工程和农业综合信息服务平台建设工程。2007年中央一号文件强调要健全农业信息收集和发布制度，推动农业信息数据收集整理规范化、标准化。加强信息服务平台建设，深入实施“金农”工程，建立国家、省、市、县四级农业信息网络互联中心。2008年中央一号文件在强调：按照求实效、重服务、广覆盖、多模式的要求，整合资源，共建平台，健全农村信息服务体系。推进“金农”、“三电合一”、农村信息化示范和农村商务信息服务等工程建设，积极探

6、索信息服务进村入户的途径和办法。2009年的一号文件中共中央、国务院关于2009年促进农业稳定发展农民持续增收的若干意见的文件分为“加大对农业的支持保护力度”、“稳定发展农业生产”、“强化现代农业物质支撑和服务体系”、“稳定完善农村基本经营制度”、“推进城乡经济社会发展一体化”五部分，重点突出农业发展与促进农民增收，一共是五个方面28条，每一条都涉及到信息化。中国互联网络信息中心最新发布的报告显示，2009年，农村网民规模达到10681亿，占整体网民的278%。1.2建设目标农业信息化是新时期农业发展与时俱进、达到农业现代化的标志，以“一张图”数据中心为基础的“3S”技术是实现农业信息化的重要

7、支撑。山东省正在建设国家农村农业信息化示范省，而山东省农业数据库建设发展相对滞后，阻碍了农业信息化的进程。因此，本项目提出基于先进的“3S”技术及空间数据库技术，以计算机网络为基础，以数据库为核心，建设一个准确、高效、快速、全面、规范的农业“一张图”平台，实现农业生产产前、产中、产后信息的快速获取与共享，为全省各级政府与农业生产部门指导农业生产提供决策依据，为公众提供农业生产相关服务，对于促进山东省农业信息化、农业决策科学化和管理现代化提高到一个新的水平具有重要意义。2系统建设内容农业资源“一张图”综合管理信息平台建设的主要任务是：（1）标准体系机制建设制定数据库入库标准、业务数据交换标准、数

8、据应用和服务技术标准、数据整合技术标准、数据更新技术标准。“一张图”核心数据库数据汇交和更新涉及到管理体制、机制和技术等方面的一系列问题。需要建立 “一张图”涉及数据汇交与更新的协调、操作、运行的管理机制；规范各部门、各单位数据汇交与更新行为；依据数据更新技术要求进行数据更新工作。（2）“一张图”本底数据库建设按照统一规划、统一标准的要求，对不同类别、不同专业的海量、多源、异构数据进行整合，将数据分层管理，形成“一张图”本底数据库。建设集成资源调查、农情监测、灾害预警等多源数据的农业 “一张图”本底数据库。依据相关数据建设标准、规范，对多源、海量、异构数据进行转换、整理等，按照统一建库标准进行

9、数据库入库。海量数据库建设做到性能优化，满足海量数据浏览和显示、后期数据维护和更新需求。（3）“一张图”数据管理应用系统建设开发“一张图”数据管理应用系统，进行“一张图”数据库的管理、维护、查询统计、更新、统计分析等应用。提供数据服务应用，为面积监测、长势监测、产量监测、气象灾害监测等应用管理系统提供全面、准确的数据支撑。具备数据检查、入库、编辑与处理、更新、交换（输入输出）、元数据管理以及数据备份、系统监控、数据迁移、日志管理等较为完备的功能，为行业管理、综合监管和辅助决策提供数据支持。（4）数据共享发布服务建设建设基于Web Service的数据共享发布服务，满足公众对农业相关数据的应用需

10、求，对内实现农业“一张图”的数据共享，对外为其他政府部门、企事业单位和个人提供方便、快捷的信息服务。2.1“一张图”数据库建设在基础设施支撑下，对不同类别的海量、多源、异构数据进行梳理，利用提取、转换和检查等必要的手段处理、加工成统一数据标准的入库数据，数据按分层分类分区管理，形成农业资源核心数据库原始数据。以数据库中图层数据为基础，使用Web网站展现“一张图”入库成果，配置美观的符号，显示每一层图形及属性数据。2.2“一张图”数据管理应用系统按照管理“一张图”数据成果和应用服务的要求，开发核心数据库管理系统，实现对全市农业数据的集中管理与维护。数据库管理系统具备功能如下：数据交换（输入输出、

11、各式转换）、数据检查、数据分区入库、数据分类、数据更新、元数据备份、系统监控、数据迁移、日志管理等较为完备的功能。利用数据成果配置图层及图例，比较方便的形成专题图。对形成的专题图以配置文件保存且能方便的发布成图层数据服务供Web网站展现。对重点关心的数据，提供专门的更新，维护接口，简化操作。2.3“一张图”数据共享服务系统在农业“一张图”数据库及其管理系统的基础上，开发应用服务接口，将地理信息服务（图形浏览、定位查询、空间分析等）、属性数据查询与浏览、统计与分析、专题图制作等功能封装，开发对“一张图”调用和操作的应用接口，为其它业务应用系统提供图形数据支撑、分析应用与服务。2.4系统建设原则（

12、1）统一领导，整体规划“一张图”数据库及数据管理应用平台建设是一项长期的系统工程，为确保建设的有序、规范，在实际工作中必须做好统一领导，整体规划。由信息化领导小组统一领导和部署，组织制定总体规划，设计总体框架，确定总体目标与主要任务，制定项目实施总体方案和详细设计，形成统一的标准体系，并具体组织项目的实施。（2）统一标准，相互衔接“一张图”数据库及数据管理应用平台建设要求互联互通和数据交换共享，统一标准规范为必要保障。系统建设必须遵循统一数据标准、系统建设规范进行，不同业务数据交换依据交换标准进行业务对接。（3）整体设计，逐步扩展系统建设依据总体技术框架进行整体建设，确保系统具备可扩展性，从业

13、务梳理、信息化基础成熟程度或需求迫切的业务领域起步，逐步向全业务扩展。（4）保障安全，开放服务系统建设涉及各业务处室，涉及涉密及敏感信息。应在严格执行国家相关信息安全制度前提下，开放接口，满足各类用户管理和研究、分析工作的需要。3系统总体设计3.1总体框架农业 “一张图”及综合管理平台总体框架如下图所示：图3-1总体框架（1）基础设施层建立县局各部门间互联互通的局域网，支撑业务系统和数据库内部运行；依托Internet，提供对外信息服务。 （2）数据支撑层数据支撑以农业一张图数据库为核心，依托成熟的数据库管理系统、数据调用与服务、数据交换体系，按照统一的标准，建立集数据管理、数据处理、数据交换

14、等功能为一体的一张图数据中心，为业务平台运行提供数据支撑。（3）应用支撑层以图文一体业务协作架构平台作为各业务应用与服务平台的应用支撑平台，搭建农业综合管理信息平台、信息服务系统。（4）应用服务层围绕农业资源管理工作，构建数据管理应用系统、数据共享服务系统，实现数据的统一管理、统一分发、统一共享，为用地单位、社会公众提供信息查询、下载等服务。3.2总体技术路线图3- 2总体技术路线（1）采用ETL、Web Service、数据调用接口方式对多源、异构数据进行质量检查及整合建库。一张图核心数据库包含的数据内容丰富、数据来源多样，数据标准、模型、格式、精度、存储形态等差异甚大，要将种类繁多、海量的

15、数据进行集成整合为支撑农业资源管理业务的核心数据库，需要采用ETL、Web Service、数据调用接口方式，开展数据整合建库工作。（2）采用企业级应用技术和组件设计对各业务系统进行定制开发。采用企业级应用技术和组件设计，根据用户的需求快速搭建出各业务应用管理系统，且各业务应用管理平台基于统一的门户登录、统一的业务平台构建，形成统一的数据管理模式、统一的数据构件（服务）调用接口。这样，既保证了数据共享、业务模式统一和其他业务子系统的关联，又保证了业务子系统的独立性、灵活性和可扩充性。 （3）采用应用集成服务技术，支持对复杂应用的集成。采用应用集成服务技术提供了对其内部已有应用系统或外部应用系统

16、的集成支持。（4）支持多用户、分布式应用，提供统一的安全保障机制平台提供对多用户和分布式部署应用的支持，并采用统一认证和数据加密技术保证系统用户及系统数据安全。3.3技术架构设计采用用户体验最佳的RIA（Rich Internet Application）富客户端技术，基于Adobe Flex技术的RIA应用处于业内领先地位。客户端：使用标准的Web页面浏览器及Flash Player，不需安装特殊的应用程序，减少了升级和维护的难度。表现层：使用.Net结合Flex技术，程序无任何刷新，极短的数据等待时间和更方便的快捷操作，致力展示更完美的客户体验和数据表现；应用层：所有的业务数据都保存在应用

17、层，确保了业务的安全，采用.Net企业级架构，使得企业业务逻辑的更新和扩展更为方便和容易；数据层：采用Oracle10大型后台数据库系统；图3-3 技术架构设计多层软件架构确保了系统的扩展性和适用性，基于这种多层结构，方便企业应用智能负载均衡与集群等技术实现系统服务能力的扩展。3.4软件应用架构图4- 4软件应用架构3.5关键技术3.5.1多源异构数据集成技术农业“一张图”数据库系统建设所涉及的数据种类较多，包括非空间数据和空间数据。其中，空间数据包括基础地理信息数据、影像数据等；非空间数据包括系统管理数据，word、excel、pdf等格式的文档数据，多媒体数据等。如何在不改变各个数据正常生

18、产运行的情况下，整合诸如文档、数据库属性表等非空间数据和空间数据，统一管理这些的数据成为一个复杂的问题，这就要求系统具有多源异构数据管理和集成的能力。传统的空间信息应用系统都采取数据格式的转换方法来达到数据的集成或相互利用。但是这种方式存在着一定的弊端。首先，使用这种方式时需要知道源系统数据与目标系统数据的字段结构，必须为这两种数据格式的转换编写相应的转换工具；其次，不同的GIS对地理数据的表现形式的抽象、对地理空间表达的理解是不一样的，两个系统间的数据难以相互进行利用，转换后的数据存在信息丢失的隐患；再者，这种方式使同一份数据在系统中存在多个备份，不方便数据的维护与管理，也违背了数据分布和独

19、立性的原则。一种有效的解决方法就是使用数据中心的GIS中间件技术有效管理N个数据仓库，它不改变原有的空间数据模型标准和数据表示方法，通过数据管理器提供的异构数据的管理、层次化的目录树管理、可扩展的数据入库清洗机制与方法、支持URL和GUID协议的数据访问等功能，将不同类型的数据实现集成共享，并通过异构数据的视图来表现。中间模块操作转换是在源数据与处理后的结果数据之间有一个独立的处理模块，以接口方式与二者进行连接。中间件是一种独立的系统软件或服务程序，软件平台开发者规定系统内部数据的读写接口，通过里面的驱动程序完成对不同来源的数据的处理，从而实现了多格式数据直接访问、格式无关数据集成、位置无关数

20、据集成和多源数据复合分析，完成多源异构数据的无缝集成。数据仓库集成管理的数据有异构的空间数据和非空间数据，其中空间数据包括国内外常用GIS软件所支持的矢量数据（如：DWG、DXF、E00、Shape、Coverage、Geodatabase、Mid、Mif、MapGIS6X、MapGIS K9等）和国内外常用遥感影像处理软件所支持的栅格数据（如：TIFF、CEOS、HDF、RAW、TIF、GIF、JPG、MSI、PIX、IMG、ENVI等），非空间数据包括各种文档（如：pdf、bmp、xml、html等）和表格数据（如：Access、SQL Server、Oracle）等。GIS中间件集成多种

21、数据源驱动，以注册的方式嵌入到数据中心集成开发平台中，当请求某种数据源时，GIS中间件动态加载所请求的数据源驱动。某种数据源的结构改变时，只须改变其数据源驱动，这样既不需要频繁地进行数据格式转换，又避免了很多重复性劳动；而且它允许用户在转换过程中重新构造数据，使用户可以根据其特定的要求，提取相同数据源不同层面的内容，而不是以单一的格式输入数据。3.5.2数据仓库技术数据仓库的目的是构建面向分析的集成化数据环境，为政府和企业提供决策支持。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用。因此数据仓库的基本架构主要包含的是数据流入流出的过

22、程，可以分为三层源数据、数据仓库、数据应用。其体系架构如图所示。3.5.3海量数据的可视化通过以关系数据库存储和管理海量三维数据的组织模式，对数据以分层、分块和LOD模型组织，借助高效通用的硬盘缓存、快速的数据索引以及高效的渲染引擎，实现支持TB级海量数据的快速显示与浏览。同时，支持单机模式与网络客户端对数据的快速加载、显示与浏览、查询和管理。TB级海量数据快速可视化主要表现在以下3个方面：（1）支持TB级高程数据、影像数据的快速显示；（2）支持多层影像数据无缝隙叠加显示，以及影像各种参数的快速控制与切换；（3）支持对海量数据的快速浏览与跳转定位。图 237 数据仓库体系架构图4“一张图”数据

23、库建设农业数据分散、来源多样，数据标准、模型、格式、精度、存储形态等差异甚大。针对农业管理中必须利用的气象数据、农田参数数据、农业统计数据、基础地理信息数据、遥感影像数据等，制定相关标准，进行数据整理，建立农业“一张图”数据库。4.1数据库设计4.1.1数据库模型设计农业“一张图”数据库的数据类型包括矢量数据、栅格数据、影像数据、专题数据等。针对各类数据的特点，选择不同的数据组织方式。农业“一张图”数据库作为信息的存储仓库，首先需要把不同数据类型的数据单独组织成独立的库，在kqGIS平台中的地理数据库可与之对应，即KqGIS地理数据库中存储的各个简单要素类、栅格数据集等实体对象与基础地理空间数

24、据中的各数据层、各投影带数据集直接对应，然后以这些简单要素类，栅格数据集等实体对象为基础，按分层和分幅的模式组织形成地图集。 图2-2 数据库模型图4.1.2数据库组织在农业“一张图”数据库中，根据数据的比例尺和数据类型，采取不同的比例尺结构进行管理。针对不同比例尺数据的集成显示可采用投影转换方法来解决。投影转换可以使某种坐标信息数据源向另一坐标系统转换，并对源数据中的X和Y值进行修改。投影转换目的是为了处理专题数据与基础地理要素之间的空间关系；处理专题要素之间的空间关系。这样可以实现不同比例尺的基础地理数据源、专题数据源投影到同一空间参照系中。农业“一张图”数据库基于KqGIS平台采用Ora

25、cle+KqGIS-SDE的数据库存储模式。KqGIS-SDE提供了面向对象的全关系数据模型GeoDatabase，GeoDatabase采用一种开放的数据结构将空间数据（矢量数据、栅格数据、影像数据、三维数据等）及其相关的属性数据统一存放在工业标准的数据库DBMS中，为空间数据的存储提供了数据集（矢量数据集、栅格数据集）、栅格数据目录、表格等数据模型。要素数据集是地理数据库中具有相同空间参照系的要素类、对象类、关系类、注记类、修饰类、动态类、几何网络的集合；在此基础上对上述的数据库组织模型采用资源的统一定位及描述方式，在形式上屏蔽因数据的分布式和异构性而造成的数据库逻辑数据源与数据库物理存储

26、源之间差异，通过该统一的定位方式索引并取得层/幅交汇点处关联的数据对象，并通过规范集成所需的基本元数据模式来实现数据资源的定位与描述。在一个要素数据集下存放不同的类，有利于专题归类等情况下的数据组织。栅格数据集用于管理具有相同空间参照系的一幅或多幅镶嵌而成的栅格影像数据，物理上真正实现数据的无缝存储，适合管理DEM等空间连续分布、频繁用于分析的栅格数据类型。由于物理上的无缝拼接，因此以栅格数据集为基础的各种栅格数据空间分析具有速度快、精度较高的特点。农业“一张图”数据库中包含的数据库类型不尽相同，如矢量数据、栅格数据、影像数据、文本数据、表格数据等。针对各类数据的特点，选择不同的数据组织方式。

27、矢量数据要求保持对象的完整性，需要将矢量数据按照对象特征拼接成一个完整连续的数据集；对高分辨率的影像数据，为了避免重采样引起数据信息丢失，需要将影像数据按投影带或者行政辖区范围拼接成大的栅格数据集，大的栅格数据是连续无缝的。1、矢量数据组织（1）数据组织依据矢量数据，将构建矢量数据库，数据内容按照数据性质分为若干种数据集等，每一数据集又根据所含要素特征分为不同的数据类。（2）空间索引设计为了提高要素目标的检索速度，应对空间地理数据进行空间索引。地理信息系统中的空间索引是相对于字段索引而言的。字段索引是数据库系统或者其他计算机系统中提供键值快速定位的数据结构。字段索引提供了对特定键值的数据快速访

28、问的能力。字段索引一般采用B树或者B树的衍生数据结构。面向实体的空间数据库提供了四叉树索引、R树索引、图幅索引等多种空间数据索引。本数据库系统中主要采用图幅索引。在数据按实体分层存储后，按分幅建立数据的图幅索引，可大幅提升空间数据的存储以及分析的效率。图幅索引是针对空间数据“纵向分层，横向分幅”的特点建立起的索引，对分幅数据效果很好。比如国家标准比例尺地形图中按标准图幅分幅的数据，适合于按照图幅编号建立图幅索引。2、遥感影像数据组织（1）数据组织高分辨率影像数据，为了加快浏览速度，可按照影像的分辨率、波段、坐标系或者行政辖区进行拼接。现拟采用以县为单位拼接，若每个县区的数据波段数、分辨率、像元

29、类型相同则拼合组成一个数据集，数据集内的内容连续无缝，若不同则分别按照波段数、分辨率、像元类型的方式单独进行拼接。（2）空间索引设计按照县区拼接生成的栅格数据集，采用的是金字塔索引方式，各数据范围不同，金字塔索引级别也不相同，金字塔索引级数由数据存储自动生成。4.2数据入库系统拟引入工作流的思想，将建库过程抽象为不同的工作流程节点，对建库流程节点进行散列实现，使得建库过程可以搭建（增减节点，改变节点连接顺序）。使用工作流引擎作为流程搭建平台，对建库流程的执行进行控制，并行上载的引入使得最大限度地利用现有资源来高效快捷的完成数据库的建库工作。空间数据建库是个多任务的过程：包含创建地理数据库、自动

30、生成接图表、建库参数设置、数据索引生成、创建地图集结构、数据检查错误处理、数据上载、数据优化等主要环节。基于工作流的空间数据库自动化建库技术，在工作流引擎平台上搭建建库流程，简化建库过程，提高建库效率。通过对空间数据建库流程的分析，将建库过程拆分成不同的工作流节点，并对建库流程节点进行散列实现，使得建库流程可以搭建（增减节点，改变节点连接顺序）。工作流引擎作为流程搭建平台，可以更为方便的控制建库流程的执行。建库时，首先根据参数设置流程实现人机交互，获得参数信息，并永久化存储到XML文件中。建库流程执行时，自动从保存的参数文件中获取建库参数，完成建库工作。图2-4 基于工作流的建库流程（1）创建

31、GDBKqGIS地理数据库（GDB）作为存储矢量数据、高程数据、影像数据以及专题数据等的载体。地理数据库GDB既可以通过KqGIS在本地创建，也可以在网络数据库中在Oracle中创建，所创建的库作为数据入库的目的库。（2）创建地图集采用地图集的方式统一管理各类数据，所创建的地图集需要设置地图集名称以及地图集空间参照系信息，地图集的名称用户可自定义，地图集的空间参考系需要和所上载的数据保持一致。（3）创建图幅和图层依据所生成的地图集，需要设置自动生成图幅的参数文件，同时将根据设置的矢量、DEM、影像等自动生成地图集图层信息，系统将根据所设置的信息生成地图集的图幅和图层。（4）数据分析数据分析包括数据的弧段、属性结构分析、图幅范围分析、数据属性字段在网络数据库中的合法性等等。矢量数据分析过程主要包括了以下内容：1）图幅范围分析：分析各个图幅对应的矩形框的范围，记录到入库预处理报告中。2）属性结构分析：比较各个数据文件和标准文件的属性结构，将属性结构不一致的文件记录到数据分析日志中。3）完整性分析：分析数据文件的矩形范围是否落在图幅矩形范围内部或重叠，如果是则获取当前图幅编号，并将数据文件信息以及图幅编号记录到数据上载索引文件中；否则在数据分析日志中记录其空间范围不在图幅索引内。当分类数据目录中所有的文件都分析完成后，分析数据缺少哪些图幅以及是否有多于两个数据文件落在同一个