大数据更新维护方案设计.docx
《大数据更新维护方案设计.docx》由会员分享，可在线阅读，更多相关《大数据更新维护方案设计.docx（194页珍藏版）》请在冰豆网上搜索。
大数据更新维护方案设计
1项目综述
1.1项目背景
全球信息高速公路技术的迅猛发展，正带动社会结构、人们的生活方式产生着革命性的变革。
在世界各国积极倡导的“信息高速公路”的五个应用领域中，“政府上网”被列为第一位，其它四个领域分别是电子商务、远程教育、远程医疗、电子娱乐，可以说政府信息化是社会信息化的基础。
据国内外信息专家统计分析，用于政府机关进行检索查询、分析决策及所发布的政务信息85%以上与空间定位信息有关，网络已成为一种应用生存的环境，在这个环境中，一切服务依赖于相关的数据。
空间信息与属性信息应该是一体化的，以信息可视化的方式将政务信息表现出来，给政府机关管理业务和进行分析决策提供辅助决策工具。
在“政府上网工程”中，构建地图化的电子政府，有助于做好以下几件事：
1）更好地树立中国各级政府在多媒体网上的形象，组织和规范各级政府的网站建设，提高政府的工作的透明度，降低办公费用，提高办公效率，有利于勤政、廉政建设，同时大幅度提高政府工作人员的信息化水平。
2）将各级政府站点建设成为便民服务的“窗口”，帮助人们实现足不出户完成与政府各部门的办事程序，为实现政府部门之间、政府与社会各界之间的资讯互通及政府内部办公自动化，最终构建“电子政府”打下坚实基础。
3）信息网络正在成长为“第四媒体”，将成为人们获得信息和实现社会多种功能的主要载体，通过实施“政府上网工程”，改变我国信息化建设领域长期以来在硬件、软件和信息服务业投资上的比例严重失调状况，极大的丰富网上的中文信息资源。
4）“政府上网工程”通过政府对信息产业界主要力量的引导和组织，促使政府在短期内上网，实现政府资源的市场价值，引导和形成新的消费热点和经济增长点，从而带动相关产业群的发展，营造有利于我国信息产业发展的“生态环境”，加速我国信息产业和国民经济信息化的发展。
深圳市致力于建设数字深圳空间基础信息平台，以3S（遥感RS、地理信息系统GIS、全球定位系统GPS）技术为基础，融入国家电子政务、信息化和数字深圳建设的潮流中，解决城市空间基础数据生产、管理的专业性和空间信息应用的普及性之间的矛盾，打破多年来由于离线数据拷贝应用模式导致的副本数据现势性滞后、管理版本混乱等局面，创建综合技术架构支撑下以电子地图为界面的多层次空间信息在线服务和共享体系。
1.2任务综述
随着深圳市空间基础信息平台、建筑物普查等项目建设完成，数据库中形成了覆盖全深圳市的各类基础数据和专题数据，这些数据是规划业务系统、全市空间基础平台系统的重要内容，其现势性问题已成为广大用户关注的热点问题。
由国家科技部基础司组织完成的“国家科级基础数据库建设与发展的研究报告”指出：
“持续更新和业务化运行是一个科学数据库存在的根本。
目前许多科技数据库是按项目方式一次性建立的，缺乏持续的数据来源，或有效的数据更新机制，很容易变成死库，或逐步地失去应用价值”。
于2002年12月1日开始实施的中华人民共和国测绘法第三章第十五条明确要求,对基础地理数据成果应当定期进行更新,国民经济、国防建设和社会发展急需的应当及时更新。
根据数字深圳空间基础信息建设平台的实际需要，如何使地理信息数据能跟得上城市建设的步伐，并形成一套人机交互的动态更新机制，是本项目建设的内容。
1.2.1总体目标
深圳市数据更新维护管理系统建设项目的总体目标是利用成熟的WebGIS、网络和数据库等技术，以网络地图、影像图为基础，集成深圳相关的数据和特色应用，以及以PDA、GPS技术为基础的便携式移动数据采集系统，及时更新深圳市现有的电子地图，并根据数据更新的方式建立完整的数据动态更新系统，提供自动或半自动的数据更新工具，完善快速、稳定和通用的政府网上地图服务平台，方便城市规划、建设和管理等各职能部门的信息需要，加强空间数据资源的共享应用，给公众提供基于空间位置的方便服务，将政府空间数据资源服务于民，提升政府形象。
Ø根据数据更新要求，提出更新空间基础数据库的技术方法和更新手段。
Ø建立数据动态更新的机制，提供基础数据和公共设施数据持续动态更新的工具。
Ø建立基础的数据共享资源目录体系，建设相应的共享数据库，为数据共享提供数据支撑。
Ø建立基础的数据共享支撑平台，通过这个平台整合多种数据服务，为专业职能部门、政府公务员和社会公众提供空间数据访问支持。
Ø建立基础的数据处理与更新机制，为快速的地图数据处理提供支持。
Ø建立数据共享的监控机制，为详细了解数据的共享情况提供技术支持。
Ø建立数据安全机制，整合CA，为整个数据的共享提供安全保障。
1.2.2本期目标
根据总体目标，按照“长远发展、分步实施、实用为主”的建设思想，分步实施数字深圳空间基础信息平台的建设。
本期建设的主要目标是：
以深圳市各类来源的基础数据和专题数据为基础，结合建筑物普查项目、规划业务等成果，更新2008年及2009年度的深圳市公开版电子地图及公共设施数据；构建数据更新作业和管理维护环境，满足数据更新中内业处理、外业调查、分发应用中多数据库环境同步更新维护的需求，同时建立合理、方便的地图数据更新和分发机制。
Ø确定数据更新的方式和方法，统一建库标准。
Ø做好系统总体设计，确定技术路线和框架，为实现未来和现时目标打下坚实基础。
Ø利用确定的技术路线和框架，实现地图的发布，与专业部门和社会公众的互动。
Ø建立合理、方便的地图处理和更新机制，实现地图的实时动态发布。
1.2.3工作任务
数字深圳空间基础信息平台数据更新维护管理系统建设完成本期目标的工作任务包括以下四个方面：
Ø数据的处理和更新，在市规划局现有的2007年度版本电子地图、公共专题图的基础上，采用最新的地形图、影像图等基础数据，结合外业补充调查完成平台服务功能所需各种基础及专题信息资源的整理和提取，并建立基于网络的地图数据库。
Ø地图数据更新维护平台的开发（生产端），完成平台软件系统的开发，结合规划业务数据、影像图、基础地形图，实现地图基础信息和公共设施信息的动态更新。
Ø地图数据更新维护平台的开发（维护端），建立数据管理维护系统，满足数据库从数据生产端分发到空间平台各应用服务系统的同步更新要求。
Ø数据更新机制，建立合理、方便的地图数据更新机制。
1.2.4建设思想
坚持以“统筹规划、联合建设、分步实施、互联互通、资源共享”为指导思想，加快数字深圳空间基础信息平台的建设步伐，全面推进深圳市空间信息的共享。
“平台数据更新维护管理系统”的建设过程中应严格遵循软件工程和系统工程的要求，以“实用、高效、先进、可靠、安全”为基本准则，建立“规范、安全、开放”的信息化平台，依靠先进的信息技术和严格的管理制度，使项目建设水平跨越到一个新的高度。
按照要求，在系统设计上，应该遵循以下几方面的原则：
（1）总体设计和分步实施的原则
本系统是空间信息共享概念下的一个重要组成部分，是一个维护系统，是一项庞大的系统工程中数据的更新及维护者，整个深圳市空间信息的共享开发建设需要较长的周期，而且随着需求的变化和技术的发展，系统还需要不断的升级完善。
因此，在进行技术方案设计时，一定要采取总体设计、分步实施的原则，从而保证项目建设的连续性，避免重复建设和返工所造成的损失。
要在一开始就确定系统的技术路线、技术框架，为未来的实现提供技术保障。
（2）先进性和实用性原则
系统设计应采用成熟的先进技术，网络满足多媒体通信的要求，计算机硬件和软件、数据库及软件平台支撑工具采用先进、稳定的、能满足海量数据存储与管理的主流产品，系统结构合理，数据处理速度快、冗余性强、实用性强。
软硬件平台的选择是技术路线选择的实现，要结合实际，充分考虑技术路线的先进性和实用性，保证架构的先进性和可操作性。
（3）开放性原则
信息系统的开放性可以说是系统生命力的表现，只有开放的系统才能够兼容和不断发展，才能保证前期投资持续有效，保证系统可分期逐步发展和整个系统的日益完善。
系统在运行环境的软、硬件平台选择上要符合工业标准，具有良好的兼容性和可扩充性，能够较为容易地实现系统的升级和扩充，从而达到保护初期阶段投资的目的。
系统提供矢量化、数字测绘及数据转换等多种数据输入方式。
支持国家及行业GIS标准数据交换格式。
输出可采用图形、数据表格及图形数据结合的多种输出方式。
同时还能在将来与其他系统进行信息交换，具有扩展能力。
作为政府空间数据共享的一部分，系统的开放性是重中之重，必须要考虑其向后的兼容性，以及数据、功能的可阅读性和访问性。
（4）标准化原则
标准化是信息系统建设的基础，也是系统与其他系统兼容的和进一步扩充的根本保证。
因此，对于一个信息系统来说，系统设计和数据的规范性和标准化工作是极其重要的，这是各模块间可正常运行的保证，是系统开放性和数据共享的需要。
系统建设符合国家标准和行业标准，可直接调用实现资源共享，同时还可以根据需要制定自己的地方标准，保证系统整体的协调性和兼容性，便于规范化处理。
标准化是数据共享、交互的重要前提，必须要将地图网站的数据标准化、把地图网站服务标准化，为实现更广泛、更深入的共享服务提供标准化保障。
（5）规范化原则
系统设计采用“动态体系设计法”，严格按照软件工程的一系列基本步骤（可行性论证、用户需求、初步设计、详细设计、项目实施计划、系统测试、系统试运行、系统验收）合理规范工程的实施过程。
对每一阶段，将提供相应阶段的书面报告。
同时要求予以配合、监督、提供相关资料，提出统一需求。
并对每一阶段的成果进行及时的检验。
严格确定系统边界，严格遵守软件开发规范进行项目开发。
（6）安全性和保密性
系统的网络配置和软件系统应充分考虑数据的保密与安全。
多用户任务实时操作，并能够对用户权限进行严格的设定，确保网络安全可靠地运行。
系统的网络配置和保密性是一个优秀系统的必要特征，系统的安全和保密的“内容”包括：
（1）可访问性：
XX，用户不得对数据进行访问；
（2）完整性：
XX，用户不得对数据进行篡改、甚至删除；（3）不可否认性：
用户一旦对数据进行了修改，就不能事后否认；（4）数据保护和有效的安全性。
安全性是数据能共享和发布的基石，要保证在经国家相关部门认可的安全的环境下共享空间数据。
（7）可靠性和稳定性
一般的“稳定性”是指系统的正确性、健壮性两个方面。
一方面，系统在提交前应该经过反复测试，保证系统长期的正常运转；另一方面，系统必须有足够的健壮性，在发生意外的软、硬件故障等情况下，能够很好地处理并给出错误报告，并且能够得到及时的恢复，减少不必要的损失。
系统设计结构合理，系统运行稳定可靠。
1.3实施综述
1.3.1标准规范与法规建设
我国城市空间基础信息数据库的建设与发展正处在起步阶段。
有关城市空间基础信息数据库的发展规划、政策法规、规范标准方面的工作还在不断发展和完善之中，要完全借鉴已有的成果是不可能的，相当多的规划、政策、标准都需要根据城市实际情况由项目专家委员会和工作组制定。
图1标准规范与法规建设
如图1所示，主要包括有关地理空间数据、信息与服务的各种政策法规、发展规划和技术标准。
政策法规从立法的角度，保护参与建设“平台数据更新维护系统”有关方面的权益，保证“平台数据更新维护系统”特别是信息共享的正常运作，以及数据更新时的详略程度。
技术标准主要是在国家数据标准基础上，从数据与技术角度出发，保证不同网络、不同来源数据、不同技术环节之间接口的标准化，以使共享数据与信息流在互联网络中畅通无阻。
（1）数据信息的标准规范
本项目建设与发展的主要任务是解决数据更新及开发动态更新工具的问题，这涉及到各种来源数据的整合及各个部门对数据的共享及更新反馈。
因而，引用国家、地方相关标准，确定与实施地理空间信息方面的标准规范，使得地图符合法律法规要求，同时又能按标准化的要求进行更新，达到共享发布的需要。
目前相关的标准规范应包括以下内容：
----地理空间信息和地理信息系统标准框架体系；
----地理空间信息内容分类及编码标准；
----空间信息基础设施框架数据标准；
----基础地理单元划分及其编码标准；
----地理空间信息质量综合评价标准；
----空间元数据标准规范建议草案及其应用软件；
----重点数据库空间集成数据编码试行方案；
----空间数据转换标准和栅格与矢量两种数据转换格式标准。
----重点数据库数据定位质量评价指标和方法等。
（2）互操作的标准规范
互操作主要用在交互式更新地图方面，包括人机交互、在未来通过各职能部门更新等。
在网络环境下，有效地实现信息共享必须解决异构系统、分布式、远程互操作的有关标准规范问题。
它们主要是：
----地理空间数据交换标准；
----地理空间信息网络互操作标准；
----地理空间数据网络传输协议标准等。
（3）作业规范
为了保证项目的有关空间数据集成工作能够有序地进行，针对空间数据集成与共享的作业流程，制定和实施一系列的作业规范。
它们主要是：
----数据库空间集成设计大纲；
----数据库空间集成文档目录和数据库测试大纲；
----重点数据库群空间集成数据编码暂行规定和编码表；
----重点数据库群数据集成服务管理办法；
----数据共享分类和数据移交办法及程序；
----信息共享元数据内容标准草案及元数据文档；
----空间元数据管理系统功能设计和测试大纲；
----重点数据库群网络集成站点功能界面设计方案；
----站点运行测试大纲；
----综合数据库使用手册等。
（4）政策法规
本项目的建设与发展是一项涉及面广、技术复杂、事关重大、影响深远的系统工程项目。
为了使它能够有效地实现与运行、最大限度地发挥出作用，需要有一些相应的政策和法规加以保证。
它们是：
----数据政策法规：
如数据保密法规、数据反垄断法、数据产权政策、数据价格政策、数据增值政策等；
----软件政策法规。
版权和知识产权等。
1.3.2专家委员会
“数字深圳空间基础信息平台及数据更新维护系统”是一个未来要牵涉到多部门合作的项目，需要有一支专家队伍，在高层次上促进深圳空间基础信息平台及数据动态更新协调发展、使用、共享和分发的综合委员会。
它应当目标明确、结构简单、机制灵活、富有成效，为更好的实现深圳市空间数据共享服务，建议招标方组织成立专家委员会。
图2平台数据更新维护系统专家委员会的组织结构
图2中给出了“平台数据更新维护系统”专家委员会的组织结构。
图的上部是委员会及其下属的协调工作组。
图的最下部是秘书组，完成委员会各种日常工作。
图的中部则是委员会工作的主体构成部分。
它具有在诸专题和不同工作组纵横之间、相互交叉而形成的矩阵结构。
纵向是由各部门或某单位的应用专题委员负责，体现了协调职责，有利于他们积极性的发挥。
各应用专题面临的共同技术问题或跨越多个专题的事务，则由相应领域专家组成的横向工作组来处理。
横向工作组成立数据存档、数据交换中心、地面覆盖、技术设施、数据框架、重大突发事件和自然生态环境监测、数据标准等工作组。
他们提出的各种技术方案和标准，要经过反复讨论、修改，并征得有关专题委员和协调工作组的同意，才能以“平台数据更新维护系统”专家委员会名义正式推出供大家使用。
平台数据更新维护系统专家委员会有如下方面的具体协调职责：
Ø在平台建立过程中及时就遇到的技术问题进行协商，提出明确的解决方案；
Ø在深圳市推动地理空间数据分布式数据库的开发、维护和管理；
Ø对制定的各种数据标准和交换格式进行监督和论证；
Ø促进有关技术的发展、转让和交换；
Ø和其它有关地理空间数据的协调机构交流、协调；
Ø出版各种技术和管理方面的报告。
在“平台数据更新维护系统”专家委员会的技术指导下，组织队伍，成立各种工作组，全面开展“平台数据更新维护系统”的具体建设工作。
1.3.3项目组织管理方法
项目建设的领导机构主要职责是：
确定建设规划和目标，审查项目建设方案，按照政府批准的建设方案组织建设；组织领导项目运行工作。
应当强调，项目建设领导的积极参与是项目成功的一个至关重要的因素。
根据项目管理的程序要求，组建项目办公室、项目总体组、项目开发管理组、应用系统建设实施组、数据处理实施组、数据采集组、数据质量控制组、项目培训管理组和推广实施组等，完成项目建设中基础数据更新和公共设施数据更新、数据更新系统需求分析、系统分析、系统设计、系统开发、系统测试、系统实施和人员培训等阶段和环节的组织协调和实施工作。
各组要在项目建设的各个阶段明确职责、分工合作。
各组将严格遵循项目领导协调机构制定的规范，在项目计划的时间范围内高质量地完成项目任务。
其结构如图3所示。
图3平台数据维护更新系统项目组织管理
本项目分为两个方面：
基础数据更新和开发数据更新维护系统。
两个部分成立独立的项目组开展工作。
基础数据更新：
（1）项目管理组
项目管理组是项目建设的管理和协调机构，它将由甲方负责人、合作单位的项目负责人共同组成。
其职责为：
制定数据更新的管理规范与流程，组织落实本部分项目实施的具体工作；组织协调项目机构与有关部门或专业机构的关系、协调各个项目之间的工作计划、任务和资源等冲突因素；组织制定数据更新建议书、技术策略、质量控制方案；负责项目的经费申请和计划管理；负责落实外业及资料收集；领导项目组的工作，成为项目小组和领导机构及各部门之间的信息纽带。
（2）数据采集组
在分析现有数据的基础上，负责收集更新所需的各类地名、地址、地图集等公开资料，并通过多种渠道（包括适当的外业调查、收集各职能部门提供的资料等）进行公共设施属性信息的核实，采集公共设施点的多媒体信息。
负责人组织协调在项目开展期间的各项工作，包括与甲方的沟通、通过甲方协调各职能部门的信息提供、管理项目组的运作等。
（3）基础数据更新组
数据更新包括基础信息更新和公共设施数据更新。
基础数据更新组主要更新水系、植被绿地、居民地、道路网、境界、文字注记等。
对地图信息进行符号设施。
（4）公共设施更新组
负责基础地名、政府机关、科教机构、卫生机构、文体中心、旅游景点、宾馆酒楼、交通设施、餐饮连锁、购物中心、金融机构、邮政电信、公益设施、市政基础设施网点及知名企事业单位点的更新。
（5）质量控制组
按照数据更新要求和质量控制方案，负责检查数据更新质量，形成完善的质量控制流程，负责人协调与数据更新组的联系，确保项目质量得到有效的控制。
项目更新维护系统：
（1）项目管理组
项目管理组是项目建设的管理和协调机构，它将由甲方技术部门的负责人、合作单位的项目负责人共同组成。
其职责为：
负责制定项目管理规范与流程，组织落实项目实施的具体工作；组织协调项目机构与有关部门或专业机构的关系、协调各个项目之间工作计划、任务和资源等冲突因素；组织制定信息化系统项目建议书、可行性研究报告和技术设计方案；配合局内有关部门进行项目可行性论证和技术评估等工作；负责项目的经费申请和计划管理；领导各项目组的工作，并成为项目小组与领导机构之间信息纽带。
负责组织制定总体需求方案、系统总体设计方案，网络规划和设计方案；负责组织编制项目建议书、可行性研究报告、建设任务书、年度任务计划等方案；制定信息化建设的各项规范化、标准化文件；负责项目招投标的组织工作，负责项目建设中的对外协调工作。
（2）项目开发管理组
按照应用系统的内容，负责需求分析、概要设计、系统分析和详细设计、项目开发等阶段组织管理。
负责组织、协调开发商、系统集成商在项目开发期间的各项工作。
项目开发管理组应严格按照软件开发方法，遵循项目既定的需求管理、变更管理等流程，确保项目实施范围得到有效的控制。
（3）系统开发实施组
负责软硬件平台、安全等系统实施。
负责系统测试和系统实施工作。
根据各个系统和各个阶段的系统测试大纲，组织各项测试工作；负责组织、协调开发商、系统集成商在项目测试和实施阶段的各项工作；组织系统实施工作。
（4）培训管理组
负责系统建设各个阶段的人员培训工作。
负责制订系统建设的培训计划，根据项目进展情况，适时组织各项培训工作。
（5）推广实施组
负责拟订推广计划，负责系统运行环境的调研，负责推广单位的前期准备工作，负责推广支持。
与培训管理组配合做好推广实施进程中的各种应用系统技术和业务培训工作。
根据系统建设各阶段的实际要求，在上述总体框架的基础上，可以成立若干个分组，或增加其他必须的小组。
1.3.4数据共享政策
城市基础地理信息共享体系建立的目标和原则应是“快、准、全、廉”。
所谓“快”，指的是数据获取的周期要短，信息的现势性要高；“准”表示适应应用需求的数据的空间特征和属性特征（即数据的几何精度和属性精度）应准确；“全”反映的是为满足应用需求所获取和提供使用的数据在内容上应全面、完整，在时空表现上要真实；“廉”则是指经济性，就是说空间数据的获取与使用的经济代价应尽可能小。
图4数据共享政策
信息的资源特性是海量的（无限的）、可重复利用的，不会消耗的、可不断扩展和增值的；作为商品它具有垄断性、机密性、隐私性和价值与产权归属性；社会公共功能则具有基础性、公益性和为最大多数人服务的要求。
所以在使信息能最大限度、最大范围、最低价格提供国家和社会共同使用、发挥其最大作用的前提下，又使其在国家安全、商品经济规律和知识产权等方面得到保证，应是一个主要的指导思想。
我们认为“面向应用”是其基础地理信息共享的基本出发点。
这里的面向应用指的是根据应用主体的性质和实际应用的需求来确定数据的形式、内容和质量指标，同时采用不同的收费政策。
其政策方案如图3所示。
（1）政府部门无偿共享，有偿服务
城市政府应该将城市空间数据视作如同城市道路、桥梁一样的城市基础设施，投入足够的资金使数据生产者能按照市场行为进行数据生产，以满足城市可持续发展的需求。
使数据被充分利用并为城市发展带来巨大的间接效益应该是作为投资方的城市政府所得到的回报。
因此，对于城市规划、建设与管理部门，保证城市可持续发展的资源、环境、人口等部门，社会公众访问的基础平台建设部门等，应该能够无偿使用空间基础框架数据。
需要强调的是，无偿使用并不代表完全免费使用，未来可以考虑在对基础地理信息的运营过程中吸收部分社会投资，作为对这些投资者进行回报，政府部门在申请下载和更新这些数据时应支付少量、合理的费用。
（2）企业有偿共享，有偿服务，注意安全保密
企业是基础地理信息的另一个重要的使用主体，很多企业苦于没有可用的基础地理信息而放弃了一些信息系统的建设，或者采用一些非空间的解决方案勉强使用。
与政府部门由国家财政拨款不同，企业一般都是自负盈亏的经营实体，他们利用基础地理信息所开发的信息系统一般都能产生一定的经济效益，购买空间数据的费用已经纳入了他们的成本，因此可以对他们采取有偿方式进行共享和服务，关键是要制订合理的销售价格。
面向企业的共享时，要做好安全保密工作，对国家规定不能共享的数据，要采取一定的技术手段降低密级，在知识产权保护上，可以采用数字水印技术，杜绝盗版数据的流通。
（3）公众应用无偿使用，无偿服务
对于可以公开的地图数据，针对社会公众的应用应该无偿使用，无偿服务。
对涉及国计民生的特殊应用，如洪水、地震等自然灾害和火灾、急救等突发事件应急处理系统，应采取积极主动的态度，提供免费的数据和服务。
只有这样，才能体现政府对基础设施投资的优越性。
2需求综述
2.1用户对象分析
数字深圳空间基础地理信息平台是面向政府、面向企业和面向公众的服务平台，其用户非常的广泛，我们认为需要对用户进行一定层次上面的划分，按照不同的需要对用户进行归类，未来可为不同层次的用户提供不同的数据和服务。
2.1.1政府类对象
政府类对象包括深圳市政府、下属的交通部门、规划部门、环保部门等。
各部门对电子地图的需求是作为全要素的底图参考，在此基础上叠加自己内部拥有的专题数据，用于部门决策、办公等。
数据管理方给各级部门提供最新的基本地图数据，保证无障碍的数据交换和安全共享，以提高其空间数据的利用价值，减少人
升级会员 