水资源数据交换解决方案V3.docx

水资源数据交换解决方案V3.docx

《水资源数据交换解决方案V3.docx》由会员分享，可在线阅读，更多相关《水资源数据交换解决方案V3.docx（37页珍藏版）》请在冰豆网上搜索。

水资源数据交换解决方案V3

水资源数据交换解决方案

1、项目概述

实行最严格水资源管理制度的关键是围绕水资源配置、节约和保护，确立水资源管理三条红线，建立水资源管理责任制和考核制度，确保水资源管理目标的实现。

全面实行最严格的水资源管理制度，必须加强水资源监控设施建设，实时掌握来水、取水、用水和排水动态，保证第一手信息的准确性、科学性和精细化，为最严格水资源管理制度考核提供手段和依据。

实行最严格的水资源管理制度，目前的关键是解决水资源管理基础薄弱的问题。

水利部组织编制了《国家水资源监控能力建设项目实施方案》，提出利用三年左右时间，开展国家水资源监控能力建设项目，初步形成与实行最严格水资源管理制度近期目标相适应的国家水资源监控能力，为支撑水资源管理定量考核工作奠定基础。

国家水资源监控能力建设项目建设内容以国控监测点的在线监测与传输能力建设和中央、流域、省三级监控管理信息平台建设为重点，构建包括针对8558个规模以上取用水、4493个重要水功能区、789个省界断面和重要控制断面等国控监测点组成的国家水量水质在线监测数据采集传输网络〔不包括土建工程〕；构建包括1个中央平台、7个流域平台和32个省级平台〔含31个省、自治区、直辖市和新疆生产建设兵团〕组成的国家水资源监控管理平台。

2、现状与需求分析

2.1、现状

目前水利相关组织架构与建设体系逐步完善，从“十一五”到“十二五”过程中，将逐步建设围绕水利核心业务的工程项目。

网络环境建设方面，已经建成了连接水利部与7个流域机构、32个省级水利部门的全国水利政务外网的骨干网和水利部连接水利部在京直属单位、7个流域机构的水利政务内网，各流域机构、省〔自治区、直辖市〕水利部门均建成了部门内的政务外网〔或政务内网〕局域网，流域机构到所属单位的政务外网广域网基本建成，18个省〔直辖市〕已建成至各地〔市〕水利局、直属单位的政务外网广域网。

2.2、平台接入系统分析

在本项目系统建设过程当中，涉及到众多的业务系统，此处虽无法全部列出，但从不同维度可以对各种业务系统进行分类分析，从中归纳出各类业务系统/业务对象的接入特点。

2.2.1、建设时间维度

以建设时间维度来分析，各类接入业务系统可以分为已建、待建或在建以及规划中三类。

建设时间的不同将决定各个接入业务系统与数据交换平台之间的对接方式不同。

对于已建的业务系统，数据交换平台应以兼容性的接入方式为主，尽量以低侵入的方式减少对已建系统的变更影响；对于在建或待建的业务系统，数据交换平台可以通过建议和规划的方式为系统提供对接的接口，以其与业务系统实现无缝集成；对于规划中的业务系统，数据交换平台应提供可扩展的接口支持，并制定相应的技术接口标准，以便于后续业务系统的规划和架构。

2.2.2、系统类型维度

此处“系统类型”主要是从交换共享业务所需信息资源的存储位置角度来定义系统。

从整体上来分，本期项目所涉及的业务系统可分为部级、流域级、省级。

部、流域、省三级结构的业务系统是指采用部级、流域级、省级三级部署架构的业务系统；各级独立结构的业务系统是指现阶段在每一级已经在用的的业务系统。

经过调研目前已经完成系统建设的省份是江苏省，其他部级、流域级、省级信息平台都未建设。

2.3、平台交互场景分析

平台交换场景分析了数据交换平台与各接入系统之间的交换关系，说明了业务系统之间通过数据交换平台所完成的业务流程。

2.3.1、横向数据交换

每一级业务系统之间的横向内部数据交换，需要通过业务数据库和数据交换平台来实现。

横向场景是指，在部级节点、流域节点、省级节点的水资源信息平台都需要和水利部其他业务系统〔例如：

防汛抗旱、水资源电子政务等〕做数据采集，即将外部业务系统数据采集进入信息平台数据库。

以部级业务系统为例。

目前看到的横向数据交换更多的是单向的数据汇总。

2.3.2、纵向数据交换

部、流域、省三级的业务系统之间的纵向交换，需要通过部、流域、省三级的交换数据库来实现。

异地数据交换方式实现了部、流域、省三级业务数据的交换。

包括数据上传与数据下发两部分：

数据上传是指流域节点、省级节点将水资源数据上传至部级节点，即流域、省级信息平台数据库与部级信息平台数据的交换。

数据下发是部级节点将数据下发至指流域节点、省级节点，即部级信息平台与流域、省级信息平台数据库的交换。

以部级与流域纵向的数据交换为例，交换场景分为：

●流域级业务系统向部级业务系统上报数据

流域级业务系统根据部级系统的要求定时或实时的将数据信息通过数据交换平台进行上报。

●部级业务系统向流域级业务系统下发数据

流域级业务系统可以通过数据交换平台向部级业务系统申请共享数据，部级业务系统通过数据交换平台将共享数据下发给流域级系统。

2.3.3、内外网数据交换

数据内外网交互场景是考虑到水利数据不能在流域、省级节点内外网之间直接交互数据，数据流是流域、省级节点外网先上传至部级节点外网，然后在部级节点内网、外网通过网闸、或者物理刻盘方式传输到内网，然后在内网做数据下发。

反之亦然

2.4、平台交互数据分析

在不同交互场景之中，平台能够提供的交互内容和方式按照不同维度来分，可以分为以下假设干种类。

交互数据类型分析图示，如下列图：

2.5、平台隔离性分析

数据交换平台独立于各业务系统的业务逻辑，数据交换平台与现有的业务系统再交互上保持相互隔离和透明，数据交换平台对现有业务系统没有影响或尽量减少影响。

在此基础上扩充增加业务系统，不影响数据交换平台的基础架构。

考虑到平台隔离性需要引入前置概念，由前置库、交换库来屏蔽数据交换平台与业务系统的紧耦合。

2.6、平台统一性分析

在本项目中需要数据交换平台需要制定统一的交换协议和数据标准，能够约束与标准平台与业务系统的数据交换。

在进行数据交换时，连接到数据交换平台的各个业务系统遵循统一的标准。

统一性的要求有利于在各种业务系统之间、异构数据库之间、不同网络系统之间提供整合手段，保证整个数据交换平台的数据一致性，廉价管理和监控，简化各个业务系统与交换平台互联的开发量。

采用数据交换平台方式搭建，有效方式就是建设标准交换库。

2.7、平台扩展性分析

数据交换与共享平台在完成本期项目建设目标和任务的基础上，还应当着眼“水资源建设体系”的整体规划，为体系内业务系统的持续建设与发展提供基础性的技术支撑，并对可预见的平台扩展性需求进行分析和考虑。

主要表达在三级业务系统的横向扩展、三级级业务系统的纵向扩展以及随着规模和业务量的扩大所进行的平台升级和加固。

2.7.1、横向扩展

●兼容已建的业务系统

对于水利其他项目已经建设完成的业务系统，数据交换与共享平台应有能力提供系统接入和数据交换的功能支持，以适应已建系统的业务扩展。

●为待建的业务系统提供支持

对于本项目在建或待建的业务系统，数据交换与共享平台可以提供标准性的数据交换接口以及数据交换标准标准，为业务系统建设提供参考性意见，并能够对其进行系统接入，为其提供数据交换与共享服务。

2.7.2、纵向扩展

●流域级业务系统的接入策略

数据交换平台应当考虑接入流域级信息平台不同业务逐步需要接入到部级信息平台的接入支持。

●省级业务系统的接入策略

数据交换平台应当考虑接入省级信息平台不同业务逐步需要接入到部级信息平台的接入支持。

2.8、平台跨平台运行分析

随着业务系统规模的不断扩大，必然会涉及硬件平台需要升级，在硬件系统升级时，数据交换平台需要平滑过渡。

随着业务扩展，系统升级，所有的处理过程，包括程序代码均不需要做任何修改，即可平滑的迁移到新的平台上。

同时，数据交换平台能够适应各个部门的各种软硬件平台。

2.9、平台功能需求分析

数据交换平台建设完毕后要纵向打通部、流域、省三级信息平台信息交换，横向打通防办、水文局、外部业务系统的信息交换。

不管是纵向还是横向数据交换都需要交换平台具有如下功能：

●数据采集功能

●数据管理功能

●数据交换功能

●数据共享功能

●应用集成整合功能

●数据安全功能

●平台扩展功能

3、建设内容

本项目数据交换平台建设建设内容是：

数据交换平台连接中央信息平台、流域信息平台、省级信息平台以及其他政府部门单位，在纵横双向广域网络上以星型拓扑结构实现业务数据的交换、同步，形成统一共享的数据中心。

在纵向上可以由数据交换管理平台定时或实时地从下级节点取得数据，通过消息中间件向上级节点作业务数据汇总，上级节点的集成中间件取得数据，经过加工处理，送入相应节点的数据库。

同时横向各相关委办局外部应用系统在进行数据交换和共享时通过数据采集工具提供的各种适配器将不同业务系统接入，并进行业务整合。

4、总体设计方案

4.1、平台总体架构

根据本期项目的业务要求和应用特点，提出的交换与共享平台方案，应立足为水资源的建设提供一个“基础化、可复用”的平台交换设施，交换平台将考虑未来为更多数据共享提供支撑与整合。

数据交换与共享平台在设计实现上充分考虑了以下主要因素：

首先其符合国家对交换信息资源交换管理的相关标准和标准；其次，采用先进的技术设计实现，包括多层设计的中间件技术体系等；再次，吸收目前东方通在政务资源交换与管理实施方面的经验和对一些技术实现的可行性验证，在平台设计上做到客观、实际、以满足业务应用需求为主导；最后，设计实现的方式完全基于东方通现有集成中间件产品，具有完整的自有知识产权。

平台整体上分为部级、流域级、省级两级部署方式，整体解决方案重点强调对整体数据交换过程的松耦合、统一标准、可扩展、可管理。

部级的数据交换平台由数据交换管理平台TongDXP、消息中间件TongLINK/Q、数据采集工具TongIntegrator、部级前置数据库组成。

其中数据交换管理平台TongDXP、消息中间件TongLINK/Q、数据采集工具TongIntegrator三个部分是平台的核心组成部分，部级前置数据库是平台中间数据的承载部分，是平台的重要补充。

流域级、省级数据交换部分和部级数据交换部分配置相同。

在纵向上，以部级、流域、省两级交换库构成了基础的数据同步架构，两级平台通过数据交换管理平台TongDXP完成上下级交换库之间的数据交换管理，消息中间件TongLINK/Q保障跨网络数据传输的安全。

在节点交换库与节点信息平台数据库之间采用数据采集工具TongIntegrator完成数据采集、转换、加载、入库过程。

在横向上，部级、流域、省级横向操作模式相同，以部级为例，重点是完成部级信息平台数据库与水利外部业务系统〔例如：

防汛抗旱、水利电子政务等〕的数据对接工作。

以业务前置库为辅的方式形成了“数据权威集中、共享需求隔离”的数据交互架构，业务系统对共享数据的个性化需求由各自的业务前置库来满足。

4.2、平台组成

4.2.1、数据交换管理平台

数据交换管理平台TongDXP在本方案中承载部级节点、流域节点、省级节点逻辑上三级交换库之间的数据交换，同时也承载三级平台交换过程的数据管理。

数据交换管理平台TongDXP提供业务人员易用的web管理控制台，能够对三级平台交换库之间的传输非常简易的配置，同时也可以按照集中方式统一管理、分域方式对以树形结构管理整体交换工程，例如：

部级数据交换管理平台以分域形式可以管理7大流域到部级的整体数据交换过程，长江流域数据交换管理平台能够管理其下属省份到长江流域的数据交换过程。

高效合理的管理方式是水资源项目后期的组织保障。

数据交换管理平台TongDXP能够管理全网水资源两级信息平台交换库之间的数据交换过程、信息平台交换库与信息平台业务库的数据交换过程、外部业务前置库与业务数据库的数据交换过程。

4.2.2、数据采集工具

数据采集工具在本项目中承载业务前置库与信息平台业务库之间数据交换，信息平台业务库与信息平台交换库之间数据交换，在有可能的情况下完成业务前置库与水资源外部系统数据之间数据交换。

数据采集工具TongIntegrator提供功能丰富的适配器组件技术。

每个适配器不但提供功能数据交换适配和服务功能，而且无需编码，只需经过简单的配置就可以实现数据交换。

数据采集工具能够通过数据库触发器、数据库时间戳直接读取数据，也可以读取数据文件、访问应用接口获取数据。

4.2.3、消息中间件

消息中间件TongLINK/Q承担在外网上传输数据信息的重要职责，亦是连接各级数据交换管理平台与各个数据采集工具的主要数据通道。

消息中间件TongLINK/Q为各个相关信息系统与数据交换平台之间的数据传输提供了可靠保证。

消息中间件的消息传输一次且只有一次，是可靠的传输，其可靠性主要反应在消息中间件许多内建功能的可靠上。

即使在网络阻塞，物理链路暂时中断，甚至主机宕机等严重情况下仍然可以通过续传保证数据不丢、不重、不错的传送到接收节点。

4.2.4、信息平台交换库

交换库的设置是为了解决部级信息平台与流域级信息平台、流域级信息平台、省级信息平台的接入标准化问题，通过在各级信息平台设置交换库，能够将信息平台业务库的数据已标准化方式接入，成功解耦上下级平台，权限职责分明，并最终形成数据的上传下达。

信息平台交换库的设置在水资源项目实施过程中能够解耦上下级平台，搭建好传输骨干，具有良好的模式优势：

第一，扩展性非常好。

能够非常容易做纵向扩展，例如实施过程中，部级信息平台与7大流域信息平台、32个省级信息平台可以逐步接入，定义好交换库标准，无论7大流域信息平台是哪种方式、什么时间接入，都不会对传输骨干造成影响，每个流域信息平台接入只需要做信息平台交换库与信息平台业务库的数据标准映射。

第二，能够解耦上下级平台。

信息平台交换库成为平台间交换标准角色，有效减少紧耦合带来的数据交换实施工作量，同时能够较为清晰定义上下级责任边界，降低项目实施过程中“扯皮现象”，采用数据交换管理平台TongDXP可以监控具体数据传输量作为评测依据。

第三，标准化定义非常清晰。

信息平台交换库方式是电子政务交换体系重要组成部分，相关模式已经很清晰，在实施过程中只需要定义标准标准就可以快速复制，具体的标准标准包括：

《部级信息平台数据库和流域级交换库对接标准》、《部级信息平台数据库和省级交换库对接标准》、《流域级交换库和流域信息平台数据库对接标准》、《省级交换库和省级信息平台数据库对接标准》等。

4.2.5、业务前置库

业务前置库的设置是为了解决部级信息平台与部级外部业务系统、流域级信息平台与流域级外部业务系统、省级信息平台与省级外部业务系统的接入标准化问题，通过设置业务前置库，能够将外部业务系统的数据已标准化方式前置桥接接入，并最终形成数据的上传下达。

业务前置库的设置在水资源项目实施过程中能够解耦信息平台与外部业务系统，以前置方式对接外部系统，具有良好的模式优势：

第一，扩展性非常好。

能够非常容易做横向扩展，例如实施过程中，信息平台与防汛抗旱、水利电子政务系统等外部业务系统可以逐步接入，定义好前置标准，可以轻松的与外部系统对接，每级业务系统接入只需要做业务前置库与业务数据库的数据标准映射。

第三，标准化定义非常清晰。

业务前置库方式是电子政务交换体系重要组成部分，在实施过程中只需要定义标准标准就可以快速复制，具体的标准标准包括：

《长江流域前置库和长江流域水资源业务库对接标准》、《广东省前置库和广东省水资源业务库对接标准》、《四川省前置库和四川省水资源业务库对接标准》等。

4.3、业务场景分析

4.3.1、数据采集场景

数据采集场景是指，在部级节点、流域节点、省级节点的水资源信息平台都需要和水利部其他业务系统〔例如：

防汛抗旱、水资源电子政务等〕做数据采集，即将外部业务系统数据采集进入信息平台数据库。

数据采集场景是采用业务前置库方式解决系统紧耦合、平台扩展性。

数据采集是分两步完成工作，第一步需要将外部业务系统数据库数据搬迁到业务前置库，第二步需要将业务前置库数据交换至信息平台数据库。

第一步工作可以由业务系统采用主动方式将数据推送至业务前置库，同时也可以采用水资源项目提供的TongIntegrator数据采集工具通过数据库触发器、数据文件读取、应用接口访问、消息中间件对接等多种方式将数据交换至业务前置库。

其中数据库触发器方式需要业务系统提供操作权限，会对业务系统数据操作一定压力负荷；数据文件读取方式，由外部业务系统形成数据文件，数据文件可以采用数据批量和增量方式提供；应用接口由外部业务系统提供标准化的webservice接口；消息中间件接口对接方式由外部业务系统提供接口。

第二步工作由集成商使用TongIntegrator工具完成业务前置库到信息平台数据库的数据交换工作，因为业务前置库只是数据的存储，可以采用已经采购的Oralce数据库、地方自有的数据库或者免费的mysql数据等多种方式，使用TongIntegrator工具可以用数据库触发器方式构建数据，同时可以猜业务前置库设计过程中考虑时间戳设计模式完成数据交换。

4.3.2、数据上传场景

数据上传是指流域节点、省级节点将水资源数据上传至部级节点，即流域、省级信息平台数据库与部级信息平台数据的交换。

数据上传场景同样采用松耦合架构方式建设，在流域节点、省级节点建设标准的交换库，交换库的建模标准采用和部级信息平台数据同样的建模结构，这样在39个流域、省级节点都是做流域、省级节点信息平台数据库与交换库的对接，39个交换库只是做到与部级节点信息平台数据库的同构交换。

数据场景分为三步：

第一步是做流域、省级节点信息平台交换库与交换库的数据交换；第二步是抽取交换库数据做数据传输；第三步获得流域、省级节点数据做入库操作。

第一步是采用TongIntegrator主动从信息平台数据抽取数据到交换库，因为考虑到信息平台数据库绝大多数都是新建系统〔江苏已经建设系统〕，系统建设规划过程就可以考虑交换数据的形式，可以把交换数据存储数据库，数据库数据有时间戳标志，交换数据以文件落地或者以应用接口方式发布，TongIntegrator采用触发器方式、时间戳方式、文件方式、应用接口方式对接。

第二步是采用TongDXP从交换库中抽取数据做发布，交换库的建设考虑到项目投资，建议可以采用Oracle、MySQL两种数据库，交换库不承载业务应用只做数据交换标准化，TongDXP提供Oracle日志读取、触发器两种方式能够快速抽取业务数据。

第三步采用TongDXP订阅流域、省级节点的发布数据，订阅完毕后使用TongLINK/Q搭建的可靠传输网络做数据传输，传输至部级节点的数据由TongDXP做入库操作。

4.3.3、数据下发场景

数据下发是部级节点将数据下发至指流域节点、省级节点，即部级信息平台与流域、省级信息平台数据库的交换。

数据下发场景同样采用松耦合架构方式建设，在流域节点、省级节点建设标准的交换库。

数据下发场景分为三步：

第一步抽取部级节点业务数据发布，第二步流域、省级节点订阅部级节点发布数据入流域、省级节点交换库，第三步流域、省级节点交换库同步至信息平台数据库

第一步是采用TongDXP抽取部级节点数据，考虑到部级节点数据库采用Oracle数据库，那么使用TongDXP提供的Oracle日志方式就能以低侵入方式访问部级信息平台数据库。

第二步是采用TongDXP订阅部级的发布数据，采用TongLINK/Q的安全通道传输至流域、省级节点，并入库到交换库。

部级节点的发布数据可以是一对多方式被流域、省级节点使用。

第三步采用TongIntegrator工具将节点交换库与节点信息平台数据库做数据采集、数据转换、数据入库。

从节点交换库采集数据采用触发器、时间戳两种方式。

4.3.4、数据内外网交互

数据内外网交互场景是考虑到水利数据不能在流域、省级节点内外网之间直接交互数据，数据流是流域、省级节点外网先上传至部级节点外网，然后在部级节点内网、外网通过网闸、或者物理刻盘方式传输到内网，然后在内网做数据下发。

反之亦然

数据内外网交互场景是数据上传、下发场景的结合，差异性在于部级节点的内外网交互，会有物理网闸和物理隔离两种方式。

物理网闸方式的内外网隔离可以考虑TongLINK/Q的穿摆钟式网闸解决方案完成内外网。

物理隔离方式做手工拷盘操作。

、部署架构

在本项目中整体的数据交换平台需要在1个部级节点、7个流域节点、32个省级节点部署数据交换管理平台、消息中间件、数据采集工具。

其中在部级节点部署1套数据交换管理平台、1套消息中间件、1套数据采集工具；在流域节点部署7套数据交换管理平台、7套消息中间件、7套数据采集工具；在省级节点部署32套数据交换管理平台、32套消息中间件、32套数据采集工具，共计40套数据交换管理平台、40套消息中间件、40套数据采集工具。

4.5、标准标准

本项目标准标准体系框架由总体标准标准、技术标准标准部分组成。

〔1〕总体标准标准：

包括系统标准标准目录、系统名词术语、系统建设管理方法等内容。

〔2〕技术标准标准：

包括数据标准、交换标准。

4.5.1、总体标准标准体系

〔1〕应用系统建设运行标准标准体系

针对应用系统建设与应用的需求，根据国家已制订的标准体系或信息系统建设标准标准参考模型的基础上，制订符合国家标准要求的应用系统建设和运行标准标准体系。

首先提出支持应用系统集成建设任务的标准标准体系。

〔2〕建设术语标准

针对应用系统集成建设内容，根据国家相关标准，制订覆盖整个应用系统的业务术语标准，统一标准应用系统建设和运行的信息及其管理术语。

〔3〕项目建设管理方法

本方法对调度运行管理系统建设集成实施标准化管理提供指导，通过明确项目管理的基本流程、项目建设和维护阶段基本流程，制订各应用系统招标投标阶段、设计阶段、实施阶段、测试验收阶段和运行及维护阶段的相关管理方法，明确有关方责任，确保项目建设有序推进和质量的提高。

4.5.2、技术标准标准体系

信息系统的基础是业务标准和数据标准。

为保障信息系统中信息流动畅通，应建立符合国际标准、国家标准、行业标准的应用机制，确保系统建设的实用性、先进性、标准性和统一性。

●接入标准

鉴于本项目所要对接的各系统，数据集成交换平台、数据桥接系统所要建立的标准有：

《部级信息平台数据库和流域级交换库对接标准》

《部级信息平台数据库和省级交换库对接标准》

《流域级交换库和流域信息平台数据库对接标准》

《省级交换库和省级信息平台数据库对接标准》

《长江流域前置库和长江流域水资源业务库对接标准》

《广东省前置库和广东省水资源业务库对接标准》

《四川省前置库和四川省水资源业务库对接标准》

……

●数据标准

本项目各业务系统所涉及的业务数据有多种，在项目实施过程中都需要定义标准标准，例如：

《人员信息定义及格式标准》

《取水许可证数据定义及格式标准》

《水文数据数据定义及格式标准》

●数据交换标准

为保障本项目数据传输的实时性、准确性、安全性等方面，需对数据交换方面编制相应的要求，需制定《水利水资源数据共享交换标准》

●业务边界标准

为了保障本项目系统集成整合的顺利实施，需要在两两系统整合时定义整合的业务边界标准，以明确的边界划分有效理清责任问题，防止“扯皮”现象发生，便于时候就查原因。

4.6、系统实施分析

本项目考虑到项目实施，需要有多重角色定义：

总集成商、分集成商〔流域、省级〕、厂商。

总集成商作为水资源项目的总体协调单位，要总体规划本项目，总集成商完成部级平台与省级平台对接，包括流域节点、省级节点交换库建模与标准标准设计，完成流域、省级信息平台与节点交换库交换实施工作，完成39个节点交换库与部级信息平台数据库数据交换实施工作。

同时也参与流域、省级节点信息平台与水利外部系统业务前置库标准标准定义。

分集成商作为流域、省级节点的集成补充，将参与各自流域、省级节点信息平台与水利外部系统业务前置库标准标准定义，同时完成各自流域、省级节点业务前置库与流域、省级信息平台数据库数据交换实施工作，有可能完成各自流域、