数据交换共享整合系统平台建设方案.docx

1、数据交换共享整合系统平台建设方案数据交换共享整合协同平台设计整合协同平台的主要功能是从其它子系统中提取共享数据， 并对多来源渠道 的、相互不一致的数据进行数据融合处理； 基于数据字典对实时数据和历史数据 进行组织，以保证数据间关系的正确性、 可理解性并避免数据冗余；以各种形式 提供数据服务，采用分层次的方法对各类用户设置权限， 使不同用户既能获得各 自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用 性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、 信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台 根据功能可分为两个部分：第一部

2、分，基础数据和共享数据的交换服务和路由流程管理， 该部分是交换 平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料 等属性数据。第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现 各子系统之间的数据共享和传输操作。 在接入中心平台时，应按系统集成要求设 计系统结构，各类数据接口遵循系统集成规范。第一章 中心平台设计1.1平台功能结构整合协同平台服务器是公共基础平台的核心部分， XMA整合协同平台提供一 整套规范的、高效的、安全的数据交换机制。 XMA整合协同平台由部署在数据中 心和各业务部门的数据交换服务器、 数据接口系统共同组成， 解决数据采集、 更 新、

3、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等 问题。各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一 管理和制定数据交换标准。 各业务部门通过数据级整合或者应用级整合通过 XMA 整合协同平台向数据中心提供数据，也通过 XMA整合协同平台访问共享数据。XMA整合协同平台的基本功能如下： 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。结合工作流的协调数据服务。管理、控制、配置、传输传输管理数据压缩传输管理传输数据库7- 丁 _ _ -协议管理传输控制连接共享共享交换传

4、输数据需方共享交换加解密 故障检测应用共享交换应用数据库管理、安全接口功能流程说明：数据供需方的接口数据系统：为了满足应用层交换和数据层交换，交换代理 必须有应用层和数据层的连接和接口适配功能， 数据代理必须有数据格式的转换 功能。数据传输：为了保证数据的正确传输和传输性能， 必须有传输管理功能，包 括了传输协议管理和控制，传输过程控、数据传输加密、压缩、网络故障检测和 连接共享等功能。数据整合协同平台：会话管理：为了能提供数据的交换方式如主动（推）、被动（拉）；支持定时 和实时策略，支持超时控制管理等功能，数据交换平台必须有会话策略、 会话控 制和管理功能。数据管理：为了数据能按标准进行交换

5、，能按照部署的路由规则进行交换， 必须有数据路由、数据模板管理、数据解析、数据转换等功能系统管理功能：同时数据交换平台还应该提供服务管理功能， 包括运行管理， 部署管理，服务管理，系统日志等功能 为了和安全平台结合，还必须有与安全平台的接口设计功能。1.2设计原则1.2.1 安全高效的数据交换XM/整合协同平台底层采用消息中间件技术，实现可靠的数据传输。在应用 层基于服务，实现数据交换，必须支持数据采集、数据汇总、数据分发、数据更 新通知、数据转发、数据转换。支持实时、定时、按需的数据交换方式。支持多 种数据源，提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数 据有效性的支持。支持

6、数据分段传输、数据压缩 / 解压缩、数据缓存等。1.2.1.1规范的数据共享访问共享数据是一个公共的资源， 可以供多个业务系统同时使用。 对公共数据的 访问必须经过用户的验证授权访问。 此外，还需要从数据中心运作的流程、 规程 制度等方面确保共享数据不被用于非法途径。1.2.1.1.1安全可靠性由于各个业务部门间交换的数据文件含许多敏感信息， 所以对数据交换过程 中的安全要求就十分严格。XMA整合协同平台必须提供安全机制保证数据交换信 息的完整性、数据交换信息的机密性。XMA整合协同平台必须能有效的与安全认 证平台结合。通过安全认证平台和XMA整合协同平台，能够保护交换信息内容免 遭拦截或非法

7、修改。1.2.1.1.2 高可用性随着项目工程的推进，需要数据交换的部门会越来越多， XMA整合协同平台需要对负载平衡的支持， 在分布式的体系结构上可以添加主机的方式提高整体计 算能力，进行面向服务的适应性负载平衡。1.2.1.1.3 可维护性XMA整合协同平台具有日志监控功能，通过数据服务日志可以记录、跟踪数 据交换的细节。 日志可以用于对系统的运行状态进行监控， 亦可以用于对系统的 运行情况进行审计、故障处理、系统开发调试、交易跟踪。对数据服务进行监控 管理，用户权限管理，运行日志查看，性能统计。1.3信息共享功能1.3.1.1.1数据汇总支持各个分支数据源汇总数据到数据中心。 采集公共数

8、据的过程可以看成是 一个数据汇总的过程，通过XMA整合协同平台将各业务部门的公共数据采集回来， 汇集到数据中心的缓存数据库。 经过数据管理系统的比对、 校验、 转换得到一致 的数据。1.3.1.1.2数据分发数据分发是从数据中心的角度， 主动向各数据使用方提供数据的过程。 通过 公开数据服务， 依照数据使用权限的规则， 从数据中心把数据分发到各个数据使 用部门，实现数据共享、信息联动。1.3.1.1.3数据存取访问XMA整合协同平台提供实时按需的数据存取访问服务，通过统一标准的数据 接口，以XML乍为标准数据格式，通过标准的Web服务对各种技术平台提供访问 支持。1.3.1.1.4 数据转换数

9、据交换服务可以把某个数据库的数据转换成标准 XML数据集。通过数据转 换模块，实现对各种异构数据转换到统一标准规范、 具有一致性和完整性的公共 数据。1.3.1.1.5任务定制数据接口系统应该允许用户自己配置和管理相关的服务， 如：数据提取服务、 数据发送服务、数据接收服务、数据存储服务等。1.3.1.1.6支持用户自定义接口数据接口系统应该是一个开放的系统， 要提供一些可扩充的接口以及二次开 发接口，支持用户基于这些接口来定义自己的特色服务。1.3.1.1.7 支持监控管理对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。通过 数据服务日志可以记录、 跟踪数据交换的细节。 对数据

10、交换节点进行管理， 提供 安全策略指南、服务器安全管理配置。1.3.1.2信息交换方式XMAi合协同平台可以支持不同方式的机构和系统间的数据交换与协同， 主要包括：基于 Web Services 服务的方式用于外部机构与中心平台间的实时交换；基于数据库接口的方式用于内部系统间实时或非实时交换；基于文件交换的方式用于外部或内部系统间非实时批量交换。1.4基于 Web Services 服务的方式基于 WebServices 服务的数据交换方式主要用于外部机构部门与数据中心 间实时的数据交换和业务协同应用。基于 WebServices 技术的应用集成通过主流的 WebServices 协议如 SO

11、AP、XMLRP等协议的无缝集成，支持这些应用系统的接口，提供基于 WebSerViCeS 的应用系统整合适配器，并提供快速整合 WebServices 应用的工具和接口 API。数据提供方定义公开数据服务，以服务的形式封装数据交换的内容和协议。 数据使用方调用数据提供方的公开数据服务以获取所需的数据， 并且按照一定的 数据转换和数据更新规则， 把数据更新到本地数据源。 通过本地数据服务和公开 数据服务的交互实现数据提供方和数据使用方之间的数据交换。1.4.1.1.1基于数据库接口的方式基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交换 方式。交换的双方通过定义发送和接收任务来进

12、行数据库接口的交换。 根据交换的 数据格式的不同， 这种数据交换方式又可以细分为两种类型： 一种是数据落地的 数据共享，一种是数据不落地的数据交换。基于标准XML元数据和数据字典的数据交换由XMA整合协同平台自动从前置 机交换数据库中提取数据，并按照定义好的模板打包生成标准的 XML数据包，由 定制好的发送路由发送给接收方。接收方接收到XML数据包后自动进行解包处理， 并将数据存储到接收方的前置机交换数据库中。1.4.1.1.2基于文件交换的方式基于文件交换的方式主要用于外部或内部的非实时批量数据交换方式。交换的双方通过定义发送和接收任务来进行数据文件的交换。 根据交换的数 据文件的不同，这种

13、数据交换方式又可以细分为两种类型：一种是基于标准 XML 文件的数据交换，一种是基于其他文件格式的数据交换。基于标准XML文件的数据交换由XMz整合协同平台自动从前置机交换数据库 中提取数据，并按照定义好的模板打包生成标准的 XML文件，由定制好的发送任 务发送给接收方。接收方接收到XML文件后自动进行解包处理，并将数据存储到 接收方的前置机交换数据库中。 基于其他文件格式的数据交换由业务系统将需要 交换的数据文件放置到前置机上的规定路径下，通过XMA整合协同平台发送到目 的地交由接收部门自行处理。第二章平台接口设计制定的接口规范内容为整合协同平台和各接入部门之间，系统互联所涉及的 数据交换接

14、口。系统之间的信息传输和交换通过计算机系统互联网络来完成。数据接口“信息平台”与接入部门信息系统之间通信的通用接口模型如图所示。运输 层以下层次的通信协议选用合适的标准协议，运输层和网络层建议选用统一的 TCP/IP协议，便于各节点之间组网传输，数据链路层和物理层可根据实际通信 条件情况灵活选用，如 ADSL E1。中心平台”与接入部门之间通信的通用接口模型在整合协同平台，按照对信息的各种需求，维护一个用于数据共享的标准数 据注册中心，采用标准化数据的方式向各接入系统及各应用系统提供共享的信息； 各接入系统在整合协同平台处对应维护一张数据字典，用于完成非标数据和标准 数据的翻译，从而向共享的标

15、准数据库提供标准化的数据信息； 对于单一功能领 域的特殊数据信息， 系统提供在各子系统之间直接进行交换的途径， 满足特定功 能的应用需求；系统需要有一个专门的维护和管理机构， 分别对系统的数据字典、 标准共享数据库进行增添、 更新等维护管理， 以满足新的接入系统接入和系统发 展的需求。2.1.1.1.1 数据传输在数据传输中， 由于系统数据的异构特性， 在数据发送接口和接收接口需要 对数据格式按照数据字典的要求进行转换， 统一于标准的数据格式满足应用的要 求。2.1.1.1.2 接口扩展数据接口的分层次、模块化、规范化设计，将有利于系统的扩展性，对扩展 性设计主要体现在以下几个方面：应用层协议

16、的分层设计， 各层功能明确， 层之间可通过规范化的接口进行调 用和传递信息。 各层功能可独立实现， 灵活性好， 比如可通过购置商品化软件来 实现通信子层；某一层协议的功能扩展或变化时，将不影响另一层协议的功能。采用数据登记标准的、基于 XML格式的数据接口方案设计，灵活性比较好， 系统扩展方便， 适合接入系统的增加或接入信息内容的扩展， 有利于满足新的系 统接入和系统发展的需求。数据传输协议基于一些主流的、 成熟的数据传输协议， 能很好适应系统扩展 的需求。2.1.1.2资源目录管理数据中心通过XMA整合协同平台以数据服务的方式从各业务部门采集数据， 保存到公共数据缓存库， 然后使用公共数据管

17、理维护系统进行数据比对、 冲突检 查、数据审核、数据转换。当数据达到一致性、完整性要求时，数据被发布到公 共数据发布库，通过XMA整合协同平台以数据服务的形式提供数据使用方访问。该系统不仅要能够满足基于现状条件下对信息资源的整合利用和规范管理， 还要适应未来对信息资源的深度开发和多媒体信息资源库扩展的要求。2.1.121资源目录管理的结构数据管理系统以主题的方式组织数据资源，提供元数据管理、数据供需关系 管理、数据标准规范管理，与XMA整合协同平台结合，提供数据转换、整理、发亠、( 、数据定位米集库工作库元数据模型Q主题发布库布等功能。数据提供者数据使用者数据机构数据共享交换平台/数据采集、更

18、新、维护、使用机制/数据标准规范2.1.1.2.2资源目录管理的功能2.1.1.2.2.1元数据管理元数据目录集中管理数据元数据的发布与维护， 系统授权给分系统管理员完成对本部门元数据的维护工作。2.1.1.2.2.2 服务注册与接口发布前置机注册数据源注册适配器注册服务注册服务删除服务订阅服务审核服务启动2.1.1.2.2.3数据转换建立业务部门数据于标准规范数据的转换映射关系和转换规则， 将业务部门 的数据转换为符合标准规范的数据。数据转换重用数据整合协同平台的功能。2.1.1.2.2.4数据整理数据中心通过XMA整合协同平台从区级数据中心及各业务部门采集数据并 放入数据中心的缓存数据库中

19、，然后通过数据管理系统对数据进行比对、清洗， 检查数据冲突，对数据进行审核校验。确保数据一致性、完整性。2.1.1.2.2.5主题管理数据中心以主题为单位实现数据采集、 数据交换、数据共享、 数据比对以及 数据发布。因此必须提供主题管理功能。 主题管理重用数据整合协同平台的功能。2.1.1.3运行监控管理为方便对数据中心的管理和维护， 需要一套功能完整的运行管理与监控维护 系统，保障整个数据中心系统和信息资源的高可靠、 高可控和高效。 运行管理系 统主要提供给数据中心的系统管理人员使用， 用于保证数据中心的安全可靠和高 效运行。其功能主要包括面向安全性的用户管理、 权限管理和密码管理； 面向可

20、 用性的节点管理和状态监控； 面向可靠性的数据备份和恢复； 面向性能优化的性运行管理与监控系统的管理对象包括： XMA整合协同平台、数据库服务器、 主机服务器、网络设备、备份和存储设备、数据交换节点设备和系统等 2.1.131运行监控管理模型运行监控管理要涉及不同领域的多种协议和接口 -比如SNMP用于网络管 理，桌面管理接口 (DMI)用于桌面系统管理。基于Web的企业管理(WBEM)是 这个行业的一个倡议，能够收集、管理并合并多种来源的管理数据，从而更全面、 更精确地了解系统环境。WBEMr两个关键的组成部分(但有可能会使用更多的 标准，比如使用XML平台来中立地共享ClM对象)：公共信息

21、模型(CIM)规范，它定义了 WBEM实施的要求CIM架构，它描述了数据存储库的内容运行监控管理平台的体系结构可参考如下所示：管理控制台管理应用程序CIM对象管理器L 丿CIM对象库管理单元WDM内核对象 JSNMP对象I DMI对象其他对象管理对象提供者2.1.132运行监控管理结构运行管理与监控系统通过数据整合协同平台的资源管理体系和智能代理共 同来完成。运行管理与监控系统的系统结构如图：管理监控系统 .ClM信息模型ClM对象管理JMX管理器J L智能代理智能 代理资源管理体系和智能代理的实现符合 WBE标准和JMX规范，JMX定义了开 发可管理应用或网络管理系统的一个体系结构、若干设计

22、模式、 API和服务。JMX规范包含若干现有标准管理协议的 JaVa API, JMX通过广泛应用的两个 管理协议：SNM管理者API和CIM/WBE管理者与提供者 API与WBE达成无缝 的集成。JMX规范向业界各领域的用户提供了装配代码、创建智能代理、实现分布式 管理中间件和管理者的方式，并且可使这些解决方案平滑的集成到现有管理系统 中。另外JMX规范也提供了若干现有标准管理技术的 JaVa APIO JMX侧重管理软 件架构和数据接口系统（部署到各个部门的前置机）而WBEl则侧重管理网络设备，他们各有分工又互相合作第三章安全认证管理数据中心系统结合安全认证平台的应用主要包括：数据中心应用

23、单点登陆认证数据共享交换安全认证在项目中，根据需求把安全认证平台应用到每个功能和模块。3.1.1.1.1身份认证和单点登录安全认证在技术上采用了大量先进成熟的安全技术， 支持的功能和相应的技术特性如下：访问权限控制：对业务流程中的操作、对数据和资源的访问，都能进行权限 控制；用户身份验证：提供对用户的身份验证，支持单点注册；数字认证体系：提供基于 PKl标准的数字认证体系，通过 CA认证中心的证 书进行数字认证、数字签名等保障措施，来认证用户、实体的身份，保证消息的 完整性和交易的不可否认性，确保交易合法有效；安全通信通道：通过SSL等标准的安全通道协议，提供通信层的安全，保障 通信双方的身份

24、正确性，通道和会话的私密性，消息的完整性和交易的不可否认 性。安全总线技术特性身份认证(AUthentication)强身份认证单点登录(Single Sign-on)授权访问控制(AUthOriZatiOn)可定制的访问控制列表(ACL)权限管理(Group, User, Action, PermiSSiOn)数据加密插件式的数据加密模块的部署数字认证基于PKI的CA认证、数字证书、数字签名支持安全通信协议，如 SSL, HTTPS .集成其他安全服务兼容LDAP, NT Domain等安全服务3.1.1.1.2数据交换加密认证通过接口 APl之间的数据流通道接收请求方发送的 XML青求数据

25、; 对请求方进行身份认证和权限控制；写请求日志，存储请求XML数据文件；解析请求XML数据；验证数字签名；对XML数据中的加密数据进行解密；根据解析后的明文请求数据进行对应的业务处理；对处理后的响应数据按需要进行加密；进行数字签名；将数据封装成XML数据文件；通过数据流通道发送XML数据；写响应日志，存储响应XML数据文件。涉及到安全体系的步骤包括：第 2、第5、第6第8、第9步。除了和登陆 认证的登陆认证之外，还包括了数据的加解密过程。3.1.1.2 系统技术实现的优势特性3.1.1.2.1高效可靠的可扩展平台平台提供数据层、应用层等多层次的数据交换，提供基于文件、数据库、应用层的多种交换方

26、式。系统的稳定性和性能已经在多个政府、银行、电信中得到 应用。浏览器页面服务组件服务组件1_/HTTP服务组件应用层服务组件Web)q服务 数据库服务组件 SQL服务组件 FlL文件代理智能数据需方数据中心平台数据供方3.1.122即插即用的柔性架构数据共享交换平台设计了统一的管理总线和安全总线接口、 采用了 “即插即用”的管理模型，具备了即插即用的特性，对于新拓展的适配器能够快速、动态 的部署和集成。即插即用的柔性架构3.1.1.2.3高扩展低维护的特性使系统有足够好的可扩展能力，各部分之间必须是松散耦合的，每个部分的 实现方法的变化不应该对系统的其他部分造成影响；系统中的新增的模块只需要在

27、一处配置，可以被多个子系统共享的能力。3.1.1.2.4安全可靠的特性保证系统必须保证在广域网环境下的具有足够的安全性，符合信息化建设中的安全要求，能与认证中心CA/PKI系统无缝结合。12.歸匝应|丄似 w.tt逵联昭皿KW忌用31 .扯迖rMI. 攻据HTTP/SOAPTCP/UDP3.1.125灵活可靠的数据传输即插即用协议栈：可靠传输存储转发QUEUE5 . hT* tffNAKACK可靠传递协议 丢包重传数据传输协议TCP,UDP队列协议存储转发3.1.1.2.6 支撑扩展的综合应用通过对应用支撑体系的实现， 不仅可以支持数据中心的数据整合、 共享交换， 还可为其他部门或综合应用提供

28、支撑， 如公共服务系统、 决策支持系统等， 真正 做到成为企业信息系统的枢纽。第四章系统能力及性能指标XM/整合协同平台服务器是任务关键系统，纵向联接多级系统，横向联接多 个业务部门，系统结构复杂、业务量大、吞吐量高，需要具备良好的安全性、稳 定性、可用性、可伸缩性和可扩展性。XM/整合协同平台的技术路线采用 SOA EAI、ETL XML等大量成熟的先进 技术，架构在J2EE的分布式体系结构之上，数据交换采用 XML支持WE曲艮务 和SOAP议，在软件架构管理上采用JMX与WBE集成的技术，使之成为管理模 块技术的核心，结合CA认证机制的提供安全保障。同时提供中间层集成框架用 来满足无需太多

29、费用而又需要高可用性、高可靠性以及可扩展性的应用需求。通 过提供统一的集成平台降低了资源整合和应用的成本和复杂性， 同时提供对现有应用程序集成强有力支持。XMA6合协同平台是各个部门建设业务系统的一个标 准架构，作为数据中心的平台建设，必须能满足及支持区域性体系架构的要求。系统遵循国际主流的SOA架构体系，采用先进、主流、可靠、安全、开放、 实用、性价比好的系统架构，具有优秀的技术能力和性能指标。4.1.1.1.1系统能力项目技术指标遵循标准规范米用面向服务架构（SOA）设计和企业服务总线（ESB）技 术，遵循J2EE标准体系结构，具有灵活的扩展性和良 好的移植性。多种交换方式数据交换接口主要

30、包含：Web服务方式，支持主流的协议接口，如 SOAP REST 等Web服务协议标准数据库接口方式，支持主流关系型数据库的接口，包括T ORACLE SQL SERVERSYBASE DB2等基于文件交换方式，支持基于自疋义格式的文件交换多种数据格式以XML格式为主，可支持各种类型的数据源的交换，包 括关系型、结构化、XML消息、文本数据、WEB据、 矢量地图、影像、视频、音频等。数据交换能力支持服务、消息、数据库、文件等多种交换方式，并具 有良好的负载均衡能力；支持大数据包的交换，进行分块传输，数据量大小不应 受限制，在保证一定数据传输速度的同时，可避免占用 全部网络带宽。数据交换传输支持多种传输协议支持多种传输格式支持数据的加/解密，基于PKl的安全认证支持传输层的动态扩展性数据交换管理数据交换管理主要包含：交换安全管理，提供基于ACL的访问控制等安全管理技 术交换路由管理，提供基于动态路由的交换，可配置拓扑 路径交换协议管理交换性能管理交换日志管理交换格式管理批量数据交换批量数据交换由数据抽取工具完成， 支持数据抽取、数据清洗、数据比对、数据校验、数据转换等处理，支持 异构数据源或数据访冋接口：OraeIeSybaSeSQL SerVerIBM InformixIBM DB