数据交换共享整合系统平台技术方案xWord下载.docx
《数据交换共享整合系统平台技术方案xWord下载.docx》由会员分享，可在线阅读，更多相关《数据交换共享整合系统平台技术方案xWord下载.docx（19页珍藏版）》请在冰豆网上搜索。
数据传输：
为了保证数据的正确传输和传输性能，必须有传输管理功能，包括了传输协议管理和控制，传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。
数据整合协同平台：
会话管理：
为了能提供数据的交换方式如主动（推）、被动（拉）；
支持定时和实时策略，支持超时控制管理等功能，数据交换平台必须有会话策略、会话控制和管理功能。
数据管理：
为了数据能按标准进行交换，能按照部署的路由规则进行交换，必须有数据路由、数据模板管理、数据解析、数据转换等功能。
系统管理功能：
同时数据交换平台还应该提供服务管理功能，包括运行管理,部署管理，服务管理，系统日志等功能
优质参考文档
为了和安全平台结合，还必须有与安全平台的接口设计功能。
1.2设计原则
1.2.1安全高效的数据交换
RM/整合协同平台底层采用消息中间件技术，实现可靠的数据传输。
在应用层基于服务，实现数据交换，必须支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。
支持实时、定时、按需的数据交换方式。
支持多种数据源，提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持。
支持数据分段传输、数据压缩/解压缩、数据缓存等。
121.1规范的数据共享访问
共享数据是一个公共的资源，可以供多个业务系统同时使用。
对公共数据的访问必须经过用户的验证授权访问。
此外，还需要从数据中心运作的流程、规程制度等方面确保共享数据不被用于非法途径。
1.2.1.1.1安全可靠性
由于各个业务部门间交换的数据文件含许多敏感信息，所以对数据交换过程
中的安全要求就十分严格。
RM/整合协同平台必须提供安全机制保证数据交换信息的完整性、数据交换信息的机密性。
RMA整合协同平台必须能有效的与安全认证平台结合。
通过安全认证平台和RM/整合协同平台，能够保护交换信息内容免遭拦截或非法修改。
1.2.1.1.2高可用性
随着项目工程的推进，需要数据交换的部门会越来越多，RMA整合协同平台
需要对负载平衡的支持，在分布式的体系结构上可以添加主机的方式提高整体计算能力，进行面向服务的适应性负载平衡。
121.1.3可维护性
RM/整合协同平台具有日志监控功能，通过数据服务日志可以记录、跟踪数据交换的细节。
日志可以用于对系统的运行状态进行监控，亦可以用于对系统的运行情况进行审计、故障处理、系统开发调试、交易跟踪。
对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。
1.3信息共享功能
131.1.1数据汇总
支持各个分支数据源汇总数据到数据中心。
采集公共数据的过程可以看成是一个数据汇总的过程，通过RM/整合协同平台将各业务部门的公共数据采集回来，汇集到数据中心的缓存数据库。
经过数据管理系统的比对、校验、转换得到一致的数据。
1.3.1.1.2数据分发
数据分发是从数据中心的角度，主动向各数据使用方提供数据的过程。
通过公开数据服务，依照数据使用权限的规则，从数据中心把数据分发到各个数据使用部门，实现数据共享、信息联动。
1.3.1.1.3数据存取访问
RM/整合协同平台提供实时按需的数据存取访问服务，通过统一标准的数据接口，以RML作为标准数据格式，通过标准的Web服务对各种技术平台提供访问支持。
131.1.4数据转换
数据交换服务可以把某个数据库的数据转换成标准RML数据集。
通过数据转换模块，实现对各种异构数据转换到统一标准规范、具有一致性和完整性的公共数据。
131.1.5任务定制
数据接口系统应该允许用户自己配置和管理相关的服务，女口：
数据提取服务、数据发送服务、数据接收服务、数据存储服务等。
131.1.6支持用户自定义接口
数据接口系统应该是一个开放的系统，要提供一些可扩充的接口以及二次开发接口，支持用户基于这些接口来定义自己的特色服务。
1.3.1.1.7支持监控管理
对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。
通过数据服务日志可以记录、跟踪数据交换的细节。
对数据交换节点进行管理，提供安全策略指南、服务器安全管理配置。
1.3.1.2信息交换方式
RM/整合协同平台可以支持不同方式的机构和系统间的数据交换与协同，主
要包括：
基于WebServices服务的方式用于外部机构与中心平台间的实时交换；
基于数据库接口的方式用于内部系统间实时或非实时交换；
基于文件交换的方式用于外部或内部系统间非实时批量交换。
1.4基于WebServices服务的方式
基于WebServices服务的数据交换方式主要用于外部机构部门与数据中心间实时的数据交换和业务协同应用。
基于WebServices技术的应用集成通过主流的WebServices协议如SOAP
RMLRP等协议的无缝集成，支持这些应用系统的接口，提供基于WebServices的应用系统整合适配器，并提供快速整合WebServices应用的工具和接口API。
数据提供方定义公开数据服务，以服务的形式封装数据交换的内容和协议。
数据使用方调用数据提供方的公开数据服务以获取所需的数据，并且按照一定的数据转换和数据更新规则，把数据更新到本地数据源。
通过本地数据服务和公开数据服务的交互实现数据提供方和数据使用方之间的数据交换。
1.4.1.1.1基于数据库接口的方式
基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交换方式。
交换的双方通过定义发送和接收任务来进行数据库接口的交换。
根据交换的数据格式的不同，这种数据交换方式又可以细分为两种类型：
一种是数据落地的数据共享，一种是数据不落地的数据交换。
基于标准RML元数据和数据字典的数据交换由RMAS合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的RML数据包，由定制好的发送路由发送给接收方。
接收方接收到RML数据包后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。
1.4.1.1.2基于文件交换的方式
基于文件交换的方式主要用于外部或内部的非实时批量数据交换方式。
交换的双方通过定义发送和接收任务来进行数据文件的交换。
根据交换的数
据文件的不同，这种数据交换方式又可以细分为两种类型：
一种是基于标准RML
文件的数据交换，一种是基于其他文件格式的数据交换。
基于标准RML文件的数据交换由RM；
整合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的RML文件，由定制好的发送任务发送给接收方。
接收方接收到RML文件后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。
基于其他文件格式的数据交换由业务系统将需要交换的数据文件放置到前置机上的规定路径下，通过RMA整合协同平台发送到目的地交由接收部门自行处理。
第二章平台接口设计
制定的接口规范内容为整合协同平台和各接入部门之间，系统互联所涉及的数据交换接口。
系统之间的信息传输和交换通过计算机系统互联网络来完成。
数据接口
“信息平台”与接入部门信息系统之间通信的通用接口模型如图所示。
运输
层以下层次的通信协议选用合适的标准协议，运输层和网络层建议选用统一的
TCP/IP协议，便于各节点之间组网传输，数据链路层和物理层可根据实际通信条件情况灵活选用，如ADSLE1。
中心平台”与接入部门之间通信的通用接口模型
在整合协同平台，按照对信息的各种需求，维护一个用于数据共享的标准数据注册中心，采用标准化数据的方式向各接入系统及各应用系统提供共享的信息；
各接入系统在整合协同平台处对应维护一张数据字典，用于完成非标数据和标准数据的翻译，从而向共享的标准数据库提供标准化的数据信息；
对于单一功能领
域的特殊数据信息，系统提供在各子系统之间直接进行交换的途径，满足特定功能的应用需求；
系统需要有一个专门的维护和管理机构，分别对系统的数据字典、标准共享数据库进行增添、更新等维护管理，以满足新的接入系统接入和系统发展的需求。
2.1.1.1.1数据传输
在数据传输中，由于系统数据的异构特性，在数据发送接口和接收接口需要对数据格式按照数据字典的要求进行转换，统一于标准的数据格式满足应用的要求。
2.1.1.1.2接口扩展
数据接口的分层次、模块化、规范化设计，将有利于系统的扩展性，对扩展性设计主要体现在以下几个方面：
应用层协议的分层设计，各层功能明确，层之间可通过规范化的接口进行调用和传递信息。
各层功能可独立实现，灵活性好，比如可通过购置商品化软件来实现通信子层；
某一层协议的功能扩展或变化时，将不影响另一层协议的功能。
采用数据登记标准的、基于RML格式的数据接口方案设计，灵活性比较好，系统扩展方便，适合接入系统的增加或接入信息内容的扩展，有利于满足新的系
统接入和系统发展的需求。
数据传输协议基于一些主流的、成熟的数据传输协议，能很好适应系统扩展的需求。
2.1.1.2资源目录管理
数据中心通过RMA8合协同平台以数据服务的方式从各业务部门采集数据，保存到公共数据缓存库，然后使用公共数据管理维护系统进行数据比对、冲突检查、数据审核、数据转换。
当数据达到一致性、完整性要求时，数据被发布到公共数据发布库，通过RMA整合协同平台以数据服务的形式提供数据使用方访问。
该系统不仅要能够满足基于现状条件下对信息资源的整合利用和规范管理，还要
适应未来对信息资源的深度开发和多媒体信息资源库扩展的要求。
2.1.1.2.1资源目录管理的结构
数据管理系统以主题的方式组织数据资源，提供元数据管理、数据供需关系管理、数据标准规范管理，与RMA整合协同平台结合，提供数据转换、整理、发布等功能。
数据共享交换平台/数据采集、更新、维护、使用机制/数据标准规范
数据中心
业务部门
数据机构
2.1.122资源目录管理的功能
2.1.122.1元数据管理功能介绍
元数据目录集中管理数据元数据的发布与维护，系统授权给分系统管理员完
成对本部门元数据的维护工作。
2.1.1.2.2.2服务注册与接口发布
前置机注册
数据源注册
适配器注册
服务注册
服务删除
服务订阅
服务审核
服务启动2.1.122.3数据转换
建立业务部门数据于标准规范数据的转换映射关系和转换规则，将业务部门
的数据转换为符合标准规范的数据。
数据转换重用数据整合协同平台的功能。
2.1.1.2.2.4数据整理
数据中心通过RMA8合协同平台从区级数据中心及各业务部门采集数据并放入数据中心的缓存数据库中，然后通过数据管理系统对数据进行比对、清洗，检查数据冲突，对数据进行审核校验。
确保数据一致性、完整性。
2.1.1.2.2.5主题管理
数据中心以主题为单位实现数据采集、数据交换、数据共享、数据比对以及数据发布。
因此必须提供主题管理功能。
主题管理重用数据整合协同平台的功能。
2.1.1.3运行监控管理
为方便对数据中心的管理和维护，需要一套功能完整的运行管理与监控维护系统，保障整个数据中心系统和信息资源的高可靠、高可控和高效。
运行管理系统主要提供给数据中心的系统管理人员使用，用于保证数据中心的安全可靠和高
效运行。
其功能主要包括面向安全性的用户管理、权限管理和密码管理；
面向可
用性的节点管理和状态监控；
面向可靠性的数据备份和恢复；
面向性能优化的性能监控；
面向运行管理机制的信息管理等。
提供满足监测统计要求的功能，提供对检测日志内容的简单统计分析表等。
运行管理与监控系统的管理对象包括：
RMA整合协同平台、数据库服务器、
主机服务器、网络设备、备份和存储设备、数据交换节点设备和系统等。
2.1.131运行监控管理模型
运行监控管理要涉及不同领域的多种协议和接口-比如SNMP用于网络管理，桌面管理接口（DMI）用于桌面系统管理。
基于Web的企业管理（WBEM是这个行业的一个倡议，能够收集、管理并合并多种来源的管理数据，从而更全面、更精确地了解系统环境。
WBEMT两个关键的组成部分（但有可能会使用更多的标准，比如使用RML平台来中立地共享CIM对象）：
公共信息模型（CIM）规范，它定义了WBE实施的要求
CIM架构，它描述了数据存储库的内容
运行监控管理平台的体系结构可参考如下所示:
厂
vy
1
1r
:
i;
If
WDM内核对象
<
J
r、
SNMP对象
J
f>
DMI对象
j
其他对象
V>
2.1.132运行监控管理结构
运行管理与监控系统通过数据整合协同平台的资源管理体系和智能代理共同来完成。
运行管理与监控系统的系统结构如图：
管理监控系统
CIM信息模型
CIM对象管理
JMX管理器
代理层装配层
智能代理
•■
JMXMBean服务
■WBEM
I提供者
SNMP提供者
TMN
提供者
资源管理体系和智能代理的实现符合WBE标准和JMR规范，JMF定义了开发可管理应用或网络管理系统的一个体系结构、若干设计模式、API和服务。
JMR规范包含若干现有标准管理协议的JavaAPI，JMR!
过广泛应用的两个管理协议：
SNMPT理者API和CIM/WBE管理者与提供者API与WBE达成无缝的集成。
JMR规范向业界各领域的用户提供了装配代码、创建智能代理、实现分布式管理中间件和管理者的方式，并且可使这些解决方案平滑的集成到现有管理系统中。
另外JMF规范也提供了若干现有标准管理技术的JavaAPI。
JMR则重管理软件架构和数据接口系统（部署到各个部门的前置机）
而WBEI则侧重管理网络设备，他们各有分工又互相合作。
第三章安全认证管理
数据中心系统结合安全认证平台的应用主要包括：
数据中心应用单点登陆认证
数据共享交换安全认证
在项目中，根据需求把安全认证平台应用到每个功能和模块。
3.1.1.1.1身份认证和单点登录
安全认证在技术上采用了大量先进成熟的安全技术，支持的功能和相应的技
术特性如下：
访问权限控制：
对业务流程中的操作、对数据和资源的访问，都能进行权限控制；
用户身份验证：
提供对用户的身份验证，支持单点注册；
数字认证体系：
提供基于PKI标准的数字认证体系，通过CA认证中心的证书进行数字认证、数字签名等保障措施，来认证用户、实体的身份，保证消息的完整性和交易的不可否认性，确保交易合法有效；
安全通信通道：
通过SSL等标准的安全通道协议，提供通信层的安全，保障通信双方的身份正确性，通道和会话的私密性，消息的完整性和交易的不可否认性。
安全总线技术特性
身份认证（Authentication）
强身份认证
单点登录（SingleSign-on）
授权访问控制（Authorization）
可定制的访问控制列表（ACL）
权限管理（Group,User,Action,Permission）
数据加密
插件式的数据加密模块的部署
数字认证
基于PKI的CA认证、数字证书、数字签名
支持安全通信协议，如SSL,HTTPS…
集成其他安全服务
兼容LDAP,NTDomain等安全服务
3.1.1.1.2数据交换加密认证
通过接口API之间的数据流通道接收请求方发送的RML青求数据;
对请求方进行身份认证和权限控制；
写请求日志，存储请求RML数据文件；
解析请求RML数据；
验证数字签名；
对RML数据中的加密数据进行解密；
根据解析后的明文请求数据进行对应的业务处理；
对处理后的响应数据按需要进行加密；
进行数字签名；
将数据封装成RML数据文件；
通过数据流通道发送RML数据；
写响应日志，存储响应RML数据文件。
涉及到安全体系的步骤包括：
第2、第5、第6第8、第9步。
除了和登陆认证的登陆认证之外，还包括了数据的加解密过程。
3.1.1.2系统技术实现的优势特性
3.1.1.2.1高效可靠的可扩展平台
平台提供数据层、应用层等多层次的数据交换，提供基于文件、数据库、应
用层的多种交换方式。
系统的稳定性和性能已经在多个政府、银行、电信中得到应用。
FILE,服务组件
数据
HTTP服务组件
SQL.服务组件
浏览器
_r
贝
*
服务组件
BTtph^
Web
服务
应用层
数据层
.数据库
消息
转
数据中心平台
数据供方
3.1.122即插即用的柔性架构
数据共享交换平台设计了统一的管理总线和安全总线接口、采用了“即插即
用”的管理模型，具备了即插即用的特性，对于新拓展的适配器能够快速、动态的部署和集成。
即插即用的柔性架构
3.1.1.2.3高扩展低维护的特性
使系统有足够好的可扩展能力，各部分之间必须是松散耦合的，每个部分的
实现方法的变化不应该对系统的其他部分造成影响；
系统中的新增的模块只需要在一处配置，可以被多个子系统共享的能力。
3.1.1.2.4安全可靠的特性
保证系统必须保证在广域网环境下的具有足够的安全性，符合信息化建设中
的安全要求，能与认证中心CA/PKI系统无缝结合。
客户端
数据中心接I」系统
业务系统
3.1.125灵活可靠的数据传输
即插即用协议栈：
可靠传输
存储转发
队列协议
存储转发…
群组消息协议发布/订阅,P2P…
其他协议
故障检测…
可靠传递协议丢包重传…
数据传输协议
TCP,UDP-
3.1.126支撑扩展的综合应用
通过对应用支撑体系的实现，不仅可以支持数据中心的数据整合、共享交换，还可为其他部门或综合应用提供支撑，如公共服务系统、决策支持系统等，真正做到成为企业信息系统的枢纽。
第四章
系统能力及性能指标
RM/整合协同平台服务器是任务关键系统，纵向联接多级系统，横向联接多个业务部门，系统结构复杂、业务量大、吞吐量高，需要具备良好的安全性、稳定性、可用性、可伸缩性和可扩展性。
RM/整合协同平台的技术路线采用SOAEAI、ETL、RML等大量成熟的先进技术，架构在J2EE的分布式体系结构之上，数据交换采用RML支持WE曲艮务和SOAP协议，在软件架构管理上采用JMR与WBE集成的技术，使之成为管理模块技术的核心，结合CA认证机制的提供安全保障。
同时提供中间层集成框架用来满足无需太多费用而又需要高可用性、高可靠性以及可扩展性的应用需求。
通过提供统一的集成平台降低了资源整合和应用的成本和复杂性，同时提供对现有
应用程序集成强有力支持。
RMA整合协同平台是各个部门建设业务系统的一个标准架构，作为数据中心的平台建设，必须能满足及支持区域性体系架构的要求。
系统遵循国际主流的SOA架构体系，采用先进、主流、可靠、安全、开放、实用、性价比好的系统架构，具有优秀的技术能力和性能指标。
4.1.1.1.1系统能力
项目
技术指标
遵循标准规范
米用面向服务架构（SOA）设计和企业服务总线（ESB）技术，遵循J2EE标准体系结构，具有灵活的扩展性和良好的移植性。
多种交换方式
数据交换接口主要包含：
Web服务方式，支持主流的协议接口，如SOAPREST
等Web服务协议标准
数据库接口方式，支持主流关系型数据库的接口，包括
了ORACLESQLSERVERSRBASEDB2等
基于文件交换方式，支持基于自疋义格式的文件交换
多种数据格式
以RML格式为主，可支持各种类型的数据源的交换，包括关系型、结构化、RML消息、文本数据、WEB^据、矢量地图、影像、视频、音频等。
数据交换能力
支持服务、消息、数据库、文件等多种交换方式，并具有良好的负载均衡能力；
支持大数据包的交换，进行分块传输，数据量大小不应受限制，在保证一定数据传输速度的同时，可避免占用全部网络带宽。
数据交换传输
支持多种传输协议
支持多种传输格式
支持数据的加/解密，基于PKI的安全认证
支持传输层的动态扩展性
数据交换管理
数据交换管理主要包含：
交换安全管理，提供基于ACL的访问控制等安全管理技术
交换路由管理，提供基于动态路由的交换，可配置拓扑路径
交换协议管理
交换性能管理
交换日志管理
交换格式管理
批量数据交换
批量数据交换由数据抽取工具完成，支持数据抽取、数据清洗、数据比对、数据校验、数据转换等处理，支持异构数据源或数据访冋接口：
Oracle
SRbaseSQLServerIBMInformiRIBMDB2JDBC
ODBC
RML
文本文件等
实时数据同步
数据同步支持异构数据源之间的数据复制，应支持实时、定时、订阅/发布、手工等数据复制模式。
安全性
对共享数据进行访问权限设置、访问标准或者分发标
准。
升级会员 