数据交换共享整合系统平台建设方案详细.docx
《数据交换共享整合系统平台建设方案详细.docx》由会员分享，可在线阅读，更多相关《数据交换共享整合系统平台建设方案详细.docx（18页珍藏版）》请在冰豆网上搜索。
数据交换共享整合系统平台建设方案详细
数据交换共享整合协同平台设计
整合协同平台的主要功能是从其它子系统中提取共享数据,并对多来源渠
道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并防止数据冗余；以各种形式提供数据效劳,采用分层次的方法对各类用户设置权限,使不同用户既能获得各自所需要的数据,又能保证数据传输过程的平安性及共享数据的互操作性和互用性；维护根底信息、动态业务数据以及系统治理配置参数；支撑系统的网络构架、信息平安、网络治理、流程治理、数据库维护和备份等运维能力.整合协同平台根据功能可分为两个局部：
第一局部,根底数据和共享数据的交换效劳和路由流程治理,该局部是交换平台的根底,包括：
静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据.
第二局部,各子系统之间的接口实现,根据事先制订好的标准、标准,实现各子系统之间的数据共享和传输操作.在接入中央平台时,应按系统集成要求设计系统结构,各类数据接口遵循系统集成标准.
第一章中央平台设计
1.1平台功能结构
整合协同平台效劳器是公共根底平台的核心局部,XMA整合协同平台提供一整套标准的、高效的、平安的数据交换机制.XMA整合协同平台由部署在数据中央和各业务部门的数据交换效劳器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题,解决按需查询、公共数据存取限制等问题.
各业务子系统都要统一使用XMA整合协同平台进行数据交换.数据中央统一治理和制定数据交换标准.各业务部门通过数据级整合或者应用级整合通过XMA整合协同平台向数据中央提供数据,也通过XMA整合协同平台访问共享数据.
XMA整合协同平台的根本功能如下：
共享数据库的数据采集、更新、维护.
业务资料库、公共效劳数据库的数据采集.
提供平安可靠的共享数据效劳.
业务部门之间的业务数据交换.
结合工作流的协调数据效劳.
治理、限制、配置、传输
治理、平安接口
功能流程说明：
数据供需方的接口数据系统：
为了满足应用层交换和数据层交换,交换代理必须有应用层和数据层的连接和接口适配功能,数据代理必须有数据格式的转换功能.
数据传输：
为了保证数据的正确传输和传输性能,必须有传输治理功能,包括了传输协议治理和限制,传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能.
数据整合协同平台：
会话治理：
为了能提供数据的交换方式如主动〔推〕、被动〔拉〕；支持定时和实时策略,支持超时限制治理等功能,数据交换平台必须有会话策略、会话限制和治理功能.
数据治理：
为了数据能按标准进行交换,能根据部署的路由规那么进行交换必须有数据路由、数据模板治理、数据解析、数据转换等功能.
系统治理功能：
同时数据交换平台还应该提供效劳治理功能,包括运行管理,部署治理,效劳治理,系统日志等功能
为了和平安平台结合,还必须有与平安平台的接口设计功能.
1.2设计原那么
1.2.1平安高效的数据交换
XMA整合协同平台底层采用消息中间件技术,实现可靠的数据传输.在应用层基于效劳,实现数据交换,必须支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换.支持实时、定时、按需的数据交换方式.支持多种数据源,提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持.支持数据分段传输、数据压缩/解压缩、数据缓存等.
1.2.1.1标准的数据共享访问
共享数据是一个公共的资源,可以供多个业务系统同时使用.对公共数据的访问必须经过用户的验证授权访问.止匕外,还需要从数据中央运作的流程、规程制度等方面保证共享数据不被用于非法途径.
1.2.1.1.1平安可靠性
由于各个业务部门间交换的数据文件含许多敏感信息,所以对数据交换过
程中的平安要求就十分严格.XMA整合协同平台必须提供平安机制保证数据交换信息的完整性、数据交换信息的机密性.XMA整合协同平台必须能有效的与平安认证平台结合.通过平安认证平台和XMA整合协同平台,能够保护交换信息内容免遭拦截或非法修改.
1.2.1.1.2高可用性
随着工程工程的推进,需要数据交换的部门会越来越多,XMA整合协同平台需要对负载平衡的支持,在分布式的体系结构上可以添加主机的方式提升整体计算水平,进行面向效劳的适应性负载平衡.
1.2.1.1.3可维护性
XMA整合协同平台具有日志监控功能,通过数据效劳日志可以记录、跟踪数据交换的细节.日志可以用于对系统的运行状态进行监控,亦可以用于对系统的运行情况进行审计、故障处理、系统开发调试、交易跟踪.对数据效劳进行监控治理,用户权限治理,运行日志查看,性能统计.
1.3信息共享功能
1.3.1.1.1数据汇总
支持各个分支数据源汇总数据到数据中央.采集公共数据的过程可以看成是一个数据汇总的过程,通过XMA整合协同平台将各业务部门的公共数据采集回来,聚集到数据中央的缓存数据库.经过数据治理系统的比对、校验、转换得到一致的数据.
1.3.1.1.2数据分发
数据分发是从数据中央的角度,主动向各数据使用方提供数据的过程.通过公开数据效劳,依照数据使用权限的规那么,从数据中央把数据分发到各个数据使用部门,实现数据共享、信息联动.
1.3.1.1.3数据存取访问
XMA整合协同平台提供实时按需的数据存取访问效劳,通过统一标准的数据接口,以XML作为标准数据格式,通过标准的Web效劳对各种技术平台提供访问支持.
1.3.1.1.4数据转换
数据交换效劳可以把某个数据库的数据转换成标准XML数据集.通过数据
转换模块,实现对各种异构数据转换到统一标准标准、具有一致性和完整性的公共数据.
1.3.1.1.5任务定制
数据接口系统应该允许用户自己配置和治理相关的效劳,如：
数据提取服务、数据发送效劳、数据接收效劳、数据存储效劳等.
1.3.1.1.6支持用户自定义接口
数据接口系统应该是一个开放的系统,要提供一些可扩充的接口以及二次开发接口,支持用户基于这些接口来定义自己的特色效劳.
1.3.1.1.7支持监控治理
对数据效劳进行监控治理,用户权限治理,运行日志查看,性能统计.通过数据效劳日志可以记录、跟踪数据交换的细节.对数据交换节点进行治理,提供平安策略指南、效劳器平安治理配置.
1.3.1.2信息交换方式
XMA整合协同平台可以支持不同方式的机构和系统间的数据交换与协同,
主要包括：
基于WebServices效劳的方式用于外部机构与中央平台间的实时交换；
基于数据库接口的方式用于内部系统问实时或非实时交换；
基于文件交换的方式用于外部或内部系统间非实时批量交换.
1.4基于WebServices效劳的方式
基于WebServices效劳的数据交换方式主要用于外部机构部门与数据中央
间实时的数据交换和业务协同应用.
基于WebServices技术的应用集成通过主流的WebServices协议如SOAP、
XMLRPC等协议的无缝集成,支持这些应用系统的接口,提供基于WebServices的应用系统整适宜配器,并提供快速整合WebServices应用的工具和接口API.
数据提供方定义公开数据效劳,以效劳的形式封装数据交换的内容和协议数据使用方调用数据提供方的公开数据效劳以获取所需的数据,并且根据一定的数据转换和数据更新规那么,把数据更新到本地数据源.通过本地数据效劳和公开数据效劳的交互实现数据提供方和数据使用方之间的数据交换.
1.4.1.1.1基于数据库接口的方式
基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交换方式.
交换的双方通过定义发送和接收任务来进行数据库接口的交换.根据交换的数据格式的不同,这种数据交换方式又可以细分为两种类型：
一种是数据落地的数据共享,一种是数据不落地的数据交换.
基于标准XML元数据和数据字典的数据交换由XMA整合协同平台自动从前置机交换数据库中提取数据,并根据定义好的模板打包生成标准的XML数据包,由定制好的发送路由发送给接收方.接收方接收到XML数据包后自动进行解包处理,并将数据存储到接收方的前置机交换数据库中.
1.4.1.1.2基于文件交换的方式
基于文件交换的方式主要用于外部或内部的非实时批量数据交换方式.
交换的双方通过定义发送和接收任务来进行数据文件的交换.根据交换的数据文件的不同,这种数据交换方式又可以细分为两种类型：
一种是基于标准XML文件的数据交换,一种是基于其他文件格式的数据交换.
基于标准XML文件的数据交换由XMA整合协同平台自动从前置机交换数
据库中提取数据,并根据定义好的模板打包生成标准的XML文件,由定制好的发送任务发送给接收方.接收方接收到XML文件后自动进行解包处理,并将数据存储到接收方的前置机交换数据库中.基于其他文件格式的数据交换由业务系统将需要交换的数据文件放置到前置机上的规定路径下,通过XMA整合协同平台发送到目的地交由接收部门自行处理.
第二章平台接口设计
制定的接口标准内容为整合协同平台和各接入部门之间,系统互联所涉及
的数据交换接口.系统之间的信息传输和交换通过计算机系统互联网络来完
成.
数据接口
信息平台〞与接入部门信息系统之间通信的通用接口模型如下图.运输
层以下层次的通信协议选用适宜的标准协议,运输层和网络层建议选用统一的
TCP/IP协议,便于各节点之间组网传输,数据链路层和物理层可根据实际通信条件情况灵活选用,如ADSL、E1
中央平台〞与接入部门之间通信的通用接口模型
在整合协同平台,根据对信息的各种需求,维护一个用于数据共享的标准数据注册中央,采用标准化数据的方式向各接入系统及各应用系统提供共享的信息；各接入系统在整合协同平台处对应维护一张数据字典,用于完成非标数据和标准数据的译,从而向共享的标准数据库提供标准化的数据信息；对于
单一功能领域的特殊数据信息,系统提供在各子系统之间直接进行交换的途径满足特定功能的应用需求；系统需要有一个专门的维护和治理机构,分别对系统的数据字典、标准共享数据库进行增添、更新等维护治理,以满足新的接入系统接入和系统开展的需求.
1.1.1.1.1数据传输
在数据传输中,由于系统数据的异构特性,在数据发送接口和接收接口需要对数据格式根据数据字典的要求进行转换,统一于标准的数据格式满足应用的要求.
1.1.1.1.2接口扩展
数据接口的分层次、模块化、标准化设计,将有利于系统的扩展性,对扩展性设计主要表达在以下几个方面：
应用层协议的分层设计,各层功能明确,层之间可通过标准化的接口进行调用和传递信息.各层功能可独立实现,灵活性好,比方可通过购置商品化软件来实现通信子层；某一层协议的功能扩展或变化时,将不影响另一层协议的功能.
采用数据登记标准的、基于XML格式的数据接口方案设计,灵活性比拟好,系统扩展方便,适合接入系统的增加或接入信息内容的扩展,有利于满足新的系统接入和系统开展的需求.
数据传输协议基于一些主流的、成熟的数据传输协议,能很好适应系统扩展的需求.
2.1.1.2资源目录治理
数据中央通过XMA整合协同平台以数据效劳的方式从各业务部门采集数据,
保存到公共数据缓存库,然后使用公共数据治理维护系统进行数据比对、冲突检查、数据审核、数据转换.当数据到达一致性、完整性要求时,数据被发布到公共数据发布库,通过XMA整合协同平台以数据效劳的形式提供数据使用方访问.该系统不仅要能够满足基于现状条件下对信息资源的整合利用和标准管理,还要适应未来对信息资源的深度开发和多媒体信息资源库扩展的要求.
2.1.1.2.1资源目录治理的结构
数据治理系统以主题的方式组织数据资源,提供元数据治理、数据供需关系治理、数据标准标准治理,与XMA整合协同平台结合,提供数据转换、整理、发布等功能.
2.1.1.2.2资源目录治理的功能
2.1.1.2.2.1元数据治理
元数据目录集中治理数据元数据的发布与维护,系统授权给分系统治理员
完成对本部门元数据的维护工作.
2.1.1.2.2.2效劳注册与接口发布
前置机注册
数据源注册
适配器注册
.专业资料.学习参考.
效劳注册
效劳删除
效劳订阅
效劳审核
效劳启动
2.1.1.2.2.3数据转换
建立业务部门数据于标准标准数据的转换映射关系和转换规那么,将业务部门的数据转换为符合标准标准的数据.数据转换重用数据整合协同平台的功能.
2.1.1.2.2.4数据整理
数据中央通过XMA整合协同平台从区级数据中央及各业务部门采集数据并放入数据中央的缓存数据库中,然后通过数据治理系统对数据进行比对、清洗,检查数据冲突,对数据进行审核校验.保证数据一致性、完整性.
2.1.1.2.2.5主题治理
数据中央以主题为单位实现数据采集、数据交换、数据共享、数据比对以及数据发布.因此必须提供主题治理功能.主题治理重用数据整合协同平台的功能.
2.1.1.3运行监控治理
为方便对数据中央的治理和维护,需要一套功能完整的运行治理与监控维护系统,保证整个数据中央系统和信息资源的高可靠、高可控和高效.运行管
理系统主要提供应数据中央的系统治理人员使用,用于保证数据中央的平安可
靠和高效运行.其功能主要包括面向平安性的用户治理、权限治理和密码治理；面向可用性的节点治理和状态监控；面向可靠性的数据备份和恢复；面向性能优化的性能监控；面向运行治理机制的信息治理等.提供满足监测统计要求的功能,提供对检测日志内容的简单统计分析表等.
运行治理与监控系统的治理对象包括：
XMA整合协同平台、数据库效劳器、主机效劳器、网络设备、备份和存储设备、数据交换节点设备和系统等.
2.1.1.3.1运行监控治理模型
运行监控治理要涉及不同领域的多种协议和接口-比方SNMP用于网络
治理,桌面治理接口〔DMI〕用于桌面系统治理.基于Web的企业治理〔WBEM〕是这个行业的一个建议,能够收集、治理并合并多种来源的治理数据,从而更全面、更精确地了解系统环境.WBEM有两个关键的组成局部〔但有可能会使用更多的标准,比方使用XML平台来中立地共享CIM对象〕：
公共信息^模型〔CIM〕标准,它定义了WBEM实施的要求
CIM架构,它描述了数据存储库的内容
运行监控治理平台的体系结构可参考如下所示：
2.1.1.3.2运行监控治理结构
运行治理与监控系统通过数据整合协同平台的资源治理体系和智能代理共同来完成.
运行治理与监控系统的系统结构如图：
资源治理体系和智能代理的实现符合WBEM标准和JMX标准,JMX定义了开发可治理应用或网络治理系统的一个体系结构、假设干设计模式、API和服务.
JMX标准包含假设干现有标准治理协议的JavaAPI,JMX通过广泛应用的两个治理协议：
SNMP治理者API和CIM/WBEM治理者与提供者API与WBEM达成无缝的集成.
JMX标准向业界各领域的用户提供了装配代码、创立智能代理、实现分布式治理中间件和治理者的方式,并且可使这些解决方案平滑的集成到现有治理系统中.另外JMX标准也提供了假设干现有标准治理技术的JavaAPI.JMX侧重治理软件架构和数据接口系统〔部署到各个部门的前置机〕
而WBEM那么侧重治理网络设备,他们各有分工又互相合作.
第三章平安认证治理
数据中央系统结合平安认证平台的应用主要包括：
数据中央应用单点登陆认证
数据共享交换平安认证
在工程中,根据需求把平安认证平台应用到每个功能和模块.
3.1.1.1.1身份认证和单点登录
平安认证在技术上采用了大量先进成熟的平安技术,支持的功能和相应的
技术特性如下：
访问权限限制：
对业务流程中的操作、对数据和资源的访问,都能进行权限限制；
用户身份验证：
提供对用户的身份验证,支持单点注册；
数字认证体系：
提供基于PKI标准的数字认证体系,通过CA认证中央的证书进行数字认证、数字签名等保证举措,来认证用户、实体的身份,保证消息的完整性和交易的不可否认性,保证交易合法有效；
平安通信通道：
通过SSL等标准的平安通道协议,提供通信层的平安,保障通信双方的身份正确性,通道和会话的私密性,消息的完整性和交易的不可否认性.
平安总线技术特性
身份认证（Authentication）
强身份认证
单点登录（SingleSign-on）
授权访问限制（Authorization）
可定制的访问限制列表（ACL）
权限治理（Group,User,Action,Permission）
数据加密
插件式的数据加密模块的部署
数字认证
基于PKI的CA认证、数字证书、数字签名
支持平安通信协议,如SSL,HTTPS...
集成其他平安效劳
兼容LDAP,NTDomain等平安效劳
3.1.1.1.2数据交换加密认证
下列图表示数据在应用层交换的请求/响应流程图
过程描述如下：
通过接口API之间的数据流通道接收请求方发送的XML请求数据；
对请求方进行身份认证和权限限制；
写请求日志,存储请求XML数据文件；
解析tt求XML数据；
验证数字签名；
对XML数据中的加密数据进行解密；
根据解析后的明文请求数据进行对应的业务处理；
对处理后的响应数据按需要进行加密；
进行数字签名；
将数据封装成XML数据文件；
通过数据流通道发送XML数据；
写响应日志,存储响应XML数据文件.
涉及到平安体系的步骤包括：
第2、第5、第6、第8、第9步.除了和登陆认证的登陆认证之外,还包括了数据的加解密过程.
3.1.1.2系统技术实现的优势特性
3.1.1.2.1高效可靠的可扩展平台
平台提供数据层、应用层等多层次的数据交换,提供基于文件、数据库、应用层的多种交换方式.系统的稳定性和性能已经在多个政府、银行、电信中得到应用.
数据供方
3.1.1.2.2即插即用的柔性架构
数据共享交换平台设计了统一的治理总线和平安总线接口、采用了即插即
用〞的治理模型,具备了即插即用的特性,对于新拓展的适配器能够快速、动态的部署和集成.
即插即用的柔性架构
3.1.1.2.3高扩展低维护的特性
使系统有足够好的可扩展水平,各局部之间必须是松散耦合的,每个局部
的实现方法的变化不应该对系统的其他局部造成影响；
系统中的新增的模块只需要在一处配置,可以被多个子系统共享的水平.
3.1.1.2.4平安可靠的特性
保证系统必须保证在广域网环境下的具有足够的平安性,符合信息化建设中的平安要求,能与认证中央CA/PKI系统无缝结合.
3.1.1.2.5灵活可靠的数据传输
即插即用协议栈：
可靠传输
协议栈
TCP/UDP
队列协议
存储转发…
群组消息协议
发布/订阅,P2P-
其他协议
故障检测…
可靠传递协议
丢包重传…
数据传输协议
TCP,UDP一
3.1.1.2.6支撑扩展的综合应用
通过对应用支撑体系的实现,不仅可以支持数据中央的数据整合、共享交换,还可为其他部门或综合应用提供支撑,如公共效劳系统、决策支持系统等,
真正做到成为企业信息系统的枢纽.
第四章系统水平及性能指标
XMA整合协同平台效劳器是任务关键系统,纵向联接多级系统,横向联接多个业务部门,系统结构复杂、业务量大、吞吐量高,需要具备良好的平安性、稳定性、可用性、可伸缩性和可扩展性.
XMA整合协同平台的技术路线采用SOA、EAI、ETL、XML等大量成熟的先进技术,架构在J2EE的分布式体系结构之上,数据交换采用XML,支持WEB效劳和SOAP协议,在软件架构治理上采用JMX与WBEM集成的技术,使之成为治理模块技术的核心,结合CA认证机制的提供平安保证.同时提供中间层集成框架用来满足无需太多费用而又需要高可用性、高可靠性以及可扩展性的应用需求.通过提供统一的集成平台降低了资源整合和应用的本钱和复杂性,同时提供对现有应用程序集成强有力支持.XMA整合协同平台是各个部门建设业务系统的一个标准架构,作为数据中央的平台建设,必须能满足及支持区域性体系架构的要求.
系统遵循国际主流的SOA架构体系,采用先进、主流、可靠、平安、开放、实用、性价比好的系统架构,具有优秀的技术水平和性能指标.
4.1.1.1.1系统水平
工程
技本指标
遵循标准标准
米用面向效劳架构〔SOA〕设计和企业效劳总线〔ESB政
术,遵循J2EE标准体系结构,具有灵活的扩展性和良
好的移植性.
多种交换方式
数据交换接口主要包含：
Web效劳方式,支持主流的协议接口,如SOAP、
REST等Web效劳协议标准
数据库接口方式,支持主流关系型数据库的接口,包
括了ORACLE、SQLSERVERSYBASEDB2等
基于文件交换方式,支持基于自定义格式的文件交换
多种数据格式
以XML格式为主,可支持各种类型的数据源的交换,包括关系型、结构化、XML、消息、文本数据、WEB数据、矢量地图、影像、视频、首频等.
数据交换水平
支持效劳、消息、数据库、文件等多种交换方式,并具有良好的负载均衡水平；
支持大数据包的交换,进行分块传输,数据量大小不应受限制,在保证一定数据传输速度的同时,可防止占用全部网络带宽.
数据交换传输
支持多种传输协议
支持多种传输格式
支持数据的加/解密,基于PKI的平安认证
支持传输层的动态扩展性
数据交换治理
数据交换治理主要包含：
交换平安治理,提供基于ACL的访问限制等平安治理
交换路由治理,提供基于动态路由的交换,可加置拓
扑路径
交换协议治理
交换性能治理
交换日志治理
交换格式治理
批量数据交换
批量数据交换由数据抽取工具完成,支持数据抽取、数据清洗、数据比对、数据校验、数据转换等处理,支持异构数据源或数据访问接口：
Oracle
Sybase
SQLServer
IBMInformix
IBMDB2
JDBC
ODBC
XML
文本文件等
实时数据同步
数据同步支持异构数据源之间的数据复制,应支持实
时、定时、订阅/发布、手工等数据复制模式.
平安性
对共享数据进行访问权限设置、访问标准或者分发标
准.
基于平安根底效劳,通过对敏感信息进行加密等手
段,提供消息的加密/解密、数字证书认证等功能,实现信息内容的保密和操作的/、可抵赖性；基于日志,实现对数据交换任务进行追踪和事后审计.
可靠性
系统提供7X24」、时的连续运行,软件版本升级或改良应在不影响业务的情况下进行,保证系统可以稳定、平滑过渡；支持数据断点续传、可靠传输,系统运行稳定,具有高可靠性,可靠性到达99.99%.
易维护性
整合协同平台系统提供集中的可视化的治理效劳,能集中方便地配置、监视、限制、治理整个系统,并且能够监视本系统中各类应用情况,及时消除隐患、降低治理本钱、提升效率.
技术标准
数据访问遵循JPAJDBC、ODBC等标准；数据格式
遵循XML标准.
4.1.1.1.2性能指标
工程
技本指标
交换响应时限
操作过程的响应时间平均不超过3秒,最大不超过10
秒〔不包含外部系统对于平台的响应时间〕.
交换数据量
支持大数据包的交换,理论数据量大小不应受限制
共享数据容量
各类数据总量支持TB级以上
数据访问速度
多种数据源的复杂操作响应时间/、超30秒
并发用户数
共享数据中央支持10000个以上的并发用户数
升级会员 