政务数据交换技术方案.docx
《政务数据交换技术方案.docx》由会员分享，可在线阅读，更多相关《政务数据交换技术方案.docx（35页珍藏版）》请在冰豆网上搜索。
政务数据交换技术方案
数据交换中间件技术方案
1项目概况
随着政府职能部门服务意识的不断增强，以及便民服务需求的日益增加，外网接件内网办理等应用需求越来越多。
面对越来越多内外网系统、专网与其他网络之间数据信息安全、高效、可靠共享交换的需求，亟需一套安全、高效、可靠的数据信息共享交换解决方案。
业务数据交换是一个跨多系统、跨网络、跨防火墙（网闸），不同安全域之间数据安全、可靠交换的信息系统，需要确保内外网数据交换的一致性，以及数据交换的安全、可靠、高效。
公司专注于国产基础中间件领域，在我国电子政务基础支撑平台体系、数据信息资源共享交换等政务信息化领域的研究建设工作，公司产品广泛应用在全国一百多个电子政务数据共享交换平台体系建设项目中，得到用户的高度认可和支持。
2与业务应用接入关系
2.1与已有业务系统的支撑关系
数据交换系统建设不涉及原有专业系统的内部业务流程，而是要求业务系统通过松耦合的“桥接”方式将数据资源提供给平台。
桥接技术上可以是数据结果、程序接口、URL地址、WebService接口等。
数据交换系统为业务应用提供数据资源服务。
对需要获取的应用系统数据资源经过采集、转换处理、传输、写入数据库中供应用系统使用。
既可以实现上级机构向上级机构系统汇集数据，又可以实现上级机构系统向下级机构数据共享下发，同时可实现各应用系统的流程集成服务。
数据交换系统为业务应用提供界面及用户认证服务。
对需要集成的应用系统，可以将一个外部的URL资源做为用户表单的一部分与其他常用HTML组件组合在一起使用，利用外部应用页面丰富表单元素。
2.2与新建业务系统的支撑关系
对于新建业务系统，数据交换系统只需要扩展一个接入节点可以采集并共享的数据交换传输给新建业务系统，提供数据共享服务。
服务的技术实现可以是数据库、消息、WebService等多种方式。
2.3与业务系统之间的公共支撑关系
ESB服务总线是连接各应用系统的公共数据共享传输通道。
各业务系统可以通过数据交换系统的适配器接入，由ESB企业服务总线来完成适配器服务之间的消费关系。
消费关系可以是直接消费、间接消费。
直接消费通过ESB进行内部服务合成，直接为业务系统服务；间接消费通过ESB的服务注册中心，进行公共服务发布，可检索、查询、代理运行等多种方式，供其外部调用。
3总体技术路线
3.1JAVAEE规范
为了保证高可用性、高可靠性和可扩展性，系统必须要选择支持强大的企业级计算的成熟的技术路线。
能够满足这些条件的技术首推JAVAEE企业标准。
JAVAEE是主流的开发技术平台，已成IT领域的国际工业标准，围绕着JAVAEE有众多的厂家和产品，其中不乏优秀的软件产品，合理集成以JAVAEE为标准的软件产品构建数据交换系统，可以得到较好的稳定性、高可靠性和扩展性。
JAVAEE技术的基础是JAVA语言，JAVA语言的与操作系统平台无关性，保证了基于JAVAEE平台开发的应用系统和支撑环境可以跨平台运行。
3.2中间件技术
中间件具有以下的一些特点：
满足大量应用的需要；运行于多种硬件和OS平台；支持分布式计算，提供跨网络、硬件和OS平台的透明性的应用或服务的交互功能；支持标准的协议；支持标准的接口。
程序员通过调用中间件提供的大量API，实现异构环境的通讯，从而屏蔽异构系统中复杂的操作系统和网络协议。
针对不同的操作系统和硬件平台，它们可以有符合接口和协议规范的多种实现。
由于标准接口对于可移植性和标准协议对于互操作性的重要性，中间件已成为许多标准化工作的主要部分。
对于应用软件开发，中间件远比操作系统和网络服务更为重要，中间件提供的程序接口定义了一个相对稳定的高层应用环境，不管底层的计算机硬件和系统软件怎样更新换代，只要将中间件升级更新，并保持中间件对外的接口定义不变，应用软件几乎不需任何修改，从而保护了企业在应用软件开发和维护中的重大投资。
中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。
中间件软件管理着市民端程序和数据库或者早期应用软件之间的通讯。
中间件在分布式的市民和服务之间扮演着承上启下的角色，如事务管理、负载均衡以及基于Web的计算等。
利用这些技术有助于减轻开发者的负担，使他们利用现有的硬件设备、操作系统、网络、数据库管理系统以及对象模型创建分布式应用软件时更加得心应手。
由于中间件能够保护企业的投资，保证应用软件的相对稳定，实现应用软件的功能扩展；同时中间件产品在很大程度上简化了一个由不同硬件构成的分布式处理环境的复杂性，所以它的出现正日益引起用户的关注。
3.3SOA服务体系架构
SOA（ServiceOrientedArchitecture，缩写SOA），即面向服务的体系架构，提供了一种构建IT组织的标准和方法，并通过建立可组合、可重用的服务体系来减少IT业务冗余并确保信息系统的可持续发展以及快速构建。
SOA的实现对技术没有限制。
SOA是关于共享和管理服务的结构，对所采用的技术只需要满足它的需要就可以。
虽然Web服务协议到目前为止还是首选的创建和部署SOA架构的标准，但是也可以使用其他标准，比如CORBA、COM和JAVAEE。
甚至可以采用私有技术创建SOA。
SOA可以节省组织成本，包括重复利用已存在的软件作为服务，以及增强改变IT方案适应需求变革或灵活性的能力。
SOA对兼容性的需求完全处在松耦，可以通过在项目实施过程中为创建和部署大多数SOA提供的端到端解决方案解决兼容性问题。
3.4ESB企业服务总线
ESB（EnterpriseServiceBus，缩写ESB），即企业服务总线，是SOA的骨干，在完成服务的接入，服务间的通信和交互基础上，还提供安全性、可靠性、高性能的服务能力保障。
采用SOA架构，基于ESB总线进行信息系统集成，如下图所示，信息系统之间的交互通过总线进行，这样可以降低应用系统、各个组件及相关技术的耦合度，消除应用系统点对点集成瓶颈，降低集成开发难度，提高复用，增进系统开发和运行效率，便于业务系统灵活重构，快速适应业务及流程变化需要。
3.5异构系统适配器服务
异构系统适配器服务是数据交换系统的基础服务部件，是各信息系统接入ESB的桥梁，是多种异构系统之间互连互通及互操作的服务单元。
适配器应遵循国际级行业标准，提供标准的XML数据对象、服务接口、服务操作方法，如下图示，真正实现了信息系统服务重用。
适配器服务应分为提供服务者和消费服务者，既可以提供服务消费，也可以消费其他服务。
可以实现信息系统常用文件、数据库、通讯等技术适配能力，并可以按照特定规范进行适配器服务定制，满足可扩展需要。
3.6XSLT服务
XSLT是扩展样式表转换语言（ExtensibleStylesheetLanguageTransformations）的简称，它是把XML文档转化为另一文档的转换语言，即将源文档的所有数据或者部分数据，利用XPath进行选择，生成另外的XML文档或者其他可直接显示或打印的文件格式。
XSLT服务是用来对数据进行转换的一种服务，通过XSLT服务，一种数据格式可以轻松的转换为另一种数据格式。
3.7WebServices
WebServices即Web服务，属于轻量级访问协议服务。
服务的技术实现和表现形式多种多样，例如：
适配器服务、XSLT服务、服务编排服务等，这些服务都可以发布为Web服务。
同样，ESB总线还可以访问其他信息系统提供的WEB服务。
Web服务是相关的主要协议和技术包括SOAP（SimpleObjectAccessProtocol，简单对象访问协议）、WSDL（WebServicesDescriptionLanguage，Web服务描述语言）、UDDI（UniversalDescriptionandIntegration，统一描述、发现和集成）。
SOAP用来定义数据描述和远程访问的标准；WSDL是发布和请求Web服务的描述语言；UDDI则把Web服务与用户联系起来，起中介作用。
3.8消息队列技术
为了实现大数据服务的并发压力控制、网络上大数据的可靠传输，ESB将实现数据适配器服务与消息适配器服务的编排，解决多部门、多信息系统之间数据发送、接收过程中的可靠传输保障需求。
消息队列技术基于点对点的队列通讯通道，确保信息系统之间的数据有且仅有一次完整传输给对方，并为适配器服务提供异步数据缓存机制，提高适配器服务的数据并发压力承载能力。
4数据交换技术方案
4.1需求分析
电子政务业务涉及内外网两个域，需要解决跨网络、跨安全域数据安全、可靠传输处理等问题。
并要面向五十多个业务应用实现整合和数据交互。
●系统接入：
实现门户外网应用、内网办理的系统数据接入。
提供丰富的适配器，支持XML标准和内外网系统接入的松耦合接入服务，不会影响现有内网业务系统的正常稳定运行。
●数据获取：
提供数据的定时、实时安全获取服务，支持数据完整性验证。
●数据加解密：
提供数据加解密服务，满足内外网数据交换安全的需要。
支持多种数据加解密算法。
●传输认证：
提供交换域之间双方的身份认证，支持双向认证。
●安全传输通道：
提供数据安全传输通道，在网络通讯协议之上建立更安全的数据可靠传输虚拟专用通道。
4.2产品配置
为了解决上述问题和需求，我们采用了基于中间件的内外网数据交换解决方案。
方案从数据交换的安全性、可靠性、可用性、可扩展性等方面，阐述如何解决业务面临的内外网数据安全、实时/定时采集、同步和可靠交换传输等问题。
方案采用的中间件产品主要包括：
序号
产品及版本
数量
功能概要描述
1
应用集成中间件TongIntegratorSOA套件
TongIntegratorESB
2
提供数据交换框架及ESB服务总线，交换流程、控制管理、日志审计等功能服务。
分别部署在内网和外网交换服务器上。
TongIntegrator
ESBAdaptor
29
提供系统自动适配、数据自动采集、数据加工转换、数据加载入库等功能服务。
部署在需要交换的业务系统服务器或者前置机上。
2
消息中间件TongLINK/Q
2
提供数据信息安全、高效可靠、传输服务通道，提供数据通讯双方身份认证、传输安全通道建立、数据加解密等数据传输可靠保障服务。
部署在内、外网交换服务器上和需要采用分布式的系统交换服务器上。
3
应用服务器中间件TongWeb
1
提供交换管理监控应用系统的运行支撑服务。
部署在交换管理服务器上。
4
交换监控扩展
1
基于中间件是实现交换监控。
4.3产品部署
数据交换产品部署实施如下图所示：
在本项目中，内外网跨安全域数据交换基于公司先进、成熟的应用集成中间件TongIntegrator和消息中间件TongLink/Q设计构建，交换管理基于应用服务器中间件TongWeb设计实现。
考虑应用系统比较多，对部分业务采用WEB服务代理模式，对文件服务器采用分布式传输模式，对业务数据量大采用分布式部署模式。
对DMZ区的系统采用分布式代理模式部署。
应用集成中间件TongIntegrator提供系统适配接入、数据采集与同步、数据转换、数据过滤、数据压缩、数据加工清洗、异常处理、日志审计、监控管理等功能服务。
消息中间件TongLINK/Q为内外网跨安全域数据信息的安全、可靠、高效传输处理提供安全通道、身份认证、数据加解密、数据压缩、数据路由、断点续传等服务保障。
应用服务器中间件TongWeb为交换管理WEB页面提供开发、运行环境和底层支撑服务。
5交换监控扩展设计
5.1功能图
5.2功能描述
（1）、总监控中心
v交换结构图分级显示：
显示节点上流程名和起停状态。
v显示所有交换节点。
v显示所有交换流程及状态
v显示各部门交换条数的饼图。
v显示整体交换数据交换条数，包括总体发送量、总体接收量、总交换量。
v显示有提示错误定位，可以是数据库错误、通讯错误、数据错误。
v显示系统当前时间及当前时间完成的交换量。
（2）、业务域监控中心
v对本域的发送总量作统计。
包括总体发送量、总体接收量、总交换量。
v对本域根据交换流程的交换日志进行实时显示。
v数据交换总量按历史发送图分时间报表（选择时间周期），并可以导出为EXCEL.
v显示当前交换传输通道的传输速率。
v显示有提示报错信息的交换流程。
v显示本域交换节点。
v显示本域交换流程。
v显示本域各部门交换量的饼图。
6ESB服务总线系统功能
6.1服务封装
数据服务封装主要是完成数据加工处理的过程，包括数据格式转换、数据清洗、以及数据加工等数据处理功能。
数据服务封装首先是适配器服务。
适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。
适配器遵循JCA1.5标准，真正实现了适配器的重用。
常见的适配器，如结构化及非结构化文件适配器，Oracle、DB2、SqlServer、KingBase、MySql、Access、Excel等数据库适配器，FTP、SMTP/POP3、JMS等通讯类适配器等。
除了系统本身集成的适配器之外，它还提供了适配器开发工具，便于用户开发适合自己需要的定制适配器，并无缝集成到开发系统中。
服务封装是数据交换接入的最前端，无论直接交换还是“桥接”交换，都可以采用该适配器服务封装实现。
6.1.1XML数据表示
即根据转换定义的规则，完成数据转换的处理。
将原始的数据转换为需要的数据格式。
统一的数据和服务表示——标准XML。
不同的系统传输数据内容和方式都可能不一样，不同的系统提供服务的方式和数据格式也不一样，为了使不同系统在互相交互时有一个统一的接口表现方式，需要定义一套统一的接口（服务方式和数据格式）表示方式，因为XML的强大描述能力，使用XML来描述各系统的服务接口和数据传输方式。
6.1.2适配器服务
不同的业务系统存储数据的方式可能各不相同，需要支持数据源的不同存储方式（如不同的数据库、文件等）。
采用适配器服务技术。
接入的适配器服务封装主要是为了减少开发工作量，努力实现接入部门的“零编程”目标。
适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。
适配器遵循JCA1.5标准，真正实现了适配器的重用。
常见的适配器，如结构化及非结构化文件适配器，Oracle、DB2、SqlServer、KingBase、MySql、Access、Excel等数据库适配器，FTP、SMTP/POP3、JMS等通讯类适配器等。
除了系统本身集成的适配器之外，它还提供了适配器开发工具，便于用户开发适合自己需要的定制适配器，并无缝集成到开发系统中。
6.1.3数据描述工具
数据共享的主要功能是数据采集和数据应用，需要有一个方便的数据描述工具和数据描述方式，作为整个数据共享的基础。
数据共享服务的技术实现及其表现形式可以有多种，如本产品提供的Java服务、常用的Web服务等。
在TIStudio工具中，能够将用户创建的Java服务、适配器服务等，发布为Web服务，而且还提供了访问外系统提供的Web服务的开发工具。
且数据服务方式支持已有应用的快速接入及服务化封装，并提供代理服务的快速开发向导，以便通过服务总线统一提供已有应用服务或第三方服务的接入、访问和管理。
支持Web服务的常用工业标准，如WSDL、SOAP、UDDI、WS-Security、WS-IBasicProfile等
6.1.4数据自动同步功能
数据共享服务存在着大量的数据抽取和数据同步需求，需要提供基本的数据自动抽取和同步功能，支持数据同步功能的快速建立。
同步方式分为：
全表、时间戳、触发器三种方式。
6.2共享交换机制
根据业务系统需求，建立实时交换、定时交换机制。
6.2.1实时交换机制
实时交换机制采用触发器机制，依靠数据库自身的实时触发管理，确保数据交换的实时同步，实时同步时间在毫秒级。
触发器分为INSERT、UPATE、DELETE三种。
即业务表在数据变化时根据三种触发条件判断属于那种数据更新方式并定位数据记录。
在数据加载时通过定位信息获取数据并按照触发类型进行数据更新同步。
6.2.2定时交换机制
定时交换机制采用时间戳方式，依靠操作系统时间就需要在业务表中统一添加时间字段作为时间戳（如表中已有相应的时间字段，可以不必添加），每当更新修改业务数据时，同时修改时间戳字段值。
当数据加载时，通过上次运行时间、本次运行时间与时间戳字段的比较来决定进行何种数据抽取。
6.2.3单向交换机制
无论是定时还是实时交换机制，都可以设定为单向交换。
即针对一个数据源，只是做同一种操作向其他数据源做数据同步。
6.2.4双向交换机制
对于实时数据同步可以支持双向交换。
即针对一个数据源，在往其他数据源做数据同步的同时，该数据源又要受被其同步的数据源的变化做实时同步。
6.3服务库及管理
使用标准接口（支持UDDI和JAXR接口）的服务注册库进行服务注册和检索、Web服务部署后的启动/停止控制及将部署后的服务列表查询功能集成进了监控中心等，可提供完整的Web服务封装、开发、部署、运行监控、运行服务水平数据监测统计、服务注册和检索等全生命周期管理。
另外，集成了基于标准规范的服务注册库可供用户直接使用。
6.4服务编排功能
6.4.1服务编排
基于Java的编码调试开发环境，能够让用户根据具体业务，开发相应服务，或者进行服务的合成与编排。
Java服务对外可以封装提供业务服务，供其他服务或应用消费；另外它也能够消费其他服务，将不同的业务服务进行组装，形成粒度更大的业务服务。
服务编排：
消费其他服务（按一定逻辑顺序消费即所谓对这些被消费服务的编排），同时对其他消费者提供服务（将多个服务编排起来完成更大任务的功能）
将已经开发的业务服务和其所用到的服务建立连接关系，进行合成组装，构成一个能够打包和部署、完成某些业务功能的应用。
6.4.2数据加工
标准的数据处理模块——过滤，格式转换、合并、拆分。
因为不同的系统使用数据方式和格式都可能不一样，为了方便各系统间数据的交换，需要提供一些标准的数据处理模块，以实现不同系统间自动的数据格式转换。
包括数据库数据、普通文件数据、XML格式数据间的互相映射和转换。
提供图形可视化的异构数据格式转换映射工具，内置丰富函数，能够将输入数据和输出数据进行不同格式间的转换（如结构化的XML、非XML或Java对象数据），从而可快速集成异构应用，无需考虑表示数据采用的格式。
还提供了基于XSLT服务、Java服务、数据库函数三种图形可视化数据格式转换工具。
6.4.3服务流程合成
将已经开发的业务服务和其所用到的服务建立连接关系，进行合成组装，构成一个能够打包和部署、完成某些业务功能的应用。
合成应用，是一个组件、服务的装配过程，它创建的成果，是能够打包和部署的业务应用。
通过合成应用，能够把TI服务发布为Web服务。
6.5数据可靠传输通道
TongLINK/Q作为公司的消息中间件产品，它以其独特的消息、队列、可靠等机制和技术优势为各种分布式应用系统的开发注入了强大动力，极大地推动了数据交换及应用系统集成的发展。
在分布式系统之间通过消息点对点传输、广播传输模式的实现，建立与集成环境松散耦合的专用传输通道，实现消息可靠传输。
通过把消息保存在可靠队列中来保障“可靠传输”，并在传输中具有断点续传功能，能够应对网络故障、机器故障，保障消息一次传输、可靠到达。
逻辑结构图
TongLINK/Q先进的队列、消息及路由等处理机制，使其能够为应用系统提供高效、灵活的同步和异步传输处理、存储转发、消息路由等技术支持，确保消息在任何情况下都能够安全、可靠的送达。
通过使用TongLINK/Q，应用系统完全不需要担心消息传递过程中可能遇到的各种障碍（机器故障、网络故障等）和异常。
TongLINK/Q提供点对点、发布订阅、路由、集群等多种方式的消息传递模式，极大方便了企业应用的灵活构建，同时TongLINK/Q通过对核心、进程管理、队列管理等各层面的优化和改进，能够更加充分地利用硬件和网络资源，极大地提高了传输效率，为各种不同应用模式、不同系统规模、不同消息传输量的系统提供了强有力的后台支撑。
TongLINK/Q为系统的管理人员提供了丰富易用的管理工具，以满足不同的管理习惯和管理需求。
通过管理工具，在系统运行过程中，可以对系统对象进行动态管理和控制，以达到对系统运行规模进行调控、节省系统资源、提高效率的目的。
通过基于浏览器模式的可视化监控管理中心，用户可以在任何运行IE的远端对系统进行远程集中管理，包括系统的远程启动、停止、配置和监控，极大地方便了系统的维护和管理。
TongLINK/Q全面支持JMS1.1规范标准，用户可借助于它进行标准化的应用开发，并能够轻松地与其他系统进行集成。
通过JMS1.1标准，TongLINK/Q能够无缝的与公司的其他的中间件产品进行集成，如与JAVAEE应用服务器TongWeb、企业应用集成产品TongIntegratorSOA套件等有机的集成。
TongLINK/Q作为一个消息传递的可靠平台，应用系统可以借助于它轻松地交换和处理消息，而无需考虑消息传递的具体细节，能够大大降低开发难度，缩短开发周期，节约开发成本。
6.6服务管理监控
6.6.1服务资源管理
建立服务资源中心，主要功能是集中管理包括服务、组件、项目及相应权限等各种系统资源，类似于版本控制软件如CVS，它包括用户/组管理、资源管理、权限控制、资源目录服务等功能。
通过TongIntegratorSOA套件提供的客户端开发工具TIStudio，可以对资源和权限进行存储、配置及相应管理，以支持团队协作开发。
6.6.2服务流程管理
服务流程管理包括节点、项目、服务、组件及业务流程等运行状况的集中管理，能够对所监控的对象进行状态参看、启动/停止等控制。
6.6.3服务流程监控
监控管理逻辑节点及部署在逻辑节点上面的项目、服务、组件及业务流程等运行状况的集中管理监控平台。
通过监控管理中心，用户可以查看逻辑节点及部署在逻辑节点上面的项目、服务、组件及业务流程等运行状态、日志信息等，并能够对所监控的对象进行如启动/停止等控制。
监控管理中心基于JMX标准，管理功能可扩展，并方便用户编程访问。
监控管理中心的界面基于Web浏览器方式，方便用户查看系统运行状态，跟踪服务、业务流程运行信息，便于对监控对象进行分析、诊断。
6.6.4安全及授权机制
1）联机协同开发时的开发资源权限管理与访问控制。
2）交换资源监控的安全访问控制管理。
3）提供接入服务总线的Web服务与发布Web服务的安全保障机制，包括消息完整性、机密性、不可抵赖性及访问身份鉴别等，支持SSL/TLS、WS-Security等安全规范。
4）提供跨网络节点消息传输的可靠、安全保障机制。
5）能够集成第三方CA认证和SSL认证，具有灵活的权限控制与管理功能以及消息签名与加密机制。
可以集成省中心安全系统实现共享交换的统一认证和授权。
6.6.5服务流程日志
建立运行日志，记录任何服务在任何时刻的运行信息，帮助完成系统安全运行记录。
.
7硬件建议配置
名称
服务器配置要求
安装产品
数量
备注
中心
ESB服务器
LINUX/WINDOWS：
64位4路，2U、1*四核、16GB内存100GB热插拔、千兆网卡
TongIntegratorStudio（ES
升级会员 