基于ESB的轻量级通用数据交换平台的可行性分析.docx
《基于ESB的轻量级通用数据交换平台的可行性分析.docx》由会员分享，可在线阅读，更多相关《基于ESB的轻量级通用数据交换平台的可行性分析.docx（40页珍藏版）》请在冰豆网上搜索。
基于ESB的轻量级通用数据交换平台的可行性分析
基于ESB的轻量级通用数据交换平台的可行性分析
第1章项目申请的必要性4
1.1数据交换平台的研究意义4
1.2数据交换技术的进展情形4
1.3本项目研究的目的和内容5
1.4本项目的先进性及创新性6
第2章申报单位情形8
2.1申报单位差不多情形8
2.2研究开发能力错误味定义书签。
2.2.1项目组成员错误味定义书签。
2.2.2项目要紧承担人员简介错误!
未定义书签。
2.2.3项目研发的现有基础错误!
未定义书签。
2.3财务、经济状况错误味定义书签。
2.4申报单位的科研及生产经营治理状况错误!
未定义书签。
2.4.1科研情形错误!
未定义书签。
2.4.2生产经营情形错误味定义书签。
第3章项目实施方案9
3.1项目研究目标、范畴及必要性9
3.1.1项目目标9
3.1.2项目范畴9
3.1.3项目的必要性9
3.2项目研究现状10
3.2.1数据交换技术的进展时期10
3.2.2国外商用数据交换平台进展情形10
3.2.3开源数据交换平台研究情形11
3.2.4国内数据交换平台研究和应用情形11
3.3项目研究的要紧内容12
3.4项目的技术方案13
341数据交换平台总体设计13
17
19
21
342规范化的交换名目与数据元治理
3.4.3基于SOA的企业服务总线17
344丰富的可拓展的数据适配器技术
345组织机构及权限配置接口19
3.4.6可视化数据交换配置工具20
3.4.7一体化的监控治理接口20
3.4.8可配置的应用服务接口21
3.4.9轻量级、高性能的数据交换引擎
3.5拟解决的关键咨询题29
3.6要紧创新点30
3.7要紧技术参数指标30
3.7.1
性能要求30
3.7.2
可靠性要求
31
3.7.3
可扩展性要求
31
3.7.4
安全性要求
31
3.7.5
易用性要求
32
3.7.6
数据处理精度要求32
3.8项目的时期与进度33
3.9资金筹措及使用35
3.9.1投资估算及资金筹措35
3.9.2资金使用打算35
第4章经济及社会效益分析36
4.1市场分析36
4.2
应用前景分析
37
4.3
经济效益分析
38
4.4
社会效益分析
39
第5章风险分析
40
5.1技术风险40
5.2治理风险40
5.3市场风险41
项目申请的必要性
包括：
项目的重要意义、技术的先进性及创新性（与国内外同类研究的比较）等。
数据交换平台的研究意义
数据交换平台是实现异构系统之间、新老系统之间信息透亮交换的一种解决方式。
通过采纳统一的数据交换标准，各应用系统与数据交换平台相连，通过数据交换平台来实现数据共享和路由，由于隔离了数据储备层和应用层，使得应用与其底层的数据结构和储备方式无关，从而不需要对原有业务系统进行改造，也不需要对已有的业务流程重新开发。
这种连接方式实现了数据的无缝交换和共享访咨询，保证了各业务系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提升了系统运作效率和安全性。
数据交换平台之因此能够交换基于不同操作平台和数据库的数据，要紧得益于其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。
信息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。
完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由治理等技术手段实现。
交换平台软件系统一样采纳基于相同数据库治理系统的分布式系统的数据交换、消息中间件服务器等技术方式。
数据交换技术的进展情形
商用数据交换平台进展情形
国内外闻名的系统软件厂商，女口IBM、SUN、ORACLE等都可提供不同形式的数据交换解决方案。
但这些厂商提供的数据交换差不多上都依靠于并嵌入于它们自身现有的基础系统软件中（如数据库治理系统、SOA系
统等），使得它们的数据交换平台的应用成本极高、技术难度大，需要大量的经费和技术投入才能开展。
因此其广泛应用受到的限制。
开源数据交换平台研究情形
数据交换平台的研究受到的业界的广泛关注和重视，通过近几年的进展，显现了许多开源的数据交换技术，如BIE（商业集成引擎）一一一个完全
基于Java跨平台的企业应用集成（EAI）服务器；XmlBlaster基于Java
的MOM（MessageorientedMiddleware）；Mule一个企业服务总线（ES
B）消息框架；WSO2ESB——一套轻量级以XML和Webservice为核心的ESB（EnterpriseServiceBus）等等。
这些系统以EAI或ESB为理念，提供应用系统整合和数据交换功能。
然而这些系统差不多上不能为一样用户提供易操作性和稳固性的使用特性，需通过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。
国内数据交换平台研究和应用情形
国内数据交换平台近几年在研究和应用方面有了良好的进展。
在研究方面，要紧基于通用数据库技术和开源ESB技术，近年来基于SOA和ESB理念和技术的研究越来越多和深入。
在应用方面，要紧是针对行业的系统，如电子政务数据交换、企业应用集成（EAI）、教育数据交换等，这些系统的行业性强，通用性较低。
在产品方面，目前比较有阻碍的系统有金蝶的ESB（也是基于开源的ESB），但应用需要专业人员和大量二次开发；其它产品也有许多，但未能成为主流和形成规范。
本项目研究的目的和内容
本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。
平台可各种数据系统集成在一起完成特定的业务，提供多源的、同构或异构数据之间的交换名目和数据元定义、交换服务治理、数据适配器配置、数据交换调度治理、交换过程处理、数据交换治理以及可视化治理监控等方面功能。
项目的要紧研究内容如下：
1.数据交换名目与数据元治理。
平台可依据数据元的国际、国家标准以及应用行业（如政务、教育、企业等）自身的信息标准，规范化地定义和描述数据元、数据字典、数据交互名目。
2.数据交换服务治理。
基于SOA理念定义和描述所需的数据交换服务清单，包括服务清单治理、服务对象（提供者、要求者）治理、服务注册治理、服务测试治理、服务公布治理、数据源治理等。
3.数据适配器技术。
数据适配器连接并访咨询数据交换中涉及到的可能的数据对象（数据源/目）。
平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。
要紧数据适配器将各种数据库、电子表格（EXEL）、数据文件、应用服务（WEBSERVICE）、数据名目（LDAP）等。
适配器按照需要可扩充。
4.数据交换治理技术。
定义和配置数据交换的一个或数个示例。
要紧包括交换公布与订阅配置治理、交换机构治理、触发器治理、数据公布治理、数据订阅治理等。
5.数据交换调度技术。
通过任务排程治理对数据交换操作提供调度治
理。
要紧包括排成清单治理（新增、删除、编辑等）、排程属性治理（发起方式、时刻、频度、批量规模等）、排程监控（日志、分析等）。
6.管道式交换过程处理技术。
提供交换过程中的管道式数据处理插件，要紧包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。
7.有用的数据交换平台治理。
实现对数据交换的状况和性能进行治理，要紧包括用户治理、角色治理、授权治理、配置治理、备份复原、服务统计、服务分析、日志监控等。
8.轻量级体系架构。
平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易治理的轻量、通用的数据交换平台。
9.其他专门交换技术。
平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流）的数据交换，满足专门的数据交换需求。
本项目的先进性及创新性
本项目将力求在以下几个方面显现出先进行和创新性：
1.规范化的交换名目与数据元治理。
系统可依据国际/国家标准以及应用行业自身的信息标准，规范化地定义和描述与数据交换有关的数据元、
数据字典、数据交互名目。
2.基于SOA的数据交换服务治理。
系统基于SOA理念定义和描述所需的数据交换服务清单。
3.丰富的可拓展的数据适配器。
系统支持主流数据适配器（数据库、电子表格（EXEL）、应用服务（WEBSERVICE）、数据名目（LDAP）等,并可按照需要扩充。
4.管道式交换过程处理插件技术。
提供交换过程中的管道式数据处理插件，要紧包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。
5.基于开源技术的轻量级体系架构。
平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易治理的轻量、通用的数据交换平台。
6.其他专门交换技术。
平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流）的数据交换。
申报单位情形
申报单位差不多情形
项目实施方案
项目研究目标、范畴及必要性
项目目标
本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。
平台可各种数据系统集成在一起完成特定的业务，提供多源的、同构或异构数据之间的交换名目和数据元定义、交换服务治理、数据适配器配置、数据交换调度治理、交换过程处理、数据交换治理以及可视化治理监控等方面功能。
项目范畴
本项目的研究范畴要紧包括：
在高等教育行业中，建立多源的、同构或异构数据之间的交换名目和数据元定义、交换服务治理、数据适配器配置、数据交换调度治理、交换过程处理、数据交换治理以及可视化治理监控等方面功能。
项目的必要性
数据交换平台是实现异构系统之间、新老系统之间信息透亮交换的一种解决方式。
通过采纳统一的数据交换标准，各应用系统与数据交换平台相连，通过数据交换平台来实现数据共享和路由，由于隔离了数据储备层和应用层，使得应用与其底层的数据结构和储备方式无关，从而不需要对原有业务系统进行改造，也不需要对已有的业务流程重新开发。
这种连接方式实现了数据的无缝交换和共享访咨询，保证了各业务系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提升了系统运作效率和安全性。
数据交换平台之因此能够交换基于不同操作平台和数据库的数据，要紧得益于其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。
信息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。
完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由治理等技术手段实现。
交换平台软件系统一样采纳基于相同数据库治理系统的分布式系统的数据交换、消息中间件服务器等技术方式。
项目研究现状
数据交换技术的进展时期
针对目前企业所关怀的数据集成、交换的咨询题，业界要紧有两种解
决方法，一种是传数据交换技术，它大致包括三个进展时期：
第1时期，以
EDI（ElectrocDataInterchange）为基础的电子数据交换；第2时期，以多层结构Web技术为基础的信息公布；第3阶以XML等第二代Web技术为代表的数据交换。
另一种确实是建立数据仓库，通过数抽取、转换、清理和装载（ETL），将数据从一个系统传输到另一个系统，同时对其进理和修改，从而符合数据仓库的需求，达到数据集成和数据交换的目的。
本项目的“数
据交换”特指第二种方法，即建立数据仓库时的ETL（Extract一Transform
—一Load）过程。
国外商用数据交换平台进展情形
国外闻名的系统软件厂商，如IBM、SUN、ORACLE等都可提供不同形式的数据交换解决方案。
但这些厂商提供的数据交换差不多上都依靠于并嵌入于它们自身现有的基础系统软件中（如数据库治理系统、SOA系统
等），使得它们的数据交换平台的应用成本极高、技术难度大，需要大量的经费和技术投入才能开展。
因此其广泛应用受到的限制。
这些厂商提供的产品，还包括整体数据仓库方案供应商的产品，它们能从功能上满足企业数据交换的需求，如IBM的WarehouseManager。
在本项目的进展过程中要紧尝试过Fioran。
公司的ESB（EnteriseServiceBus）产品和RedHat的MetaMatrix，相比于专门的ETL工具，这些产品稍显边缘化，但其强大的功能在企业信息集成治理方面较为杰出。
此外，还有许多专业化的中小软件厂商，提供数据交换产品：
第一是专门的ETL工具。
国外的ETL技术比较领先，已形成规模化、专业化的软件市较为成熟的产品包括三大主流ETL:
Ascential公司的DatastageInformatica公司的DatastageInformatica公司的Powercente以及NCRTeradata公司的ETLAutomation。
这类专业厂商的产品一样都有较完善的体系结构和久经考查的品质，产品的功能之复杂和详尽往往能令初次接触的人膛目，但其高昂的价格也会使一样用户望而却步。
开源数据交换平台研究情形
数据交换平台的研究受到的业界的广泛关注和重视，通过近几年的进展，显现了许多开源的数据交换技术，如BIE（商业集成引擎）?
――一个完全基于Java跨平台的企业应用集成（EAI）服务器；XmlBlaster基于Jav
a的MOM（MessageorientedMiddleware）；Mule一个企业服务总线（E
SB）消息框架；WSO2ESB——一套轻量级以XML和Webservice为核心的ESB（EnterpriseServiceBus）等等。
这些系统以EAI或ESB为理念，提供应用系统整合和数据交换功能。
然而这些系统差不多上不能为一样用户提供易操作性和稳固性的使用特性，需通过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。
除了往常的ESB开源产品之外，也有许多厂商研发的轻量级的开源产品，如Kettle、JasperETL、Jitterbit等，这些产品一样都用Java编写，易爱护易扩展，体积较小，数据抽取高效稳固。
其中Kettle以其强健全面的
功能和灵活直观的界面在众多产品中占据翘楚。
国内数据交换平台研究和应用情形
国内数据交换平台近几年在研究和应用方面有了良好的进展。
在研究方面，要紧基于通用数据库技术和开源ESB技术，近年来基于SOA和ES
B理念和技术的研究越来越多和深入。
在应用方面，要紧是针对行业的系统，如电子政务数据交换、企业应用集成（EAI）、教育数据交换等，这些系统的行业性强，通用性较低。
在产品方面，目前国内尚欠缺比较成型的ETL产品，针对这方面工具
软件的研发也相对落后，只是依旧有一些功能上近似的替代品被广泛应用，在项目中也为其做了尝试，如金蝶的ESB（也是基于开源的ESB）、东方通公司的中间件系列产品（Tonglniegrator、TongL、KQ等），与提供的服务相配合能够实现数据的企业级集成交换；还有新晨的整合化传输工具XXCJ，
只能满足部分要求，关于数据交换安全、大数据量、实时数据等不能实现交换。
但使用中需要专业人员和大量二次开发，未能成为主流和形成规范。
因为中文的缘故，国内产品在使用上，操作复杂性、界面友好性等方面还存在一些差距。
项目研究的要紧内容
项目的要紧研究内容如下：
1.数据交换名目与数据元治理。
平台可依据数据元的国际、国家标准以及应用行业（如政务、教育、企业等）自身的信息标准，规范化地定义和描述数据元、数据字典、数据交互名目。
2.数据交换服务治理。
基于SOA理念定义和描述所需的数据交换服务清单，包括服务清单治理、服务对象（提供者、要求者）治理、服务注册治理、服务测试治理、服务公布治理、数据源治理等。
3.数据适配器技术。
数据适配器连接并访咨询数据交换中涉及到的可能的数据对象（数据源/目）。
平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。
要紧数据适配器将各种数据库、电子表格（EXEL）、数据文件、应用服务（WEBSERVICE）、数据名目（LDAP）等。
适配器按照需要可扩充。
4.数据交换治理技术。
定义和配置数据交换的一个或数个示例。
要紧包括交换公布与订阅配置治理、交换机构治理、触发器治理、数据公布治理、数据订阅治理等。
5.数据交换调度技术。
通过任务排程治理对数据交换操作提供调度治
理。
要紧包括排成清单治理（新增、删除、编辑等）、排程属性治理（发起方式、时刻、频度、批量规模等）、排程监控（日志、分析等）。
6.管道式交换过程处理技术。
提供交换过程中的管道式数据处理插件，要紧包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。
7.有用的数据交换平台治理。
实现对数据交换的状况和性能进行治理，要紧包括用户治理、角色治理、授权治理、配置治理、备份复原、服务统计、服务分析、日志监控等。
在数据交换平台的上述架构中，“数据交换治理”子系统作为平台的治理核心，调动各子系统协同工作，共同完成是特定的数据交换服务。
数据交换平台各功能模块的协同工作过程如下：
数据交换子系统第一定义数据交换服务，按照SOA模式描述如交换机构、交换数据源、交换触发器等信息；
数据交换适配器治理子系统按照交换数据源实际情形，配置好源数据对象和目标数据对象的数据适配器，必要时可扩展所需的数据适配器；
数据交换标准治理子系统按照描述的数据交换服务，定义交换源、目各方都一致性明白得的数据元、数据字典，形成交换所需的数据名目；
数据交换系统治理子系统对执行交换的用户权限进行配置治理，描述用户和用户组帐户属性，定于角色及操作权益，对用户进行授权。
数据交换管道处理子系统按照交换源数据对象和目标数据对象的数据项的情形以及交换过程用户对数据的各种处理要求，以管道插件方式配置对数据进行处理，如数据项合并、数据项拆分、数据变换、内容过滤、安全加密等；
组织结构及权
限配置接口
可视化数据交换
流程定义工具
组织角色权限数据
结构、"1
义工具、数据适配器接口、监控治理接口、应用服数据交换平台的系统架构如下图所示：
轻量级ESB体系结构采纳目前流行的、轻量的、开源的ESB,实现服务的注册、配置、治理。
服务运行时环境提供服务（和服务组件）的部署、运行和治理能力，支持服务编程模型，保证系统的安全和性能等质量要素；服务总线提供服务中介的能力，使得服务使用者能够以技术透亮和位置透亮的方式来访咨询服务；服务注册库支持储备和访咨询服务的描述信息，是实现服务中介、治理服务的重要基础；而服务组装引擎，则将服务组装为服务流程，完成一个业务过程；服务网关用于在不同服务运算环境的边界进行服务翻译，例如安全。
数据交换引擎是整个数据交换平台中核心，它的性能直截了当阻碍到数据交换平台的性能。
因此，采纳目前最轻量的、性能最高的开源的数据交换工具Kettle，在Kettle基础中，封装成各种不同的数据交换服务组件，注册到ESB服务池中，将通过数据交换引擎，讲明数据交换配置工具定义的交换流程，并实例化数据交换流程，运行数据交换流程。
关于多种数据交换平台相互和谐交换时，能够配置相应的交换路由，在交换路由中配置远程数据交换平台的地址、流程名称、节点名称等，实现不同数据交换平台之间的相应和谐工作。
关于定义调度的数据交换流程，由数据交换引擎提供的定义调度功能，实现数据交换流程的被起动；在被动启动数据交换流程时，由流程调用本身的服务组件，起动交换过程；在交换过程中，调用数据交换平台提供的服务组件时，能够直截了当调用本身的组件，提升引擎响应速度；关于外部接入的应用服务组件，通过ESB公布的数据服务接口，调用应用服务组件提供的服务，实现数据交换的被动触发；关于由应用服务组件触发的数据交换流程，应用服务组件通过调用ESB提供的服务接口，以及数据交换引擎公布的服务接口，由ESB调用相应的数据交换流程，实现数据主动的实现。
组织结构及权限配置接口是实现与其它应用系统的权限统一治理。
在数据交换引擎中，能够对不同的数据交换流程，授予不同用户的权限，只有被授权的用户，才能够起动流程的运行；或者是数据公布接口，只有被授权的用户才能够访咨询被授权的服务接口。
可视化数据交换流程配置工具是配置数据交换流程的工具，通过易用的、可视化的工具，为用户提供十分便利的配置手段，简化数据交换流程的治理。
数据适配器接口能够直截了当配置各种不同类型的数据源或目标数据源。
当数据交换过程中，需要访咨询外部数据时，能够通过数据适配器接口，直截了当加载或输出数据。
关于提供数据访咨询服务接口的应用系统，能够通过配置应用服务接口，从接口从读取所需要的数据或输出数据到应用服务接口中。
数据交换名目接口是提供数据交换过程中涉及的数据交换元数据。
这些元数据结构能够通过外部系统提供满足条件的名目结构，也能够直截了当通过数据交换平台提供的名目治理功能，配置数据交换名目数据。
在数据交换名目结构中，关于每一个数据源与目标之间的相应关系，都能够通过数据交换名目结构进行定义。
应用服务接口是提供各种应用系统接入数据交换平台的接入方式，它通过注册应用服务的方式将各种应用系统集成到数据交换平台中，并通过数据交换配置工具，将应用服务接口做为一个节点引入到数据交换流程中，实现各种应用系统之间的数据交换。
从图中能够看出，采纳数据交换平台，遵循一致的数据交换标准，通过网络可实现不同应用之间、不同机构之间以及分支与中心之间的数据交换。
按照顾用的范畴的不同，数据交换平台可有以下几种差不多的部署模式：
内部业务系统数据交换部署
这种模式要紧适应于同一个机构（政府部门、学校、企业等）内部的不同应用系统之间的数据交换，解决信息孤岛咨询题，实现数据的治理。
由于各种缘故，一个机构内部可能先后采购了多种应用系统，这些系统可能来源不同、开发平台不同、数据库系统不同、工作模式不同，使得系统之间数据交换专门困难，造成数据重复建设、数据冗余、数据不一致等咨询题。
采纳数据交换平台，可实现机构内各应用系统的数据整合，解决信息孤岛咨询题。
对等系统数据交换部署
这种模式要紧适应于具有业务联系的两个或多个对等机构之间的应用系统之间的数据交换，实现关键业务数据的关联，提升关联业务处理的效率。
各机构的系统一样都作用不同、功能不同、开发平台不同、数据库系统不同，系统之间数据交换一样都需要接口系统来解决。
这类数据交换的例子有电子商务（E-Commerce）、电子数据交换（EDI）、文件交换、资源共享等。
上下级系统数据交换部署
这种模式要紧适应于具有数据关联的上、下级机构之间的数据交换，实现预定的工作业务数据的上报或下传，提升工作效率。
上下级之间的通常差不多上各自先后建设，系统开发平台、数据库系统不同、信息格式不同，数据交换平台可作为其中的有效桥梁。
这类数据交换的例子有统计资料的上报、文件的下发等。
规范化的交换名目与数据元治理
数据元指通过定义、标识、表示以及承诺值等一系列属性描述的数据单元。
数据元由数据元概念和表示两部分组成。
当一个表示被联合到一个数据元概念时，就能
升级会员 