基于XML和中间件的异构数据库集成研究.docx
《基于XML和中间件的异构数据库集成研究.docx》由会员分享，可在线阅读，更多相关《基于XML和中间件的异构数据库集成研究.docx（50页珍藏版）》请在冰豆网上搜索。
基于XML和中间件的异构数据库集成研究
基于XML和中间件
的异构数据库集成研究
目录
第一章现状及意义3
1.1研究背景和意义3
1.2国内外研究现状4
1.2.1异构数据库集成的研究动态4
1.2.2智能楼宇集成系统建设现状5
1.3本文所作的主要工作5
1.4论文的组织结构6
第2章异构数据库集成概述7
2.1异构数据库集成介绍7
2.1.1集成的目标和要求7
2.1.2集成的关键8
2.1.3异构数据库集成方法比较8
2.2集成时的几个技术问题10
2.3本章小结10
第3章中间件和XML技术10
3.1中间件技术11
3.2XML技术12
3.3关系数据库与XML之间的映射技术15
3.4本章小结19
第4章智能楼宇管理系统中异构数据库集成设计19
4.1智能楼宇管理系统19
4.2异构数据库集成方案20
4.2.1系统结构设计20
4.2.2该方案的优点21
4.2.3功能模块设计22
4.3本章小结23
第5章异构数据库集成的实现24
5.1系统实现的核心技术24
5.1.1JDBC技术24
5.1.2JavaBean技术24
5.1.3连接池技术24
5.2异构数据库集成的实现流程25
5.3元数据25
5.4查询管理器的实现26
5.4.1查询规划模块26
5.4.2查询结果合并模块28
5.5包装器的实现29
5.5.1数据库操作模块29
5.5.2查询结果转换模块30
5.6系统查询优化算法30
5.6.1常规查询优化算法30
5.6.2基于动态的查询优化算法32
5.6.3实验结果及分析34
5.7智能缓存的实现35
5.7.1缓存的工作方式35
5.7.2缓存中数据的更新方式35
5.8本章小结36
第6章系统的测试36
6.1实验环境及测试说明36
6.2实验过程及结果分析37
6.3本章小结38
1.本文总结38
2.本文展望38
第一章现状及意义
1.1研究背景和意义
近年来，随着计算机技术、通信技术和网络技术的高速发展，以及人们追求智能化硬件设施和人性化的潮流，推进智能楼宇的社会信息化、高科技化以及全面信息共享已经是大势所趋。
且随着高层楼宇建筑的不断涌现，建筑的日常运行和维护成本也在不断提高，因此提高建筑的智能化管理水平，降低运行和维护成本显得尤为重要。
在这种情况下，智能楼宇的建造也就成为了必然。
智能楼宇是建筑、计算机以及信息技术有机结合的产物。
随着现代建筑的智能化程度日益提高，智能楼宇往往包含复杂的子系统，比如：
消防系统、物业管理系统、门禁系统、报警系统等。
这些子系统是由不同的厂商开发的，它们控制、管理的对象和方式不同，后台所用的数据库也不尽相同，这样就构成了一个分布式异构数据库环境。
各子系统数据库的异构性，使得整个智能楼宇子系统难以工作，信息资源难以共享，给系统集成带来了很大的困难。
如何集成和整合这些异构数据库，实现数据交换和信息共享，逐步成为当前智能楼宇建设的迫切需求[1][2]。
智能楼宇建设的核心是系统集成，因此需要一套完整的智能建筑信息集成方案将各个子系统集成到一个计算机网络系统中，建立统一的集中管理楼宇建筑内的各子系统的智能楼宇管理系统。
本文对异构数据库集成的深入研究，目的就是提出一种有效的解决方案，实现整个智能楼宇信息资源的合理共享与分配，有效地提高管理者的工作效率，降低设备运行费用，实现智能建筑管理的统一化、规范化和自动化。
1.2国内外研究现状
1.2.1异构数据库集成的研究动态
异构数据库集成系统的研究一直是国内外数据库领域中的一个研究热点，几家大型的数据库厂商在其主流数据库产品同构复制的基础上，进一步提出了各自的方案，其中Oracle使用透明网关技术，IBM使用CCD（一致变化数据表），微软公司则提出出版者/订阅者方案[3]。
国外众多的研究机构已经开展了这些方面的研究。
比较著名的有土耳其中东科技大学的MIND系统，美国的密歇根－迪儿波恩大学、斯坦福大学TSIMMIS等项目，国内主要有中关村科技软件有限公司、华南农业大学等进行类似系统的研究。
（1）MERMAID系统[4]：
MERMAID是一个联邦数据库系统。
MERMAID不是一个数据库管理系统而是一个用于查找和集成各局部数据库管理系统的前端系统。
2系统使用SQL语言访问来自不同数据库的数据。
目前系统可以对多个数据库进行联合检索。
MERMAID主要有四个功能部件：
用户接口、服务器、数据字典、数据库管理系统（DBMS）接口。
用户接口具有用户授权、系统初始化、查询编辑、查询库及通过其它程序返回查询结果的功能，同时对工作站（Workstation）和终端（Terminal）提供多窗口接口；服务器有进行查询优化处理的优化器和系统控制执行过程的控制器；数据字典是一个关系数据库，被存储在一个含有关系数据库和环境信息的商用DBMS中；DBMS接口是与各局部数据库管理系统通信的桥梁。
（2）TSIMMIS系统：
是一个研究多数据库系统的产品。
它采用对象交换模型（ObjectExchangeModel，OEM）。
在该系统中，没有模式和对象来的概念，即没有必要定义对象的结构，每个对象实例本身就已包含了它自己的模式[5]。
OEM采用一种称为MSL（MediatorSpecificationLanguage）的查询语言。
中间件和封装器用MSL描述，而且这些组件可以通过MSL规格说明自动生成。
TSIMMIS需要较多的人工干预，自动化集成程度低。
（3）MIND系统：
MIND是由IBM公司资助的一个基于CORBA的多数据库项目，主要利用面向对象的技术，开发了两个基本的组件：
全局数据管理器，本地数据管理器，各自负责对数据的管理[6]。
（4）ADDS（AmocoDistributedDatabaseSystem）：
ADDS是Amoco公司推出的异构数据库解决方案[7]，它使用了一个扩展的关系代数查询语言，支持ANSISQL的一个子集。
ADDS的全局数据库模式是通过定义CDB（CompositeDataBase）来建立的，即将局部数据库（LDB）模式映射到联邦模式上，并将该映射存储到ADDS的数据字典中。
用户可以共享CDB，但是只有经过授权的用户才能访问指定的CDB。
CDB支持的DBMS包括IMS，SQL/DS，DB2，RIM，INGRES以及Focus。
ADDS的工作环境主要是在VMS和MVS操作系统下的大型机以及Unix操作系统的Sun或Apollo工作站。
ADDS保持了局部数据系统的独立性，且不要求对局部数据库上的应用程序做任何修改。
目前ADDS还仅是一个原型系统。
（5）DATAPLEX：
DATAPLEX是美国GeneralMotors公司开发的基于联邦数据库理论的异构数据库系统[7]。
它能对分布式的数据库进行检索和更新，具有数据位置的透明性。
它支持在异构网络，异构操作系统及异构的计算机平台上进行数据的整合。
它以关系模式为其全局数据模型，将使用小同数据模型的DBMS中的共享数据均等价地转化成一种关系数据定义的办法来进行数据集成。
DATAPLEX是由九个模块组成，分别是：
控制器、用户界面和应用程序接口、分布式数据库协议、SQL语法分析器、数据字典管理器、分布式查询分解器、翻译器、优化器、分布式事务协调器。
目前支持的DBMS包括MVS操作系统下的IMS层次数据库和INGRES关系数据库，查询语言是SQL的一个子集。
其支持的DBMS系统相对较少。
（6）XHDQ（XML－basedHeterogeneousDatabaseQuery）：
XHDQ是华南农业大学的一个受国家部委基金资助的项日，它是一种以基于XML的异构数据库查询为核心的系统，并在IBMWAS平台下实现了其查询核心系统的方法。
其核心系统主要有以下六个部分组成：
模式转换器、XHDQ中间件、XHDQ应用程序、XHDQ客户端、XHDQ服务器和异构数据库。
它通过使用XML文件作为中间形式来实现异构数据库之间的集成。
（7）UUHBD系统：
北京理工大学的UUHDB系统是基于Client/Server结构的异构数据库联合使用系统，采用的全局查询语言GSQL是ANSISQL86的子集，能进行透明地联合查询，支持的数据库有Oracle、Informix和dBase，由于没有进行查询优化，查询效率较低。
1.2.2智能楼宇集成系统建设现状
我国智能建筑建设始于1990年，起步较晚，随后便在全国各地迅速发展。
北京的发展大厦可谓是我国智能建筑的雏形，随后建成了上海金贸大厦（88F）、深圳地王大厦（81F）、广州中信大厦（80F）、南京金鹰国际商城（58F）等一批较高程度智能建筑。
我国智能建筑的很多项目是由海外引进和参与的。
随着国内智能建筑的发展，我国于2003年推出的《智能建筑工程质量验收规范》（GB50339一2003）提出了智能化系统集成的概念（ISI），其中明确了建筑物管理系统（BMS）的核心地位，并指出在BMS的基础上进一步与信息网络系统、通信网络系统进行系统集成，实现智能建筑管理集成系统（IBMS）。
有资料表明，上海博物馆实施的综合管理，不但满足了世界级博物馆复杂的各项技术要求，而且年运行费用节省600万元人民币，达60%[8]。
智能楼宇管理信息系统就是以系统集成和信息共享为基础，以决策系统作为辅助手段，实现对事务和事件进行全局性的协调和综合处理，综合事务管理。
据统计，集成管理系统能达到以下效果：
节约人员20%-30%；节约维护费用10%-30%；提高工作效率20%-30%；节约培训费用20%-30%。
另一方面，据报道，武汉5座180米以上的大型建筑，虽大都设置有BMS，但系统运行情况差异很大。
运行正常且在物业设备管理中起到重要作用的仅占20%，运行不正常但尚可使用的只有45%，另有35%左右是在大楼使用多年后，仍不能开通运行或运行一段时间后即发生故障无人修复。
1.3本文所作的主要工作
异构数据库集成系统的信息源种类很多，系统不仅要能够集成信息还应该集成信息互操作，并为用户提供各种查询和搜索服务。
异构数据库集成的智能管理系统的关键就是解决异种信息源集成的问题。
对普通用户而言，希望屏蔽掉各种层次的异构特性，他们不必知道各物理数据库系统的分布，不必知道各物理数据4库的结构组成，也不必自己去进行数据转换和结果汇总，只需要通过简便的全局查询得到一个综合结果，这就是异构数据库联合使用技术的主要研究内容。
这种技术是一个既与各种数据库有密切联系，又有别于各种数据库的新的研究领域。
在深入了解研究异构数据库集成的相关理论、中间件技术以及XML技术的基础上，本论文采用基于中间件的技术思想，对异构数据库的查询进行了抽象，并给异构数据库用户提供了一个通用的接口，实现了这部分软件的复用，提高了数据库开发的效率；另一方面XML统一格式的查询结果也可以供不同应用程序和系统等共享。
本论文的实现采用了Java编程技术，因为Java语言跨平台的优越性，使本文设计的系统可以在不同操作系统环境下进行移植。
本文所做的主要工作如下：
（1）详细分析了异构数据库集成的基本理论和集成系统所用到的关键技术：
中间件与XML技术，并分析了在集成系统中引入中间件和XML技术所带来的优越性，以及关系数据库与XML之间的映射问题。
（2）以智能楼宇管理系统建设为背景，提出了一个基于B/S三层架构模式的异构数据库集成方案，即采用中间件技术来整合异构数据库，借助XML来设定转换的数据格式，使用跨平台的语言Java掌控整合流程、监控程序的执行。
（3）实现了基于中间件的智能楼宇管理系统。
中间件主要由查询管理器、包装器、元数据、智能缓存四部分构成。
查询管理器主要完成查询的分解调度和对返回的查询结果的过滤和组合；包装器主要完成对各个异构数据库的连接和查询元数据保存的是全局数据到局部数据的映射信息；智能缓存保存的是用户频繁访问的查询结果。
（4）针对集成系统的查询优化问题，对其进行了连接操作的查询优化研究，提出了一种基于动态的查询优化算法。
实验证明，该查询优化算法有效地降低了全局连接查询的代价，提高了查询效率。
（5）最后对智能楼宇报警综合查询系统进行了测试，测试结果表明系统具有良好的稳定性和查询效率。
1.4论文的组织结构
本论文的章节安排如下：
第1章为绪论部分，介绍论文的研究背景和意义，并给出了国内外异构数据库集成的研究动态和国内智能楼宇集成系统建设现状，本文所作的主要工作，最后介绍论文的组织结构。
第2章主要讨论了异构数据库集成的基本理论。
首先介绍了异构数据库集成的目的和关键，然后对现有的异构数据库集成方法作比较并分析了异构数据库集成时的几个技术问题。
5第3章首先论述中间件技术的特点和分类，然后介绍XML技术的特点以及本文中所涉及的XML的相关规范和它在异构数据库集成领域应用的优势，最后研究了关系数据库与XML之间的映射技术。
第4章以智能楼宇管理系统为研究对象，提出了一个基于中间件技术和XML技术的异构数据库集成解决方案，并阐述了方案的优越性和各功能模块的设计。
第5章详细描述系统中各功能模块的具体实现过程。
针对查询优化问题，提出了一种基于动态的查询优化算法。
第6章为系统测试，具体给出了智能楼宇报警综合查询系统的模拟实验过程及结果分析。
论文最后对本文的研究工作进行了总结，并提出了今后进一步工作的方向。
第2章异构数据库集成概述
异构数据库集成就是在原有系统的基础上，为用户提供一个适用于新技术的更加有效的整体系统，确保系统中多个应用子系统的互操作一致性，使不同的软硬件产品、通讯网络、应用软件之间的接口和内部互操作一致性得到保证[9]。
集成的原则是充分利用原有系统的硬件和软件资源，尽可能使用当前的新技术，从实用出发，建立一个整体最优的系统。
2.1异构数据库集成介绍
异构数据库集成是指利用网络提供的功能，以及现有的数据库资源，向用户提供一种分布式的数据库访问环境，使用户能透明地访问各种不同厂家生产的数据库管理系统。
其优点在于用较少的投资就能得到类似分布式数据库所提供的功能，并且原有的系统资源（存放在不同DBMS中的数据）仍能够使用。
2.1.1集成的目标和要求
异构数据库集成的目的是实现不同数据库之间的数据信息资源、硬件资源和人力资源的合并和共享，为企业综合应用系统提供集成的、统一的、安全的、快捷的信息查询、数据挖掘和决策支持服务。
为了满足这个需求条件，整合、集成后的数据必须保证一定的集成性、完整性、一致性和访问安全性。
（1）集成性：
各种原先孤立的业务信息系统数据经过整合、集成后，应该达到查询综合信息时不必再到各个业务系统进行分别查询和人工处理，只要在集成后的数据信息仓库中就可以直接访问到，即整合、集成后的综合信息仓库的数据是各异构业务数据的有机集成和关联存储（整合、发掘出各业务数据间的内在关系），而不是简单、孤立的堆放在一个数据库系统里。
（2）完整性：
包括数据完整性和约束完整性两方面。
数据完整性是指完整提取数据。
约束完整性是指数据与数据之间的关联关系，是唯一表示数据间逻辑的特征，保证约束的完整性是良好的数据发布和交换的前提，可以方便数据处理过程，提高效率。
（3）一致性：
不同业务信息资源之间存在着语义上的区别。
这些语义上的不同会引起信息不完整甚至错误信息的产生，如简单的名字语义冲突（不同的名字代表相同概念）和复杂的结构语义冲突（不同的模型表达同样的信息）。
语义冲突会带来数据集成结果的冗余，干扰数据处理、发布和交换。
因此，整合、集成后的数据应该根据一定的数据转换模式和商业规则进行统一数据结构和字段语义编码转换。
（4）访问安全性：
由于数据库资源可能归属不同的单位，各业务数据系统有着各自的用户限管理模式，访问和安全管理很不方便，不能集中、统一管理，所以保证访问异构数据源数据基础上保障原有数据库的权限不被侵犯，实现对原有数据访问权限的隔离和控制，就需要设计基于整合、集成后的综合信息仓库的统一的用户安全管理模式来解决此问题。
2.1.2集成的关键
在异构数据库集成中，如何有效解决数据分布的异构性，实现客户访问的透明性，同时还要保持每个成员数据库系统的自治性，是需要考虑的主要问题。
1．异构性异构数据库集成面临的最大挑战是如何解决数据库系统的异构性[10]。
各企业信息典型地分布于多个异构数据库系统中，因此需要在这些系统之上共享和访问数据。
异构性（即冲突）基本分为如下三级。
（1）平台异构性：
各个异构数据库系统驻留在不同的硬件平台之上，使用不同的操作系统，用不同的通讯协议进行通讯。
（2）数据库系统异构性：
可以是同为关系型数据库系统的Oracle，SQLserver等，也可以是不同数据模型的数据库，如关系、层次、网络、面向对象、函数型数据库共同组成一个异构数据库系统。
（3）语义异构性：
不同的成员数据库系统中相同或相关数据在含义、解释和用途方面不同。
由于不同的局部数据库是独立设计和开发的，在参加集成的局部数据库之间可能会产生各种语义冲突，包括模式冲突和数据冲突[11]。
2．透明性透明性与系统解决异构性的程度相关，决定系统的功能和使用的方便性。
包括平台透明性、系统透明性、数据源透明性和语义透明性。
（1）平台透明性：
隐藏了硬件平台、操作系统和通讯协议等各种数据源所基于的平台间的差异。
对于用户来讲，每个数据源像是在同一个硬件/软件平台上。
（2）系统透明性：
当成员数据库的DBMS、数据模型和语言间的差异被隐藏时，对用户来讲，每个成员数据库像是用同一个数据模型来描述的，由同一个数据管理系统和数据语言来管理和维护。
（3）数据源透明性：
隐藏了数据源的描述信息，由系统解决诸如数据的存储位置，数据如何被查询等问题。
用户所见到的只是一个逻辑数据源。
3．自治性指每个成员数据库系统具有对局部数据库和局部处理的完全控制能力。
成员数据库系统能够决定其是否提供和提供多少它的功能和资源给其它成员数据库系统共享。
这包括成员数据库系统有权决定何时加入或退出整体而不受全局系统的任何约束和限制。
它保证了成员数据库系统以最小的局部影响来加入和退出异构数8据库的集成。
2.1.3异构数据库集成方法比较
异构数据库集成的目标要求对数据库资源实现完全透明的访问，强调通用性和开放性，近年来发展起来的集成解决方法主要有以下四种：
1．用户交互接口法给各种异构数据库都建立用户交互接口，不进行任何模式的集成。
该方法实现简单，但用户不能透明访问数据，而且增加新的异构型数据库时，必须增加新的结构，不利于系统的扩充。
2．联邦数据库系统建立联邦数据库系统FDBS[12]（FederatedDatabaseSystem），如图2.1所示。
它是由一组互相协作但保持各自自治性的成员数据库系统组成，各个成员数据之间仅存在松散的联邦式耦合关系，没有全局统一模式[13]，它们通过定义输入、输出模式进行彼此之间的数据访问，从而实现不同程度的数据集成；因此它可以在维持局部成员数据库自治的前提下，对异构的成员数据库进行部分的集成，并提供数据的共享和透明的访问，具有分布性、自治性和异构性的特征。
联邦数据库系统代表没有集成和完成集成的折中方案，这种方法比较复杂，不适合普通应用系统的使用，一般由大型数据库厂商开发。
图2.1联邦数据库系统结构
3．数据仓库法建立数据仓库，其体系结构如图2.2所示。
它是把来自于多个数据库的数据副本都存储在单一的数据库中。
在这种结构中，所有数据库的数据都被抽取出来，合成一个全局模式[14]，并存储在数据仓库中，这在用户看来与一般的数据库系统无异。
数据仓库可以集成各种格式的数据，包括有结构、半结构和半结构化的数DB1DB2DB5DB3DB49据，并支持对历史数据的访问，用户也可以通过数据仓库提供的统一的数据接口进行决策支持的查询和数据的访问。
但是,该集成方案在反映实时（Real-time）信息的能力上存在不足[15]。
一般而言，存储在数据仓库中的信息大多是“历史”的，数据仓库的更新存在一定的周期，并且每次装载数据的资源消耗也很大，因此对于两次数据更新期间的数据就无法得到及时的反映，由于信息系统对于实时信息的要求是越来越高，如何缩短数据反映周期成为当前建设数据仓库集成项目的一个问题。
灵活性不够，对于数据源的改变不能及时得到反映，一旦数据源的数据结构、数据格式等发生变化，在下一次更新之前不能在数据仓库中得到反映。
如果变化比较大，那么还有可能会损害到数据仓库本身的质量。
数据仓库从信息源中抽取、集成数据的过程中要不断传送大量的数据和信息，导致网络拥塞，增加网络负载，从而影响集成和查询效率图2.2数据仓库系统结构4．中间件法中间件是处于应用程序及应用程序所在系统的内部工作方式之间的软件，它的基本思想是在各后端数据源和前端应用程序之间建立一个抽象层。
把应用程序与系统所依附软件的较低层细节和复杂性隔离开来，使应用程序开发者只处理某种类型的单个应用程序编程接口（API）[16]，而其他细节则可以由中间件处理。
这样就使系统对每个不同数据源的操作变成对单一的中间件的操作，而后再对中间件进行异构处理。
使用中间件技术解决异构数据库集成的问题，将会给系统集成带来很多的好处[17]。
这是因为中间件不仅能够使得前端用户访问后端的异构数据库实现透明化，还能保证访问接口的开放性[17]，这样可以使系统在以后功能上的扩展更加方便[18]。
通过中间件来访问数据库的另一个好处就是所有客户端的请求都发送到了中间件用户查询数据仓库集成器ETL工具ETL工具DB1DB110上，减轻了数据库服务器的负担，保证了数据库服务器的性能不会降低。
同时，中间件的采用极大的提高了系统的可维护性，在系统内部的某个逻辑发生变化时，只要改变中间层的相应处理程序，前台用户界面不需要做任何的改动，这样就大大降低了系统维护的费用。
由中间件组成的系统框架如图2.3所示。
图2.3中间件组成的系统框架目前国内外有不少厂商都开发出了自己的中间件产品，如BEA开发的WebLogic，IBM推出的WebSphere，东方通科技开发的应用服务器中间件TongWeb，金蝶推出的ApusicV4.0。
中间件位于异构数据库系统（数据层）和应用程序（应用层）之间，向下协调各数据库系统，向上为访问集成数据的应用提供统一数据模式。
该方法不需要改变原始数据的存储和管理方式，使用方便[19]。
2.2集成时的几个技术问题
在设计异构数据库集成的解决方案时，通常应该考虑的如下几个方面的技术问题。
（1）数据库模式：
由于参与联合使用的各异构数据库的模式可能互不相同，而且存储在不同数据库中表示同一对象的信息也未必一致，从而有必要建立一个全局数据库模式，使得用户感觉就像使用一个单一的数据库一样，满足用户操作异构数据库的透明性要求。
（2）全局查询语言：
包括数据库定义语言和数据操作语义两部分。
这些语言应该能够屏蔽各个不同的局部数据库的不同的查询语言的差别。
从而实现用户查询语句的透明性，即查询不同局部数据库的操作都可以通过相同的语句来实现。
（3）识别数据匹配性：
由于相同的对象在不同的局部数据库系统中有诸如数据类型、数据单位等不同，因而在集成局部数据库管理系统时，要识别这些不匹配中间件提供的底层应用程序接口（API）应用1应用2应用N中间件（分布式系统服务）硬件操作系统1硬件操作系统2硬件操作系统N11的数据，并在全局数据字典中标识它们。
（4）数据字典：
描述整个网上数据库的定义及分布情况等。
诸如局部数据库所在位置，全局表与局部表的对应关系等，这是全局查询的基础。
（5）查询分解及翻译：
从客户端发出的全局数据查询被分解成对各局部数据库的子查询，再由相应的局部数据库管理系统（LDBMS）完成局部查询。
因为LDBMS的查询语言与全局查询语言可
升级会员 