oracle与ibm的数据仓库比较文档格式.docx

1、OWBOracle Warehouse Builder1.4参考文档和文献编号文档名称版本日期1DB2 vs Oracle（BI）2Data Warehouse Center Application Integration Guide 8.231.5文档概述本文档主要是从各各角度对ORACLE的数据仓库和IBM的数据仓库的分析,下面就两方面的产品做一下简单的概述:IBM IBM公司提供了一套基于可视数据仓库的商业智能（BI）解决方案，包括： Warehouse manager、Essbase/DB2 OLAP Server 5.0、IBM DB2 UDB，以及来自第三方的前端数据展现工具（如B

2、O）和数据挖掘工具（如SAS）。其中， Warehouse manager是一个功能很强的集成环境，既可用于数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度。Essbase/DB2 OLAP Server支持“维”的定义和数据装载。Essbase/DB2 OLAP Server不是ROLAP（Relational OLAP）服务器，而是一个（ROLAP和MOLAP）混合的HOLAP服务器，在Essbase完成数据装载后，数据存放在系统指定的DB2 UDB数据库中。 严格说来，IBM自己并没有提供完整的数据仓库解决方案，该公司采取的是合作伙伴战略。也就是说IBM公司在展现和多维分析上

3、留有接口,所有第3方的公司可以利用这个接口来连接到IBM的系统中提取想要的数据.例如，它的前端数据展现工具可以是Business Objects的BO、Lotus的Approach、Cognos的Impromptu或IBM的Query Management Facility；多维分析工具支持Arbor Software的Essbase和IBM（与Arbor联合开发）的DB2 OLAP服务器；统计分析工具采用SAS系统。Oracle Oracle数据仓库解决方案主要包括OWB和Oracle Discoverer两个部分。然而Express 是和Oracle 8i配合使用的OLAP Server。

4、从Oracle 9i开始（包括10g），Oracle把OLAP Server整合进了数据库，作为了数据库的一个选件，Oracle Express Server是一个MOLAP （多维OLAP）服务器，它利用多维模型，存储和管理多维数据库或多维高速缓存，同时也能够访问多种关系数据库；OWB（Warehouse builder） 可以完成数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度以及多维模型的建立; Oracle Discoverer属于查询工具是专门为最终用户设计的，分为最终用户版和管理员版。 Discoverer是Oracle的OLAP展示工具，无需编程。1.6数据仓库ORA

5、CLE采用Cluster体系结构，多个节点共享硬盘，存在磁盘I/O瓶颈，可伸缩性较差，少见超过4个节点的实例。ORACLE基本上没有真正TB级的数据仓库，客户往往被要求将其海量数据分解到多个数据库中。IBM采用MPP体系结构，每个节点独享各自的硬盘空间，各个节点间通过高速网络交换数据。可伸缩性强，最多可以扩充到1000个节点。国有32节点的实例，国外有512节点的实例。每个数据库中单个表的大小可以达到512GB*1000=500TB。在全球围有许多TB级的数据仓库。1.7ETL工具ORACLE的ETL工具使用的是Oracle Warehouse Builder（OWB），此工具中做维过程就是构

6、建星形结构的过程，在作mapping，执行的过程则是数据抽取的过程，全都用Oracle warehouse Builder来实现。OWB全部开发过程通过图形界面完成，对于简单的数据转换实现简单，开发速度快。但是对于复杂的转换过程，由于整个转换过程全部都是由工具完成，用户不能干涉，导致在转换中一些复杂查询速度缓慢，而且没有可能优化。IBM Warehouse Manager 是 IBM 数据仓库解决方案的重要组成部分，它主要由以下几部分功能组成：数据访问，数据转换，数据分布，数据存储，靠描述性数据查找和理解数据，显示、分析和发掘数据，数据转换过程的自动化及其管理。它缩短了复杂的海量数据与有洞察力

7、的商务决策之间的差距。IBM 的 Warehouse Manager 可获取的数据源可以是 DB2 家族中的任一数据库，也可以是Oracle、Sybase、Informix、SQL Server 数据库和 IMS、VSAM 文件系统；存放数据仓库的数据库可以是 DB2 UDB for Windows NT、OS/2、AIX/600、HP-UX、Sun Solaris、SCO、SINIX 和 DB2/400、DB2 for OS/390；Warehouse Manager 的管理平台为 Windows NT 和 OS/2；而且以上适用的平台仍在不断地扩展。1.8OLAPDB2 OLAP Serv

8、er在线分析处理（OLAP）在 IBM 的商务智能中扮演着重要角色，IBM 为此提供一个分析工具-DB2 OLAP Server，深入最终用户的业务，对桌面上的数据进行实时操作。DB2 OLAP Server 是一套独特的商务工具，能够快速地分布传统监视和报告围之外的应用程序数据。IBM DB2 OLAP Server 是一种功能强大的工具，结合了业界领先的 Arbor Essbase OLAP 功能以及 DB2 的可靠性、可管理性和访问能力。Arbor Essbase是OLAP市场领先的厂商。同其它 OLAP 相比，有更多的前端工具和应用程序利用了 Essbase API，使其成为事实上的业

9、界标准。同大多数基于 SQL 的应用程序结合时，DB2 OLAP Server 和 Warehouse Manager 将为端用户提供更多的前端工具和业务智能应用程序选择余地。如今，用户可以享受到多种 OLAP 应用程序的优势，如通过 Arbor 的 OLAP 引擎集成预算功能，充分利用机构在相关技术上的投资，管理基本设施和 DB2 数据。通过集成 IBM的Warehouse Manager 和 DB2 OLAP Server，这套解决方案将具有三方面的重要价值： 完全、自动地把 OLAP 集成到数据仓库，数据抽取和生成自动地由规则和数据源支持，直接进入 DB2 OLAP Server 的立方

10、体。利用 Warehouse Manager OLAP 版本还有一项附加收益，就是在可视化数据仓库上创建了一个中间信息仓库。这个中间数据仓库包含干净、抽取的数据，用来在 OLAP 系统上装载多维数据。一旦 OLAP 系统装载并上线，或者作为干净数据源来进行 OLAP 以外的分析比如查询客户地址等，这些中间数据就可以废弃。DB2 OLAP Analyzer使用 DB2 OLAP Analyzer，可以达到企业的商业智能化，并提高信息技术组织的效率。信息技术人员可以让用户利用分析和报表的功能获得他们所需的信息，而不会失去对信息、数据完整性、系统性能和系统安全的控制。1.9展示工具Oracle的展示

11、工具是使用Oracle公司的discover工具，使用此工具，有某些局限性，实现方式不灵活，且需使用专用前端工具，开发复杂。IBM采用业界领先的多维分析服务器OLAP Server和智能挖掘工具Intelligent Miner。开放的前端界面和开发接口。IBM的展示没有特定的工具，而是提供标准的数据借口，它可以采取第三方的展现工具，或者独立开发展现工具，比较灵活的实现前端的展现过程。2开发过程2.1Oracle的开发过程ORACLE 的开发过程主要分为两大部分: 1.OWB开发 2.IDS 开发 一.OWB开发过程: 1在开发之前必须先建立Owb中的两个资料档案库，一个叫repository

12、，另一个叫runtime repository（运行时资料档案库）。其中repository用来存放owb设计过程中的对象。Runtime repository用来存放运行所需的数据，包括元数据、映射定义、转换规则等等。2 每个资料档案库都有相应的用户。一般来说至少需要创建四个用户：repository所有者、runtime repository所有者、runtime repository访问者、目标数据库所有者。 3 用所有者用户登陆到OWB以后就可以创建一个新的project, 在新的project 里需要创建数据源（soruce）,目标库（target）,位置（location）4 系统

13、配置完成后,进入到开发阶段,首先需要制作维表（dimension）,此操作的作用是定义出维表的表结构以及维表的层次.部署的时候系统会在目标数据库创建一个维表（table）用来存放纬度数据.5 维表定义完成后,需要定义维表对应的映射（mapping）,此操作的作用是制定从数据源（soruce）抽取符合那些条件的数据放到维表中.在部署的时候系统会在目标数据库创建一个包（package）,（维表和维表的mapping是一一对应的） 6 所有维表都定义完成后,需要定义事实表（cube）, 此操作的作用是定义出事实表的表结构以及事实表和维表的关系（也就是星型结构）.部署的时候系统会在目标数据库创建一个事

14、实表（table）用来存放度量值. 7.事实表定义完成后,需要定义事实表对应的映射（mapping）,此操作的作用是制定从数据源（soruce）抽取符合那些条件的数据放到事实表中.在部署的时候系统会在目标数据库创建一个包（package）,（事实表和事实表的mapping是一一对应的） 8执行所有部署成功的维表的mapping,向维表插入数据,成功后在执行所有部署成功的事实表的mapping,向事实表插入数据.ORACLE的owb 的整个开发过程完成了数据的抽取.转换.装载（ETL）和星型结构的构建,在owb的所有操作没有脱离开ORACLE的数据库. 二.IDS开发过程: 1在owb的开发告一

15、段落后,我们就可以进入到展现工具的开发过程中来,首先我们需要进入IDS的Discoverer administrator里,在这里制定一个EUL用户,这个EUL用户是用来是用来管理desktop 的,还做一些层次管理,例如可以制定一些计算方式和管理那些数据可以显示给用户那些数据不可以显示给用户看.2 在Discoverer administrator里完成了制定工作后,我们就可以进入IDS的另一个工具进行展现方面的开发了（desktop）,进入这个工具后,我们开始制作展现需要的表单.3.在desktop里你所能看到的所有数据项都是EUL用户给你的权限,你可以根据客户的要求去制作表单,增加一些特

16、殊的计算项,在这里你可以使用ORACLE公司提供给你的所有聚集函数.ORACLE的ids 工具主要是用来满足展现方面的需要,而desktop是开发表单的主要工具.2.2DB2的开发过程IBM 的开发过程主要分为三大部分: 1 warehouse manager开发2 olap server 开发3 BI开发一.Warehouse manager开发过程:1.在DB2数据库通过II工具和ORACLE数据库做好映射,将ORACLE数据库的所有表映射到DB2数据库.2.进入到数据仓库中心,首先我们现配置,在仓库源加入你需要的数据源表（也就是映射过来的ORACLE表）.3.接下来我们需要在加入你需要的

17、目标表（也就是在DB2数据库创建的事实表）.4.我们现在就可以进入,在这里我们来建立一个主题,这个主题是的作用是制定一系列的数据抽取和转换的规则,将ORACLE数据库的原始记录,经过ETL的过程存放到DB2数据库的事实表.5.我现在测试主题无误后,可以进入到运行界面,点击运行该主题,这样数据仓库就开始抽取数据到目标表了,至此在warehouse manager里的工作我们就结束了,现在我们得到的只是一些过滤好的原始数据,至于这些数据之间到底有什么关系和结构,还有根据什么来汇总,我们需要到IBM的Essbase administration server 这个工具里来实现它.二.OLAP SER

18、VER开发过程:1.在打开Essbase administration server之前我们需要现启动OLAP SEREVER这个服务,启动它后,我们需要再启动 administration server 的服务,这样我们就可以进入到 dministration console里开发了. 2.进入后,我们选择Essbase analytic servers ,需要新建立一个application,在这个application里还需要建立一个datebase ,建立完这个datebase后我们就可以正是进入OLAP的开发中. 3.我们现在datebase里进入到它的outline,在这里我们可以

19、定义一个主题到底有那些维（dimension）,和事实数据（date load）,当定义完成后我们就可以制作规则文件了. 4.我们在datebase 里选着rules files在制定维和事实数据的规则文件,制定完成后就验证和保存. 5.在这里我们可以选着load date 项,来想你的规则文件中填入数据,系统会根据你定义的规则文件和维与事实数据之间的关系从DB2数据库抽取需要的数据,load到文件中,到此,OLAP的工作我们也开发完成了.三.BI开发过程: （注:这里使用的是第三方BI产品博易智软产品 BI-PILOT） 1. 开发前需要先安装BI的产品,BI-PILOT BUILDER A

20、ND BI-PILOT SERVER, BUILDER的作用主要用来开发报表,SERVER主要用来发布部署报表和在服务器上建立服务. 2. 进入到BUILDER PROFESSIONAL 里我们需要先配置它与OLAP SERVER 的连接,新建立一个项目在项目上选择新建ODS文件,在这里需要填写OLAP的驱动和地址,用户名和密码,验证成功后,这样连接就建立起来了. 3. 连接建立起来后我们可以选择需要的OLAP里的datebase,这样我们还需要在项目上新建立一个OLAP 文件,在这里我们可以选择需要的datebase. 4. 现在就可以制作交叉报表了新建立一个报表,选择插入交叉表,在这里我们

21、可以看到datebase里的所有的维表和事实表里的数据点,可以选择横表头显示什么,每列显示什么,制作完成后可以预览报表, 5.开发完成后,就可以发布和部署了,现在就需要启动BI-PILOT SERVER了.部署以后就可以通过B/S结构来观看报表.3 应用性3.1 Oracle的OWB和IBM的warehouse manager . OLAP server的比较1总体理解上:Oracle的产品使用图形化界面，可以快速设计、部署数据仓库,上手比较容易,理解上比较快一些，比较适合出学者.而IBM的产品比较多,安装和配置还有使用上比较复杂,所有比较适合有一定的数据库基础和一定的数据仓据知识的人来操作.

22、2操作使用上:Oracle产品控制上太严禁,没有多少发挥的余地,不可以修改已生成的SQL. 而IBM产品就可以修改你生成的任何SQL,比较开放.编程人员可以自己发挥.3.从结构上:Oracle的WAREHOUSE BUILDER工具可以完成数据的抽取转换（ETL）和多维结构的建立.而IBM的ETL部分是由WAREHOUSE MANAGER完成的,多维结构的建立是由OLAP SERVER来实现的,这样会需要多花时间来掌握更多的工具.4 数据结构上:Oracle的整个流程都是在操作ORACLE的数据库,已ORACLE数据库为基础,即使到了展现的时候数据的保存还是在数据库里,对数据库操作比较频繁.

23、而IBM在 WAREHOUSE MANAGER的操作还是已数据库为基础,但是到了OLAP SERVER的时候就可以脱离对数据库的操作了,已文件的形式保存下来. 5 流程顺序上: Oracle的整个流程是先建立维表和事实表,然后建立他们之间的层次和关系,最后根据抽取条件从数据源抽取数据放到目标表,它的ETL和OLAP的多维结构是一步完成的. 而IBM是先根据抽取条件从源数据库整理好数据放到DB2数据库,在建立多维的规则文件,根据多维的规则文件再从DB2数据库抽取数据存放到最终的一个文件中.3.2由于数据仓库开发过程相对复杂，在两个产品的使用过程中都出现了一些问题。3.2.1 用ORACLE开发过

24、程中遇到的问题：1在展现方面oracle 的IDS工具,在报表的表头中无法实现多层嵌套和自定义表头。2增量抽取数据有问题,oracle的OWB工具不能实现自动定时间增量抽取数据,只能人工抽取数据,这样会给以后的维护产生问题。3如果设计的维比较多，对于报表查询的性能会有一定影响,两者是成正比的,纬度越多,性能越底。4所有数据全部动态计算，没有预算机制，延长了统计时间。5在OWB工具里作数据抽取时，如果主辅表关联，会产生统计金额的加倍的问题。6有关上月数与同期数的问题在IDS里无法解决。Oracle提供的聚集函数并不能满足这样的要求。7Owb工具，如果今后需求有变动，需要修改开发成果从新抽取数据，

25、但是 owb工 具 不支持修改，只能删除原来的关系线从新作，比较耗费时间。8最大弱点,在OWB的开发中,如果数据库或网络断线,那就意味这你没有保存的信息都将丢失.3.2.2 用IBM开发过程中遇到的问题：1开发过程分为多部（oracle到db2映射,etl,olap,展现），需要安装使用的软件较多（现阶段需要掌握7个软件安装4个软件的使用），掌握这些软件需要更多的时间,还需要对数据仓库的理念有一定的了解。2业务数据库为oracle，需要映射到db2的数据库中才能进行开发,这样会对数据的ETL部分有影响,具体影响有多大,还需要具体分析。3开发过程中完全使用db2 的数据库及管理软件，对想应的数据

26、库SQL和函数并不熟悉，需要时间来进行学习和掌握,可能会影响项目的进度。4数据抽取过程中，需要写大量的sql脚本，对数据库不熟悉的开发人员很难完成。5在warehouse manager方面,由于源数据是ORACLE,而目标表是DB2的,所以会碰到数据类型的转换问题,例如,varchar2-varhcar,timestamp-date6在OLAP server 里 制作晚结构文件后在根据纬度GOURP BY 数据的时候,事实表里的数据点,只能实现累（加,减,乘,除）,不能实现COUNT等功能.7在OLAP server 里 当load date 的时候,如果你的事实表里的数据有写纬度的值为nu

27、ll,将会产生这个load date 过程失败,所有记录都不能load.8最大问题,在OLAP server里,不同的维的代码和别名不能够重复,这点将会对客户造成影响,目前代码不能重复可以已转换的方式来解决,但别名就不好解决了.例如*经济类型维*里有名称维的代码,但*隶属关系维*里也有名称维的代码,但OLAP 开发中名称不能重复,只能找客户去解决.2.2.1 用BI开发过程中遇到的问题1.bi-pilot builder 中暂时不能实现两个CUB的关联,这样会产生不能做出比较复杂的报表.2.如果OLAP server 里的CUB结构有了变化,在bi-pilot builder 里是不能实现自动更新的,只能手动去重新配置OLAP文件.3.就目前来讲,bi-pilot builder 功能上,问题还很多,例如,多CUB关联,显示别名的问题,纬度多层次上显示不规则,等一系列问题,可能会影响到开发的进度.