ODI使用手册.docx

ODI使用手册.docx

《ODI使用手册.docx》由会员分享，可在线阅读，更多相关《ODI使用手册.docx（36页珍藏版）》请在冰豆网上搜索。

ODI使用手册

OracleDataIntegrator使用文档

综合组技术总结系列

文档编号：

生效日期：

密级：

版本：

编制：

审核：

CopyrightNoticeCopyright©2003-2008GillionTechnologiesLtd.

Nopartofthispublicationmaybecopiedwithouttheexpresswritten

PermissionofGillionTechnologiesLtd.

修订历史

Date

Revision

Description

Author

2009-05-11

V1.0

胡巍

目录

1.导言5

1.1.编写目的5

1.2.工具版本5

1.3.参考文档5

2.ODI安装及使用5

3.ODI组成部分5

3.1.ODI概述5

3.2.ODI产品体系结构5

4.ODI功能简介6

4.1.TopologyManager功能简介6

4.1.1.主存储库和工作存储库的创建7

4.2.Designer功能简介10

5.创建一个新的Topology13

5.1.创建一个新的上下文Context13

5.2.创建一个新的Oracle数据服务器13

5.3.创建一个新的Sqlserver2005数据服务器15

5.4.创建一个新的物理架构18

5.5.创建一个新的逻辑架构20

6.创建一个新的模型Model20

7.创建一个新的Project23

8.知识模块（KnowledgeModule）26

8.1.知识模块概述26

8.2.如何引入知识模块27

9.数据完整性控制27

9.1.静态控制27

9.2.流控制28

9.3.实例28

10.CDC（ChangedDataCapture）33

10.1.Journalizing模型组成33

10.2.实例33

1.导言

编写目的

本文旨在对项目开发中涉及运用OracleDataIntegrator进行各种类型数据库的数据整合，便于指导后续实施工作，也方便后续存档和管理用。

工具版本

OracleDataIntegrator10.1.3.5

参考文档

oracledi_getting_started.pdf

oracledi_users.pdf

StudentLessonBook2.2.Full.pdf

2.ODI安装及使用

直接安装，无特殊注意事项。

3.ODI组成部分

3.1.ODI概述

ODI（OracleDataIntegrator）前身是SunopsisActiveIntegrationPlatform，在2006年底被Oracle收购，重新命名为OracleDataIntegrator。

主要定位于在ETL和数据集成的场景里使用。

ODI和Oracle原来的ETL工具OWB相比有一些显著的特点，比如和OWB一样是ELT架构，但是比OWB支持更多的异构的数据源等等。

OracleDataIntegrator属于Oracle融合中间件产品系列，它解决了异构程度日益增加的环境中的数据集成需求。

它是一个基于Java的应用程序，可以使用数据库来执行基于集合的数据集成任务，也可以将该功能扩展到多种数据库平台以及Oracle数据库。

此外，通过它，您还可以通过Web服务和消息提取并提供转换数据，以及创建在面向服务的体系结构中响应和创建事件的集成过程

3.2.ODI产品体系结构

OracleDataIntegrator是以Java图形模块和调度代理访问的模块化信息库为中心进行组织的。

图形模块用于设计和构建集成过程，代理用于安排和协调集成任务。

当OracleDataIntegrator项目投入生产时，数据管理员可以使用基于Web的MetadataNavigator应用程序来根据信息库中的元数据生成报告。

现成的知识模块可以使用特定于平台的代码和工具跨异构平台提取和加载数据。

OracleDataIntegrator信息库包含一个主信息库（包含有关用户和角色的详细信息）、到数据库和其他数据源的连接、项目版本以及一个或多个工作信息库（包含数据模型的详细信息以及用于集成数据的映射）。

这些信息库可以存储在Oracle和非Oracle关系数据库中，可以使用图形模块进行管理，并可以在运行时由代理进行访问。

有四个图形模块可用来创建和管理OracleDataIntegrator项目：

Designer用于定义数据存储（表、文件、Web服务等）、接口（数据映射）以及程序包（包括接口在内的几组集成步骤）。

TopologyManager用于创建和管理到数据源和代理的连接，通常限制为只有管理员可以访问。

Operator用于查看和管理产品集成作业。

SecurityManager管理用户及其信息库权限。

这些基于Java的应用程序可在包括MicrosoftWindows、MacintoshOSX和Linux在内的任何Java环境中运行。

4.ODI功能简介

TopologyManager功能简介

4.1.1.主存储库的创建

MasterRepository:

Datastructurecontaininginformationonthetopologyofthecompany'sITresources,onsecurityandonversionmanagementofprojectsanddatamodels.Thisrepositoryisstoredonarelationaldatabaseaccessibleinclient/servermodefromthedifferentOracleDataIntegratormodules.Ingeneral,youneedonlyonemasterrepository.

首先需要创建主存储库，打开开始菜单里的ODIRepositoryManagementMasterRepositoryCreation

先打开TopologyManager

登陆用户名密码同上，用户：

SUPERVISOR，密码：

SUNOPSIS。

进入之后可以发现TopologyManager可以管理信息系统内的技术，数据类型，数据服务器，上下文，语言以及一般操作。

4.1.2.工作存储库的创建

WorkRepository:

Datastructurecontaininginformationondatamodels,projects,andtheiruse.

点击下方的存储库标签

，在该标签页中的工作存储库插入一个工作存储库

技术选择oracle,实例名，用户名密码根据实际情况而定。

然后点击JDBC标签页

点击JDBC驱动程序后面的按钮，选择oracle对应的驱动程序

点击确定以后，填写下面的JDBCURL。

完成以后，转到定义标签页，点击测试按钮，测试连接是否成功

至此工作库成功添加。

Designer功能简介

打开Designer的登陆界面如下

需要新建一个工作区域连接，点击登陆界面的

按钮，出现一个新建工作区域连接的界面

登录名可以随便取一个，例如：

test

用户：

SUPERVISOR，密码：

SUNOPSIS，这是安装以后的初始用户名密码，注意都是大写。

主存储库连接，这里使用的是oracle数据库，jluat/jluat,驱动程序使用OracleJDBCDriver,

驱动程序名为oracle.jdbc.driver.OracleDriver，url为jdbc:

oracle:

thin:

@172.16.0.121:

1521:

hydb。

最后一块内容是工作存储库，必须先创建一个工作存数库，点击后面的按钮会出来一个工作区域列表，这个是在前面的TooopologyManager里面已经添加好的

选择所需的工作区域点击确定，然后测试建好的工作存储库连接

5.创建一个新的Topology

创建一个新的上下文Context

首先登陆Topology，选择上下文标签页

，右击鼠标，选择插入上下文

在新建上下文窗口中输入名称，代码，密码等信息，点击确定。

创建一个新的Oracle数据服务器

点击物理体系结构标签页，展开技术文件夹，再展开下一层的Oracle，点击右键添加

点击JDBC标签页，选择驱动程序，填写URL。

注意：

在这之前需要添加Oracle的驱动程序class12,从oracle安装目录：

Oracle\product\10.2.0\db_1\jdbc\lib，放到ODI安装目录下：

ODI\OraHome_1\oracledi\drivers

最后测试连接

创建一个新的Sqlserver2005数据服务器

点击物理体系结构标签页，展开技术文件夹以及下一层MicrosoftSQLServer，右击选中插入数据服务器

根据实际情况填入sqlserver的连接信息，然后切换至JDBC标签页

在上面的JDBC驱动程序列表中只有sqlserver2000的驱动程序，不适用与sqlserver2005,我们必须先将sqlserver2005的JDBC驱动程序添加至ODI的drivers文件夹中（路径参考E:

\Oracle\ODI\OraHome_1\oracledi\drivers），添加完成以后，在驱动列表中仍然选择sqlserver2000的jdbc驱动，但是下方的驱动程序需要做一些改动以满足sqlserver2005的要求，可参考格式

“jdbc:

sqlserver:

//172.16.0.66:

1433”

点击确定，然后点击下方的测试连接

创建一个新的物理架构

右击创建好的数据服务器，点击插入物理架构

点击上下文标签页

在左列中选择之前建立好的上下文，在右列输入想创建的逻辑架构的名字，该逻辑架构会自动生成，并且在上下文中与物理架构对应关联。

创建一个新的逻辑架构

切换到逻辑体系结构标签页，展开技术文件夹，以及下一层的Oracle文件夹，右击选择插入逻辑架构

6.创建一个新的Project

切换到项目标签页，点击

添加一个新的项目

展开新建的项目，新建一个文件夹，展开改文件夹，可以看到包，接口，过程等，右击接口点击插入接口。

创建一个新的模型Model

登录到Designer，切换到模型标签页，首先建立一个新的模型文件夹

，

右击该文件夹，添加新的Model

选择反向标签页，

点击选择性反向标签页，

选择需要运用反向工程的表，点击反向，即可生成相应的模型。

这里生成的是一个oracle的模型，同理可以生成前面我们已经添加sqlserver数据服务器的模型。

创建一个新的接口Interface

这里列举一个最简单的情况，从oracle源load到oracle目标对象，

切换到关系图标签页，在左边工具栏中选取模型，将源表和目标表拖拽到关系图中

过滤器的创建，选中数据源中一列，按住左键拖拽到空白处

在下面的空白处添加过滤条件。

7.知识模块（KnowledgeModule）

知识模块概述

知识模块是OracleDataIntegrator的“插件”，它浓缩了为特定数据源或特定目标加载、转换或集成数据的最佳实践。

OracleDataIntegrator有六种知识模块，如下图所示：

∙反向工程知识模块用于从源数据库中读取表和其他对象元数据。

∙日志记录知识模块记录单个表或视图或者一组一致的表或视图中的新数据和更改的数据。

∙加载知识模块用于从源数据库中有效地提取数据，并包括特定于数据库的适用的批量卸载工具。

∙检查知识模块用于检测源数据中的错误。

∙集成知识模块用于有效地将分段存储区中的数据转换为目标表，以便为给定数据库生成优化的本机SQL。

∙服务知识模块可以将数据公布为Web服务。

知识模块还可以扩展，这样您可以添加OracleDataIntegrator当前未提供的功能。

例如，采用一组现有的基于Oracle的知识模块并将其扩展为包括Oracle数据库10g中的Oracle数据泵功能将是一项相对简单的任务。

这里需要注意的是，知识模块是由ODI来执行一系列任务，而不是一系列技术的组件。

如何引入知识模块

展开项目底下的知识模块节点，右击需要引入的知识模块

点击导入知识模块

在文件导入目录栏，可以选择导入知识模块的路径，可参考上图。

8.数据完整性控制

数据完整性的控制是必不可少的，以确保整体一致性中的数据信息系统的应用。

应用数据并不总是有效的制约和陈述规则所施加的信息系统。

您可能，例如，寻找订单，没有客户，或命令行不产品等Oracle数据集成提供了一个工作环境，以检测这些限制违反和存储用于回收或报告的目的。

有两种不同类型的控制：

静态控制，流量控制。

静态控制

静态控制意味着存在的规则，是用来验证应用程序的完整性数据。

其中的一些规则（称为限制）可能已经在您的数据执行服务器（使用主键，引用约束等等），运用ODI，你可以增加数据验证的额外制约因素，而不需要直接在您的服务器建立。

因为它可以让你在现有或者静态数据上执行数据检查，所以它被称之为静态控制。

流控制

信息系统的目标，改革和一体化进程往往执行自己陈述的规则。

流量控制功能是用来验证应用程序的传入数据根据这些限制在装货前的数据转化为这些目标。

实例

运行ODI自带的例子，首先启动StartMenu>Programs>OracleDataIntegrator>Examples，

登陆designer

登陆进入以后，切换到模型标签页，展开OrdersApplication–HSQL模型，以及表SRC_CUSTOMER，右击约束节点，点击插入条件。

右击约束点击插入引用

定义好两张表之间的外键关联

运行刚才建立的检查规则

点击工具栏上的图标

，打开operator

双击该任务，切换到控制标签页

在designer的模型中右击刚才建立约束的表查看错误数据

9.CDC（ChangedDataCapture）

CDC是ODI来跟踪其他应用领域所造成的源数据变化的技术，ODI可以避免在处理过程中数据的不及时更新。

减少源数据流只改变数据是有用的在许多情况下，如数据同步和复制。

至关重要的是在建立一个事件为导向的架构一体化。

在这样的架构，应用程序进行更改的数据（“客户被删除”，“新的采购订单”）在业务流程。

这些变化被Oracle数据集成和转化事件的传播在整个信息系统。

变化数据捕获是由journalizing模式。

Journalizing模型组成

建立基础设施，以捕捉到的变化（插入，更新和删除）向记录了该模型的datastores。

ODI支持两种journalizing模式：

•简单Journalizing追踪个别datastores在一个模型。

•一套Journalizing轨道变化的一组模型datastores，考虑到

账户之间的参照完整性这些datastores。

该组的datastoresjournalized

在此模式被称为一套一致。

实例

切换到项目标签页，添加JKM知识模块

这里只对单表进行CDC操作，导入JKMOracleSimple即可，导入完成以后，编辑该表所在的模型，切换到日志记录标签页.

日记记录模式选择“简单”，选择KM栏选择刚才导入的知识模块。

接下来就可以选择想要捕获已更改数据的表对象

添加完成以后，启动日记