ODI使用手册.docx

1、ODI使用手册 Oracle Data Integrator使用文档综合组技术总结系列文档编号：生效日期：密级：版本：编制：审核：Copyright Notice Copyright 2003 - 2008 Gillion Technologies Ltd.No part of this publication may be copied without the express writtenPermission of Gillion Technologies Ltd.修订历史DateRevisionDescriptionAuthor2009-05-11V1.0胡巍目录1. 导言 51.1.

2、编写目的 51.2. 工具版本 51.3. 参考文档 52. ODI安装及使用 53. ODI组成部分 53.1. ODI概述 53.2. ODI产品体系结构 54. ODI功能简介 64.1. Topology Manager功能简介 64.1.1. 主存储库和工作存储库的创建 74.2. Designer功能简介 105. 创建一个新的Topology 135.1. 创建一个新的上下文Context 135.2. 创建一个新的Oracle数据服务器 135.3. 创建一个新的Sql server 2005数据服务器 155.4. 创建一个新的物理架构 185.5. 创建一个新的逻辑架构 2

3、06. 创建一个新的模型Model 207. 创建一个新的Project 238. 知识模块(Knowledge Module) 268.1. 知识模块概述 268.2. 如何引入知识模块 279. 数据完整性控制 279.1. 静态控制 279.2. 流控制 289.3. 实例 2810. CDC(Changed Data Capture) 3310.1. Journalizing模型组成 3310.2. 实例 331. 导言编写目的 本文旨在对项目开发中涉及运用Oracle Data Integrator进行各种类型数据库的数据整合，便于指导后续实施工作，也方便后续存档和管理用。工具版本O

4、racle Data Integrator10.1.3.5参考文档oracledi_getting_started.pdforacledi_users.pdfStudentLessonBook2.2.Full.pdf2. ODI安装及使用直接安装，无特殊注意事项。3. ODI组成部分3.1. ODI概述ODI（Oracle Data Integrator）前身是Sunopsis Active Integration Platform，在2006年底被Oracle收购，重新命名为Oracle Data Integrator。主要定位于在ETL和数据集成的场景里使用。ODI和Oracle原来的ET

5、L工具OWB相比有一些显著的特点，比如和OWB一样 是ELT架构，但是比OWB支持更多的异构的数据源等等。Oracle Data Integrator 属于 Oracle 融合中间件产品系列，它解决了异构程度日益增加的环境中的数据集成需求。它是一个基于 Java 的应用程序，可以使用数据库来执行基于集合的数据集成任务，也可以将该功能扩展到多种数据库平台以及 Oracle 数据库。此外，通过它，您还可以通过 Web 服务和消息提取并提供转换数据，以及创建在面向服务的体系结构中响应和创建事件的集成过程3.2. ODI产品体系结构Oracle Data Integrator 是以 Java 图形模块

6、和调度代理访问的模块化信息库为中心进行组织的。图形模块用于设计和构建集成过程，代理用于安排和协调集成任务。当 Oracle Data Integrator 项目投入生产时，数据管理员可以使用基于 Web 的 Metadata Navigator 应用程序来根据信息库中的元数据生成报告。现成的知识模块可以使用特定于平台的代码和工具跨异构平台提取和加载数据。Oracle Data Integrator 信息库包含一个主信息库（包含有关用户和角色的详细信息）、到数据库和其他数据源的连接、项目版本以及一个或多个工作信息库（包含数据模型的详细信息以及 用于集成数据的映射）。这些信息库可以存储在 Orac

7、le 和非 Oracle 关系数据库中，可以使用图形模块进行管理，并可以在运行时由代理进行访问。有四个图形模块可用来创建和管理 Oracle Data Integrator 项目：Designer 用于定义数据存储（表、文件、Web 服务等）、接口（数据映射）以及程序包（包括接口在内的几组集成步骤）。 Topology Manager 用于创建和管理到数据源和代理的连接，通常限制为只有管理员可以访问。 Operator 用于查看和管理产品集成作业。 Security Manager 管理用户及其信息库权限。 这些基于 Java 的应用程序可在包括 Microsoft Windows、Macin

8、tosh OS X 和 Linux 在内的任何 Java 环境中运行。4. ODI功能简介Topology Manager功能简介4.1.1. 主存储库的创建 Master Repository: Data structure containing information on the topology of the companys IT resources, on security and on version management of projects and data models. This repository is stored on a relational database

9、 accessible in client/server mode from the different Oracle Data Integrator modules.In general, you need only one master repository. 首先需要创建主存储库，打开开始菜单里的ODIRepository ManagementMaster Repository Creation先打开Topology Manager 登陆用户名密码同上，用户：SUPERVISOR，密码：SUNOPSIS。进入之后可以发现Topology Manager可以管理信息系统内的技术，数据类型，

10、数据服务器，上下文，语言以及一般操作。4.1.2. 工作存储库的创建 Work Repository: Data structure containing information on data models, projects, and their use.点击下方的存储库标签，在该标签页中的工作存储库插入一个工作存储库技术选择oracle,实例名，用户名密码根据实际情况而定。然后点击JDBC标签页点击JDBC驱动程序后面的按钮，选择oracle对应的驱动程序点击确定以后，填写下面的JDBC URL。完成以后，转到定义标签页，点击测试按钮，测试连接是否成功至此工作库成功添加。Designer

11、功能简介打开Designer的登陆界面如下需要新建一个工作区域连接，点击登陆界面的按钮，出现一个新建工作区域连接的界面登录名可以随便取一个，例如：test用户：SUPERVISOR，密码：SUNOPSIS，这是安装以后的初始用户名密码，注意都是大写。主存储库连接，这里使用的是oracle数据库，jluat/jluat,驱动程序使用Oracle JDBC Driver,驱动程序名为oracle.jdbc.driver.OracleDriver，url为jdbc:oracle:thin:172.16.0.121:1521:hydb。最后一块内容是工作存储库，必须先创建一个工作存数库，点击后面的按钮

12、会出来一个工作区域列表，这个是在前面的Tooopology Manager里面已经添加好的选择所需的工作区域点击确定，然后测试建好的工作存储库连接5. 创建一个新的Topology创建一个新的上下文Context首先登陆Topology，选择上下文标签页，右击鼠标，选择插入上下文 在新建上下文窗口中输入名称，代码，密码等信息，点击确定。创建一个新的Oracle数据服务器点击物理体系结构标签页，展开技术文件夹，再展开下一层的Oracle，点击右键添加点击JDBC标签页，选择驱动程序，填写URL。注意：在这之前需要添加Oracle的驱动程序 class12,从oracle安装目录：Oraclepr

13、oduct10.2.0db_1jdbclib，放到ODI安装目录下：ODIOraHome_1oracledidrivers最后测试连接创建一个新的Sql server 2005数据服务器点击物理体系结构标签页，展开技术文件夹以及下一层Microsoft SQL Server，右击选中插入数据服务器根据实际情况填入sql server的连接信息，然后切换至JDBC标签页在上面的JDBC驱动程序列表中只有sql server 2000的驱动程序，不适用与sql server 2005,我们必须先将sql server 2005的JDBC驱动程序添加至ODI的drivers文件夹中（路径参考E:Or

14、acleODIOraHome_1oracledidrivers），添加完成以后，在驱动列表中仍然选择sql server 2000的jdbc驱动，但是下方的驱动程序需要做一些改动以满足sql server 2005的要求，可参考格式“jdbc:sqlserver:/172.16.0.66:1433”点击确定，然后点击下方的测试连接创建一个新的物理架构右击创建好的数据服务器，点击插入物理架构点击上下文标签页在左列中选择之前建立好的上下文，在右列输入想创建的逻辑架构的名字，该逻辑架构会自动生成，并且在上下文中与物理架构对应关联。创建一个新的逻辑架构切换到逻辑体系结构标签页，展开技术文件夹，以及下一

15、层的Oracle文件夹，右击选择插入逻辑架构 6. 创建一个新的Project切换到项目标签页，点击添加一个新的项目展开新建的项目，新建一个文件夹，展开改文件夹，可以看到包，接口，过程等，右击接口点击插入接口。创建一个新的模型Model登录到Designer，切换到模型标签页，首先建立一个新的模型文件夹，右击该文件夹，添加新的Model 选择反向标签页，点击选择性反向标签页，选择需要运用反向工程的表，点击反向，即可生成相应的模型。这里生成的是一个oracle的模型，同理可以生成前面我们已经添加sql server数据服务器的模型。创建一个新的接口Interface这里列举一个最简单的情况，从o

16、racle源load到oracle目标对象，切换到关系图标签页，在左边工具栏中选取模型，将源表和目标表拖拽到关系图中过滤器的创建，选中数据源中一列，按住左键拖拽到空白处在下面的空白处添加过滤条件。7. 知识模块(Knowledge Module)知识模块概述知识模块是 Oracle Data Integrator 的“插件”，它浓缩了为特定数据源或特定目标加载、转换或集成数据的最佳实践。Oracle Data Integrator 有六种知识模块，如下图所示： 反向工程知识模块用于从源数据库中读取表和其他对象元数据。 日志记录知识模块记录单个表或视图或者一组一致的表或视图中的新数据和更改的数据

17、。 加载知识模块用于从源数据库中有效地提取数据，并包括特定于数据库的适用的批量卸载工具。 检查知识模块用于检测源数据中的错误。 集成知识模块用于有效地将分段存储区中的数据转换为目标表，以便为给定数据库生成优化的本机 SQL。 服务知识模块可以将数据公布为 Web 服务。 知识模块还可以扩展，这样您可以添加 Oracle Data Integrator 当前未提供的功能。例如，采用一组现有的基于 Oracle 的知识模块并将其扩展为包括 Oracle 数据库 10g 中的 Oracle 数据泵功能将是一项相对简单的任务。这里需要注意的是，知识模块是由ODI来执行一系列任务，而不是一系列技术的组件

18、。如何引入知识模块展开项目底下的知识模块节点，右击需要引入的知识模块点击 导入知识模块在文件导入目录栏，可以选择导入知识模块的路径，可参考上图。8. 数据完整性控制数据完整性的控制是必不可少的，以确保整体一致性中的数据信息系统的应用。应用数据并不总是有效的制约和陈述规则所施加的信息系统。您可能，例如，寻找订单，没有客户，或命令行不产品等Oracle数据集成提供了一个工作环境，以检测这些限制违反和存储用于回收或报告的目的。 有两种不同类型的控制：静态控制，流量控制。静态控制静态控制意味着存在的规则，是用来验证应用程序的完整性数据。其中的一些规则（称为限制）可能已经在您的数据执行服务器（使用主键，

19、引用约束等等），运用ODI，你可以增加数据验证的额外制约因素，而不需要直接在您的服务器建立。因为它可以让你在现有或者静态数据上执行数据检查，所以它被称之为静态控制。流控制信息系统的目标，改革和一体化进程往往执行自己陈述的规则。流量控制功能是用来验证应用程序的传入数据根据这些限制在装货前的数据转化为这些目标。实例运行ODI自带的例子，首先启动Start Menu Programs Oracle Data Integrator Examples，登陆designer登陆进入以后，切换到模型标签页，展开Orders Application HSQL模型，以及表SRC_CUSTOMER，右击约束节点，

20、点击插入条件。右击约束点击插入引用定义好两张表之间的外键关联运行刚才建立的检查规则点击工具栏上的图标，打开operator 双击该任务，切换到控制标签页在designer的模型中右击刚才建立约束的表查看错误数据 9. CDC(Changed Data Capture) CDC是ODI来跟踪其他应用领域所造成的源数据变化的技术，ODI可以避免在处理过程中数据的不及时更新。减少源数据流只改变数据是有用的在许多情况下，如数据同步和复制。至关重要的是在建立一个事件为导向的架构一体化。在这样的架构，应用程序进行更改的数据（ “客户被删除”，“新的采购订单” ）在业务流程。这些变化被Oracle数据集成和

21、转化事件的传播在整个信息系统。变化数据捕获是由journalizing模式。 Journalizing模型组成建立基础设施，以捕捉到的变化（插入，更新和删除）向记录了该模型的datastores 。 ODI支持两种journalizing模式： 简单Journalizing追踪个别datastores在一个模型。 一套Journalizing轨道变化的一组模型datastores ，考虑到 账户之间的参照完整性这些datastores 。该组的datastores journalized 在此模式被称为一套一致。实例切换到项目标签页，添加JKM知识模块这里只对单表进行CDC操作，导入JKM Oracle Simple即可，导入完成以后，编辑该表所在的模型，切换到日志记录标签页.日记记录模式选择“简单”，选择KM栏选择刚才导入的知识模块。接下来就可以选择想要捕获已更改数据的表对象添加完成以后，启动日记