Oracle Data Integrator用户手册.docx

Oracle Data Integrator用户手册.docx

《Oracle Data Integrator用户手册.docx》由会员分享，可在线阅读，更多相关《Oracle Data Integrator用户手册.docx（62页珍藏版）》请在冰豆网上搜索。

OracleDataIntegrator用户手册

ORACLEDATAINTEGRATOR

用户手册

V10.1.3

沈阳东软软件股份有限公司

第1章安装

1.1安装前提条件

安装文件包括：

ØODI图形化软件以及ODIAgent的安装文件；

ØODIMetadataNavigator的安装文件；

Ø安装ODI图形化软件需要JVM1.4.2或以上版本以及JDK1.4.2或以上版本支持

Ø安装ODIAgent需要JVM1.3.1或以上版本以及JDK1.4或以上版本支持。

Ø安装ODIMetadataNavigator需要兼容JSP1.2和Servlet2.3的WebServer，例如Tomcat；需要JDK1.4或以上版本

1.2安装

1.2.1安装JDK1.5

1.2.2安装WebServer

1.2.3安装图形化客户端

打开安装包，在D:

\software\odi_all_platforms_10.1.3.2.0\setup\windows（根据操作系统不同路径也不同）下运行setup.exe或运行sh./setup.bin

图1-1-1安装介绍

图1-1-2选择安装类型

图1-1-3选择安装路径

图1-1-4选择安装程序组

图1-1-5选择JDK

如上图所示，安装ODI中可以由安装程序自己安装JDK，也可以选择机器上已经安装好的JDK，这里我们选择在1.1.1中安装好的JDK目录。

图1-1-6安装总结

图1-1-7安装成功页面

1.2.4JDBC/JMS驱动安装

ORACLEDATAINTEGRATOR通过JDBC的方式连接数据库，所以对于ORACLE这种关系型数据库需要将其自己的JDBC包拷贝到即ORACLEDATAINTEGRATOR安装路径的\drivers目录中。

举例来说，对于ORACLE数据库，需要把$ORACLE_HOME/jdbc/lib目录下的三个文件：

class12.jarnls_charset12.jar和ojdbc14.jar拷贝到\drivers目录中。

1.3配置

1.3.1数据库配置

ORACLEDATAINTEGRATOR所有的资料（如数据源配置、抽取接口等）都存储在数据库中，我们需要为它在数据库中建立两个用户：

主资料库用户和工作资料库用户来存储这些信息，建议这两个用户使用单独的表空间。

在ORACLE数据库中创建语句如下：

createusersnpm（主资料用户）identifiedbyoracle（主资料用户口令）

grantconnect,resourcetosnpm

createusersnpw（工作资料用户）identifiedbyoracle（工作资料用户口令）

grantconnect,resourcetosnpw

1.3.2创建主资料库

打开程序->Oracle->OracleDataIntegrator->RepositoryManagement->MasterRepositoryCreation

图1-3-1创建主资料库

然后填入相应信息：

Driver：

oracle.jdbc.driver.OracleDriver

URL：

jdbc:

oracle:

thin:

@DBServerHostNameorIPAddress:

PortofDB:

ServiceNameofDB

USER：

上一步创建的主资料库用户

Password：

上一步创建的主资料库用户口令

Technology：

资料库所在的数据库类型

Language：

主资料库使用的语言

点击“OK”创建主资料库

图1-3-2主资料库创建向导

等待主资料库的创建，直至创建成功。

1.3.3连接主资料库

打开程序->Oracle->OracleDataIntegrator->TopologyManager

图1-3-3连接主资料库

创建新主资料库连接：

图1-3-4创建新主资料库

填入相应信息

LoginName：

自定义的名称

User：

SUPERVISOR（必须是此用户名）

Password：

SUNOPSIS（必须是此口令）

主资料库连接信息：

USER：

上一步创建的主资料库用户

Password：

上一步创建的主资料库用户口令

Driver：

URL：

jdbc:

oracle:

thin:

@DBServerHostNameorIPAddress:

PortofDB:

ServiceNameofDB

图1-3-5存储库连接向导

图1-3-6主资料库登录

1.3.4创建工作资料库

登录TOPOLOGY，打开存储库

图1-3-7打开存储库

选择插入工作存储库

图1-3-8新建工作存储库

填写下述工作资料库连接信息：

Name：

工作资料库连接名称

Technology：

资料库所在数据库类型

Instance/dblink（DataServer）：

OracleDBServiceName

User：

4.2步骤中创建的工作资料库用户

Password：

4.2步骤中创建的工作资料库用户口令

图1-3-9填写工作存储库信息

进入JDBC页，填写JDBCDriver，以及URLJDBC：

图1-3-10填写工作存储库JDBC信息

点击“OK”以后，出现工作资料库定义框：

ID：

注意不同的工作资料库的ID不能重复

Type：

选择下拉菜单中的一项

Name：

工作资料库名称

Password：

进入此工作资料库的口令，可以不设置

图1-3-11填写工作资料库信息

“OK”以后等待工作资料库的创建

1.3.5连接工作资料库

打开程序->Oracle->OracleDataIntegrator->Designer，新建工作资料库连接。

图1-3-12新建工作资料库连接

填入连接信息

LoginName：

自定义的工作资料库连接名称

User：

SUPERVISOR

Password：

SUNOPSIS（如果在Topology中修改了口令，需要填入修改后的口令）

填入主资料库信息

User：

4.2步骤中创建的主资料库用户

Password：

4.2步骤中创建的主资料库用户

Driver：

URL：

填入工作资料库信息

WorkRepositoryName：

工作资料库名称

图1-3-13填写工作资料库连接信息

点击OK，进去Designer设计器

图1-3-14工作资料库登录

1.4SchedulerAgent配置

1.4.1改变odiparams.bat文件

文件在ODI安装路径\oracledi\bin下。

将文件中的下属部分加上REM

remsetSNP_SECU_DRIVER=org.hsqldb.jdbcDriver

remsetSNP_SECU_URL=jdbc:

hsqldb:

hsql:

//localhost

remsetSNP_SECU_USER=sa

remsetSNP_SECU_ENCODED_PASS=

remsetSNP_SECU_WORK_REP=WORKREP

remsetSNP_USER=SUPERVISOR

remsetSNP_ENCODED_PASS=LELKIELGLJMDLKMGHEHJDBGBGFDGGH

复制并改为如下：

setSNP_SECU_DRIVER=oracle.jdbc.driver.OracleDriver（资料库所使用数据库的JDBCDriver，Topology-->存储库-->MasterRepository定义框-->连接对话框中JDBCDriver）

setSNP_SECU_URL=jdbc:

oracle:

thin:

@localhost:

1521:

orcl（资料库所使用数据库的JDBCURL，Topology-->存储库-->MasterRepository定义框-->连接对话框中JDBCURL）

setSNP_SECU_USER=snpm（MasterRepositoryUser）

setSNP_SECU_ENCODED_PASS=

setSNP_SECU_WORK_REP=WORKREP1（工作资料库名称）

setSNP_USER=SUPERVISOR（资料库管理员）

setSNP_ENCODED_PASS=

其中两行PASS的值是通过“ODI安装路径\oracledi\bin\agentencodePASSWORD”得到的值（PASSWORD分别为SNPM用户和SUPERVISOR的密码）

1.5MetadataNavigator安装

1.5.1安装

对于TOMCAT来说，只需将安装软件中的oracledimn文件夹及其所有内容拷贝到Tomcat安装路径\webapps下即可。

对于如ORACLEAPPLICATIONSERVER的应用服务器，需要发布安装包内\setup\Manual路径下的oracledimn.war文件。

1.5.2配置

1.5.2.1拷贝数据库JAR文件

将数据库安装路径下\jdbc\lib下的JAR文件拷贝到应用服务器MetadataNavigator的lib路径下，如D:

\product\10.1.3.1\OracleAS_1\j2ee\home\applications\oracledimn\oracledimn\WEB-INF\lib。

对于ORACLE来说拷贝class12.jarnls_charset12.jar和ojdbc14.jar即可。

1.5.2.2资料库连接

如果需要连接自定义的资料库，作以下操作

将ODI客户端或者Agent安装路径下\bin\snps_login_work.xml文件拷贝到ODIMetadataNavigator安装路径\WEB-INF下

登录MetadataNavigator

重启应用服务器，访问url如下：

http:

//:

/oracledimn/

第2章在TOPOLOGY中建立数据源

2.1登录TOPOLOGY

图2-1-1工作资料库登录

2.2物理体系结构（PhysicalArchitecture）

2.2.1创建数据服务器和物理架构

2.2.1.1ORACLE数据源

点击Topology-->物理体系结构-->技术-->Oracle，右键Oracle，选择“插入数据服务器”

图2-2-1插入数据服务器

在“数据服务器”的编辑框中，“定义”标签下，输入数据服务器名称，实例/DBLink（注意需要输入TNSName），用户和口令：

图2-2-2数据服务器定义

以及“JDBC”标签下的内容如下：

图2-2-3数据服务器JDBC定义

点击“确定”后，会弹出“物理架构”定义框，首先定义Oracle数据源物理架构也就是DCPSchema如下，

图2-2-3物理架构

注意：

架构是存储真正数据表的SCHEMA，工作架构是数据抽取过程中存储临时表的SCHEMA。

一般来说可以为临时表存储单独建立一个SCHEMA。

工作表前缀指的是数据抽取过程中建立的临时数据库对象的前缀，可以跟随需要修改，此处使用默认值。

点击“确定”，会弹出如下内容：

图2-2-4上下文

“确定”，忽略此信息，以后创建上下文，再为此物理架构定义上下文。

如果存在多个ORACLE的数据源或目标，请为每个数据源或目标建立一个数据服务器以及物理架构。

如下图所示：

图2-2-5多个数据服务器

2.2.1.2文件型数据源

接下来我们创建File下的数据服务器和物理架构。

在File下已经创建了一个数据服务器FILE_GENERIC指向本机和物理架构FILE_GENERIC…./demo/file。

下面添加一个物理架构指向数据文件（如CUST_JOB.TXT）所在的文件夹如d:

\sunopsis\training\20070327，右键Topology-->物理体系结构-->技术-->File-->FILE_GENERIC，选择“插入物理架构”，在“定义”标签下输入“目录”：

图2-2-5文件数据服务器

2.2.1.3其它数据源

2.2.1.3.1MICROSOFTSQLSERVER

1.拷贝JDBC驱动：

需要在ODI所在平台安装MicrosoftSQLServer2000DriverforJDBC，然后将安装路径lib目录下所有jar文件拷贝到ODI安装路径drivers目录下

2.使用topology管理器，在物理体系结构找到MicrosoftSQLServer一项，右键选择插入数据服务器，注意服务器一项要填写SQLSERVER的服务名，JDBC一项选择MicrosoftSQLServer2000DriverforJDBC即可。

2.2.1.3.2DB29.X

1.将DB2安装路径下I:

\ProgramFiles\IBM\SQLLIB\java目录中的两个文件：

db2jcc.jar和db2jcc_license_cu.jar拷贝到ODI的drivers目录中。

2.使用topology管理器，新建IBMDB2UDB下的物理数据服务器，其中JDBCdriver选择DB2UniversalJDBCDriver。

注意一定要填写架构和工作架构的用户名，否则在其后的ETL过程中会有SQL语法错误。

2.2.1.3.3SYBASEASE12.X

1.安装版本为ASE12.5。

安装完毕后，拷贝安装路径下目录jConnect-5_5\classes中的jconn2.jar到drivers目录中。

2.使用topology管理器，新建SybaseASEnterprise下的物理数据服务器，JDBCdriver选择SybasejConnectforJDBC。

注意在填写JDBCURL时，host项对应的内容要填写本机的IP地址，如果填写LOCALHOST的话连接会出错，原因是SYBASE是基于IP地址监听服务的。

2.2.1.3.4EXCEL2003

1.在系统为excel文件建立ODBC数据源

2.使用topology管理器，在物理体系结构找到EXCEL，JDBCdriver选择SunJDBC-ODBCbridge。

3.注意在使用excel作为数据服务器时，需要在excel文件中制定datastore，具体操作如下：

OracleDataIntegrator通过EXCEL中datastore的名字来识别表，在EXCEL中命名datastore，请执行以下几个步骤：

打开Excel文档，选择需要的单元格，在菜单中选择“插入->名称->定义，如下图所示

图2-2-6定义EXCELdatastore

输入名称，点击OK。

图2-2-6定义EXCELdatastore的名称

注意：

Excel表格中第一行会被OracleDataIntegrator认作是字段名称。

2.2.1.3.5ACCESS2003

与excel的设置类似。

2.2.1.3.6MYSQL

1.拷贝MYSQL的JDBC驱动到ODI安装路径下的drivers目录下

2.使用topology管理器，在物理体系结构找到MYSQL，JDBCdriver选择MySQLConnector/J即可。

2.2.1.3.7FOXPRO

1.下载FOXPROJDBCDRIVER，将jar文件拷贝至ODI安装路径下的drivers目录。

此次测试使用的FOXPROJDBCDRIVER为HXTTDBF3.0.003。

2.登陆TOPOLOGY，选择DBASE技术，新建物理架构，JDBC驱动程序填写com.hxtt.sql.dbf.DBFDriver，URL填写jdbc:

dbf:

/dbf文件所在目录。

在新建模型时注意，不要在模型里选择方向，需要手工插入数据存储，保证数据存储的结构与dbf文件的结构完全相同即可。

此时就可以在ODI看到dbf文件中的数据了。

3.FOXPRO版本应为VisualFoxpro6.0以上。

2.3上下文

在系统中已经有了一个上下文Global，我们采用此上下文，不再新建。

2.4逻辑体系结构

2.4.1创建不同技术下的逻辑结构

右键Topology-->逻辑体系结构-->技术-->Oracle，选择“插入逻辑架构”，在逻辑架构对话框的“定义”标签中输入“名称”，“上下文”以及对应的“物理架构”：

图2-4-1插入逻辑架构

如果存在多个ORACLE数据服务器，请为每个数据服务器建立一个逻辑架构。

其它类型的数据服务器建立逻辑架构的过程与以上所述类似。

2.5代理

ORACLEDATAINTEGRATOR连接数据库有两种方式，一种是直接连接，另一种通过代理来连接数据库（当数据库所在的服务器是物理隔绝时，可以在数据库服务器的前置机上安装代理，通过该代理连接数据库）。

2.5.1物理体系结构中的代理

右键Topology-->物理体系结构-->代理，选择“插入代理”，在代理对话框的“定义”标签下，输入名称、主机，可以改变端口：

图2-5-1新建物理体系结构代理

2.5.2逻辑体系结构中的代理

右键Topology-->逻辑体系结构-->代理，选择“插入逻辑代理”，在逻辑代理对话框的“定义”标签下，输入名称、上下文以及对应的物理代理：

图2-5-2新建逻辑体系结构代理

至此，Topology中的定义工作完成。

第3章数据抽取

3.1建立模型

登录Designer

图3-1-1登录设计器

3.1.1ORACLE模型

Designer-->模型，点击插入模型图标

，在模型对话框的“定义”标签下，输入名称，选择技术和逻辑架构。

图3-1-2新建模型

在“反向”标签下，选择上下文如“Global”，选择“要进行反向工程的对象类型”如“表、视图”等等，此处只选择了表：

图3-1-3新建模型—反向

然后在“选择性反向”标签下，选中“选择性反向”和“要进行反向操作的对象”，在“表名称”中选择需要做数据抽取的表：

图3-1-4反向选择表

点击“反向”，

图3-1-5反向提示

点击“是”，开始将两张表结构导入到ODI中。

反向完成后，会在Designer的模型框中看到建立好的模型：

图3-1-5模型中反向出来的表

3.1.2文件型模型

Designer-->模型中，点击插入模型图标

，在模型对话框的“定义”标签下，输入名称，选择技术和逻辑架构：

图3-1-6新建文件模型

在“反向”标签下，选择“标准”，“上下文”，“要进行反向工程的对象的类型”。

图3-1-7文件模型反向

对于文件不能使用“选择性反向”来倒入文件的结构定义。

现在点击文件模型对话框的“确定”来关闭并且保存定义了的文件模型。

在Designer-->模型中右键刚才创建的文件模型“FILE_SRC”，选择“插入数据存储”（DataStore），在“定义”标签下，输入数据模型“名称”如CUST_JOB，可以修改“别名”或者采用缺省生成的别名，选择“资源名城”为要使用的文件名称如“CUST_JOB.txt”：

图3-1-8文件模型数据存储

在“文件”标签下，定义文件的格式，

图3-1-9定义文件模型数据存储格式

在“列”标签下，点击“反向”，

图3-1-10文件模型数据存储反向

弹出如下对话框：

图3-1-11文件模型数据存储反向提示

点击“是”，开始导入文件的列：

图3-1-12文件模型数据存储反向结果

“确定”，完成文件的数据存储的导入。

3.1.3其它类型模型

类似于EXCEL或者ACCESS中文件形式的数据源，其建立模型的过程与3.1.2所述类似。

类似与MYSQL、SQLSERVER这种关系型数据源，其建立模型的过程与3.1.1所述类似。

3.2新建项目

3.2.1创建项目

Designer-->项目，点击插入项目图标

，在项目对话框的“定义”标签下输入项目名称如Training_Project：

图3-2-1新建项目

3.2.2导入知识模块（KM）

3.2.2.1知识模块含义

我们在项目里所能够遇到的一些场景（如把文件载到数据库，从Mysql数据库抓取数据放到Oracle数据库里，从DB2把数据抓取出来放在Oracle数据库里等）撇开这些数据抽取和转换工作的业务部分，其实总是可以总结为

file-->Oracle

Mysql-->Oracle

DB2-->Oracle

Oracle-->DB2。

。

。

如果撇开具体的项目不谈，这些都是一些被反复使用的场景，ODI提出了知识模块的概念，把这些场景的详细的实现步骤作为一个一个的知识模块并使用Jython脚本语言结合数据库的SQL语句录制成一步一步的步骤忠实地记录下来，这样就形成了ODI里的100多个知识模块，基本上包含了所有普通应用所涉及到的所有场景。

更方便的是，用户既可以直接使用ODI的知识模块完成数据的获取工作，也可以直接在知识模块上面做各种定制，比如某一个业务场景可能并不需要知识模块里的某一个特定的步骤，那就可以直接把该步骤删除掉从而提供更好的性能。

当然用户也可以完全自己来开发这些知识模块。

3.2.2.2知识模块分类

ODI的知识模块主要分为几个大类（CKM,LKM,IKM,SKM），其中最重要的是LKM（loadKM）和IKM（IntegrationKM）：

1.LKM：

LKM完成从源数据库数据加载到临时表。

2.IKM：

IKM完成从临时表的数据加载到目标表。

ODI认为一个数据的流动包含从源表到临时表，然后从临时表到目标表的过程，而临时表可以放在源上，或者放在目标数据库上，可以自己选择。

（当然，通过自己来改动KM也完全可以对这个概念做改动，甚至可以使用一个KM完成所有的工作）。

如下图（临时表放在目标数据库上，然后数据的转换在目标数据库上完成）：

图3-2-2知识模块示例

3.2.2.3导入

反向工程知识模块（RKM）

图3-2-3导入反向工程知识模块

选择KM导入文件夹：

ODI安装路径\oracledi\impexp:

图3-2-4选择知识模块所在文件夹

选择所有的RKM：

图3-2-5选择所有的RKM

“确定”，导入RKM

同样方法，依次导入如下知识模块。

导入正在加载知识模块（LKM）；

导入检查知识模块（CKM）；

导入集成知识模块（IKM）；

导入日记知识模块（JKM）；

导入服务知识模块（SKM）；

3.3接口

3.3.1新建接口

右键Designer-->项目-->Training_Project-->第一个文件夹-->接口，“插入接口”：

图3-3-1新建接口

接口“定义”标签：

输入名称如TGT_CUST_Int，选择上下文，注意“临时区域与目标区域不同”这个选项，如果选择该选项，则抽取过程中的临时对象（如临时表、临时视