Informatica常用组件使用方法.docx

1、Informatica常用组件使用方法常用组件使用方法表1中列出的是informatica中的所有组件。不会在本文档中出现的会在组件名后标出。表1Aggregator Active/ Connected Performs aggregate calculations. Application Source Qualifier Active/ Connected Represents the rows that the Integration Service reads from an application, such as an ERP source, when it runs a sess

2、ion. Custom Active or Passive/ Connected Calls a procedure in a shared library or DLL. Expression Passive/ Connected Calculates a value. External Procedure Passive/ Connected or Unconnected Calls a procedure in a shared library or in the COM layer of Windows. Filter Active/ Connected Filters data. H

3、TTP Transformation Passive/Connected Connects to an HTTP server to read or update data. Input Passive/ Connected Defines mapplet input rows. Available in the Mapplet Designer. Java Active or Passive/ Connected Executes user logic coded in Java. The byte code for the user logic is stored in the repos

4、itory. Joiner Active/ Connected Joins data from different databases or flat file systems. Lookup Passive/ Connected or Unconnected Looks up values. Normalizer Active/ Connected Source qualifier for COBOL sources. Can also use in the pipeline to normalize data from relational or flat file sources. Ou

5、tput Passive/ Connected Defines mapplet output rows. Available in the Mapplet Designer. Rank Active/ Connected Limits records to a top or bottom range. Router Active/ Connected Routes data into multiple transformations based on group conditions. Sequence Generator Passive/ Connected Generates primar

6、y keys. Sorter Active/Connected Sorts data based on a sort key. Source Qualifier Active/ Connected Represents the rows that the Integration Service reads from a relational or flat file source when it runs a session. SQL Active or Passive/Connected Executes SQL queries against a database. Stored Proc

7、edure Passive/ Connected or Unconnected Calls a stored procedure. Transaction Control Active/ Connected Defines commit and rollback transactions. Union Active/Connected Merges data from different databases or flat file systems. Update Strategy Active/ Connected Determines whether to insert, delete,

8、update, or reject rows. XML Generator Active/ Connected Reads data from one or more input ports and outputs XML through a single output port. XML Parser Active/ Connected Reads XML from one input port and outputs data to one or more output ports. XML Source Qualifier Active/ Connected Represents the

9、 rows that the Integration Service reads from an XML source when it runs a session. Lookup 概要描述获得一个关联的值。例如：源里包含employee ID，但你还需要employee name。用于计算的植。例如：只是汇率或者个人所得税之类的固定数值，不是计算得出来的数据。Update slowly changing dimension tables。主要是根据条件查出原表，若查出了，就把自己添加的标志位设为真，否则就设置为假。Connected or unconnectedConnected 和 unc

10、onnected 的transformations的输入和输出是不同的，不同点如表2列出的。表2Connected Lookup Unconnected Lookup 从 pipeline获得输入。从另一个transformation的:LKP的表达式获得输入。使用静态或者动态cache。使用静态cache。Cache中包括所有的 mapping中使用到的lookup columns（就是condition中的和被标记为输出的columns）。Cache中包括所有condition中的、被标记为输出的columns以及被标记为return port的。同行能够返回多个columns 或者加载到

11、动态lookup cache中。每行只能返回一个return port (R)。如果没有匹配的数据，Integration Service会返回一个默认值。如果是动态缓存（cache），会加入一个新的行或者放着他不管。如果没有匹配的数据，Integration Service会返回一个NULL。如果有匹配的数据，Integration Service回返回一个结果包括所有被设置为输出的值。如果是动态缓存，Integration Service会任意的修改一行或者放着它不管。如果有匹配的数据，Integration Service会返回一个被设置为return port的值。输出所有的被标记为o

12、utput的符合条件的数据。返回一个值到使用:LKP调用它的表达式。用户可以设置默认值。用户不可以设置默认值。 Connected下面是Integration Service处理connected Lookup transformation的过程：1. 一个connected Lookup transformation通过pipeline从其他的transformation获得输入值。2. 为每个输入行，Integration Service会通过lookup ports 和 condition从源或者缓存中查询。3. 如果组件没有使用缓存或者使用的静态缓存，Integration Servi

13、ce会使用lookup query来返回值。4. 如果组件使用的动态缓存，当Integration Service在缓存找不到这行，它会把这行插入到缓存中。当Integration Service找到这行，它会修改这行在缓存中或者什么都不做。它标记这行是插入、修改或者是不做变动。5. Integration Service从查询中返回值到下一个transformation。如果transformation使用动态缓存，你可以把这行通过Filter 或者 Router transformation来过滤后在到目标中。unconnected 你可以在一个mapping中调用这个Lookup tra

14、nsformation多次。 下面的步骤描述了Integration Service处理一个unconnected Lookup transformation的过程： 1. 一个unconnected Lookup transformation从另一个transformation的一个:LKP表达式的结果中获得输入值，例如一个Update Strategy transformation。2. Integration Service通过transformation 中的lookup ports 和 condition来查询。3. Integration Service返回一个值到Lookup t

15、ransformation 的return port 中。4. Integration Service把值返回到:LKP表达式中。 步骤1. 添加input ports。2. 添加查询条件。3. 指定返回值。4. 从其他的组件中调用该lookup。 用途unconnected lookups多数用于：1. 在一个表达式测试一个lookup的值。2. 在查询的基础上过滤。3. 标记行基于查询的结果，例如：updating slowly changing dimension tables。4. 调用同一个查找多次在一个mapping中。Relational or flat file lookup当

16、你在建立一个Lookup transformation时，你可以选择查询flat file或者relational table。Relational你可以通过SQL来override默认的SQL，这样可以你可以加where或者查询多个表。flat file使用下面选项在使用flat file时：1. 指定源是indirect files的。2. 使用sorted输入。Tips 使用这些技巧在你配置一个Lookup transformation的时候： 给被用于查询条件的列加一个索引。 把=号放在条件的第一位。 查询的时候，完全加载小的表。 在数据库中Join tables比使用查询要高校的多。

17、 为静态cache设置固定的大小。 使用:LKP来调用unconnected Lookup transformations。Cached or uncached有时，你可以在使用lookup组件查询表的时候，把组件设置成Cached 的来提高session的速度。如果你选择了Cached ，你可以选择使用动态的还是静态的。默认的是使用静态的。Cached我们可以在一个lookup组件中为要查询的表配置cache。当第一行数据进入lookup组件的时候，Integration Service会在内存为它建立一个cache。它分配内存基于你在组件或者session的属性中配置的数量。Integra

18、tion Service把条件值保存索引cache，把output值保存在数据cache。Integration Service会为每一条进入这个组件的行查询cache。Integration Service也同样会建立cache files用$PMCacheDir（相对路径，在consol中可以配置）中默认的。如果数据不适合内存cache时，Integration Service把超出的数据保存到cache files中。当seesion结束，Integration Service会释放cache记忆和删除cache files，除非你配置组件使用持久化的cache。如果你使用flat fi

19、le lookup，Integration Service总是会把它放在cache中。如果你配置flat file lookup为sorted input，Integration Service不会把它放入cache，如果条件类不是分组的。如果这些列是分组的，但是没有sorted，Integration Service会处理这个查询的方式和没有配置sorted input一样。当你配置了lookup cache，你可以配置如下cache选项：Building caches：你可以配置session建立多个cache用串行或者并行。当你建立串行的cache时，Integration Servic

20、e会按照源行进入的顺序建立cache。当你建立并行的cache时，Integration Service不会等第一行进入Lookup transformation，就会建立cache。代替的是建立多个并行的cache。Persistent cache：你可以保存lookup cache files并重用他们在Integration Service调用一个配置使用该cache的Lookup transformation。Integration Service 对Persistent Caches的处理：Mapping or Session Changes Between Sessions Nam

21、ed Cache Unnamed Cache Integration Service cannot locate cache files. Rebuilds cache. Rebuilds cache. Enable or disable the Enable High Precision option in session properties. Fails session. Rebuilds cache. Edit the transformation in the Mapping Designer, Mapplet Designer, or Reusable Transformation

22、 Developer.* Fails session. Rebuilds cache. Edit the mapping (excluding Lookup transformation). Reuses cache. Rebuilds cache. Change database connection or the file location used to access the lookup table. Fails session. Rebuilds cache. Change the Integration Service data movement mode. Fails sessi

23、on. Rebuilds cache. Change the sort order in Unicode mode. Fails session. Rebuilds cache. Change the Integration Service code page to a compatible code page. Reuses cache. Reuses cache. Change the Integration Service code page to an incompatible code page. Fails session. Rebuilds cache. *Editing pro

24、perties such as transformation description or port description does not affect persistent cache handling. Recache from source：当持久化的cache不是同步的时候，你可以配置Lookup transformation重新建立新的cache。Static cache：你可以为所有的lookup source配置一个静态，或者只读的cache。默认的，Integration Service建立静态的cache。它为所有进入组件的lookup file或者 table 以及 l

25、ooks up values建立cache。当条件为真的时候，Integration Service从cache中返回一个值。Dynamic cache：为一个target table或者flat file source建立cache，并且向cache中插入新的行或者修改现有的行，当使用动态cache。在cache中，Integration Service动态的插入或者修改数据并且把数据传到目标中。Shared cache：你可以共享cache在多个组件之间。你可以共享一个匿名的cache在一张mapping中。你可以共享一个有名的cache在同一个或者不同的mapping中。当你没有为Loo

26、kup transformation配置cache，Integration Service为每一个输入行查询查询表。结果和处理过程是同样的，不论你是否设置cache。然而，使用cache可以改善session的性能。当被查询的表很大的时候可以使用cache最大的优化性能。Cache Comparison uncached lookup, static cache, dynamic cache的区别：Uncached Static Cache Dynamic Cache 你不可以向cache中插入或者修改。你不可以向cache中插入或者修改。你可以向cache中插入或者修改，并且可以向目标传输。

27、不可以进行flat file的查询。可以进行relational 或者 flat file的查询。可以进行relational 或者 flat file的查询。当条件为真的时候，Integration Service从表或者cache中返回一个值。当条件为假的时候，Integration Service返回一个默认值或者为非连接组件返回NULL。当条件为真的时候，Integration Service从表或者cache中返回一个值。当条件为假的时候，Integration Service返回一个默认值或者为非连接组件返回NULL。当条件为真的时候，Integration Service会根据行

28、的类型来修改或者放着它不管。你可以向目标传输修改后的行。当条件为假的时候，the Integration Service会根据行的类型来插入或者放着它不管。这意味着行不在cache或目标中。你可以把插入的行传给目标表。 Aggregator TransformationTransformation type: Active 、Connected功能概述：可以使用该组件可以进行汇总计算，如平均值和求和等。Aggregator transformation和Expression transformation不一样，在Aggregator transformation中执行计算是要分组的。Expre

29、ssion transformation只允许你执行计算在row-by-row的基础上的。当你使用transformation建立汇总表达式的时候，使用条件语句来过滤行，比SQL语句要灵活的多。Integration Service执行汇总计算，只读和储存必要的数据组和行数据在aggregate cache中的。Ports in the Aggregator Transformation （Aggregator Transformation中的port）配置Aggregator Transformation中的port，完成如下的任务：输入表达式在任何output port，使用条件或者非汇总

30、函数在该port中。建立多行汇总的output port。配置任何input, input/output, output, 或者variable port作为group port。改进性能，为后来的组件只连接必要的input/output port，减少数据cache的大小。使用变量port作为本地变量。建立一个连接像一个表达式一样。Components of the Aggregator Transformation（汇总组件的组成）汇总组件是一个active的组件，改变pipeline中的行数。汇总组件拥有下面的构成和选项：汇总表达式（Aggregate expression）：在一个ou

31、tput port中输入。可以包括非汇总表达式和条件子句。汇总函数（Aggregate Functions）你可以把一个汇总函数嵌套在另一个汇总函数中。Transformation语言包括如下的汇总函数： AVG COUNT FIRST LAST MAX MEDIAN MIN PERCENTILE STDDEV SUM VARIANCE当你使用这些函数的时候，你必须在一个汇总组件的表达式中。嵌套汇总函数（Nested Aggregate Functions）：你可以在一个汇总组件中的不同的output port中包括多个单层的函数（相对于嵌套函数）和嵌套的函数。但是你不能把他们放到一个汇总组件中。因此，如果一个汇总组件中的任何一个output port中包括一个单层函数，你不可以在任何其他的port中使用一个嵌套的函数。当你在一个汇总组件中同时包括单层函数和嵌套函数，Designer会标记mapping或者mapple