kettle使用方法说明文档.docx

kettle使用方法说明文档.docx

《kettle使用方法说明文档.docx》由会员分享，可在线阅读，更多相关《kettle使用方法说明文档.docx（18页珍藏版）》请在冰豆网上搜索。

kettle使用方法说明文档

Kettle使用方法说明文档

2010年8月24日

农电软件部

袁宏宇

1.安装程序

解压pdi-ce-4.0.0-stable.zip到任意盘符，解压后点击根目录下Spoon.bat如下图所示。

点击cancel

2.创建表到表直接抽取

本实例演示的是在数据库SG186ND下的basic_data用户里面的两个表sc_work_ticket和sc_work_ticket_test。

演示过程是建立transform将数据从sc_work_ticket抽取到sc_work_ticket_test里面。

两个表结构相同。

a）建立转换

进入系统后如下图所示，双击转换。

b）建立连接

c）建立转换步骤

点开【输入】——>【表输入】将表输入拉到右侧。

双击右侧的表输入，如下图，配置

点开【输出】——>【插入/更新】将其拉到右侧。

按住shift先后左键点击表输入和插入/更新的图标。

双击插入/更新图标，点击【获取字段】和【获取和更新字段】

用来查询的关键字保留主键SHEETID，其余删掉。

点击确定保存，点击上方

验证无错误后，点击

执行，如下图。

数据库中可以看到数据已从sc_work_ticket抽取到sc_work_ticket_test

3.创建带数据聚合的表到表抽取

本实例演示的是在数据库SG186ND下的basic_data用户里面的两个表sc_work_ticket和t_sc_work_ticket。

演示过程是建立transform将数据从sc_work_ticket抽取到t_sc_work_ticket里面。

即模拟基础表到主题表抽取过程。

a）源数据获取

转换和链接创建过程见上节说明。

将表输入step拉入图中

双击表输入，配置源连接。

b）数据分组

将【MemoryGroupby】拖入图中，并按住shift连接表输入和MemoryGroupby。

点开【MemoryGroupby】，将基础表中涉及维度的字段加入分组内。

需要聚合的度量加入到聚合内，并在名称处重命名为主题表内对应字段名称。

注：

此处聚合类型选择

如果为计数则选择【个数】。

如果为通过是否值判断个数，选择【求和】。

如果为累积值，选择【求和】。

c）时间处理

将【ModifiedJavaScriptValue】（在脚本里面）拖入图中，并按住shift连接。

点开【ModifiedJavaScriptValue】，将处理时间语句写入。

并点击下方的【获取变量】。

注：

如果需要进行其他操作（去掉空值，转码等）可在此写js语句进行操作。

d）更新/插入

将【插入/更新】（在输出里面）拉入到图中，并按住shift连接。

点开【更新/插入】，将查询关键字下方选上维度字段，更新字段下方选上聚合度量。

下图中，month_id是上部js中计算得出。

流字段下的前三个字段是第二步【MemoryGroupby】聚合得出，后三个字段是分组字段。

下图中为抽取的源数据和目标数据。

4.定时抽取设置

a）建立job

点击【文件】【新建】【作业】，如下图将【STRAT】拉入图中。

将【Transformation】拉入到图中，按住shift连接。

点开【Transformation】，将test1转换加进去，并重命名job为test1。

b）设置定时抽取

双击【START】，设定自动抽取时间。

下图中显示为每个月26日15点15分自动执行抽取。

点击

执行，如下图。

点击【Launch】，执行job。

到达指定时间后，自动执行job，然后进行下一次执行等待。

如下图。

c）命令行执行

编写test.bat内容如下

d:

\data-integration\Kitchen.bat/norep/filed:

\sg186\kettle\kettletest.kjb

其中红色部分为安装路径下Kitchen.bat文件所在位置，蓝色部分为job文件所在位置。

注意：

/norep和/file前面都有一个空格。

点击执行即可。

会出现下图所示内容，表示执行过一次job，正在等待下次执行时间继续执行，不要关闭cmd窗口即可。