kettle日志范文模板 12页.docx
《kettle日志范文模板 12页.docx》由会员分享，可在线阅读，更多相关《kettle日志范文模板 12页.docx（10页珍藏版）》请在冰豆网上搜索。
kettle日志范文模板12页
本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！
==本文为word格式，下载后可方便编辑和修改！
==
kettle日志
篇一：
Kettle5.x使用步骤带案例超详细版
Kettle使用方法介绍
1、Kettle概念
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
2、下载和部署
下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可
3、Kettle环境配置
1.安装JDK（略）
2.测试JDK安装成功（略）
3.运行Kettle
Windows下找到$KETTLE_HOME/spoon.dat，双击运行
欢迎界面如下图所示：
4、KETTLE组件介绍与使用
4.1Kettle使用
Kettle提供了资源库的方式来整合所有的工作，；
1）创建一个新的transformation，点击保存到本地路径，例如保存到D:
/etltest下，保存文件名为Trans，kettle默认transformation文件保存后后缀名为ktr；
2）创建一个新的job，点击保存到本地路径，例如保存到D:
/etltest下，保存文件名为Job，kettle默认job文件保存后后缀名为kjb；
4.2组件树介绍
4.2.1Transformation的主对象树和核心对象分别如下图：
Transformation中的节点介绍如下：
MainTree：
菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。
DB连接：
显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。
Steps：
一个transformation中应用到的环节列表
Hops：
一个transformation中应用到的节点连接列表
核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加：
Input：
输入环节
Output：
输出环节
Lookup：
查询环节
Transform：
转化环节
Joins：
连接环节
Scripting：
脚本环节
4.2.2Job的主对象树和核心对象分别如下图：
MainTree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。
DB连接：
显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。
Jobentries/作业项目：
一个Job中引用的环节列表
核心对象菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。
每一个环节可以通过鼠标拖动来将环节添加到主窗口中。
并可通过shift+鼠标拖动，实现环节之间的连接。
4.3使用举例1
4.3.1建立转换
选中列表中的的“表输入”、“表输出”、“插入/更新”，拖拽到右侧工作区。
鼠标选中节点键盘按shift键，拖拽即可连线。
下图是一个转换，有两个动作，一是直接从数据源表同步数据到目标表，一是检查源表的插入和更新，同步到目标表。
黑色线为生效，灰色线为失效，节点和连接可双击进行编辑。
可预览数据是否正确。
篇二：
Kettle命令行使用201X0209
Kettle命令行使用说明
1.Kitchen——作业执行器（后缀名：
kjb）
是一个作业执行引擎，用来执行作业。
这是一个命令行执行工具，参数说明如下。
1）-rep:
Repositoryname任务包所在存储名
2）-user:
Repositoryusername执行人
3）-pass:
Repositorypassword执行人密码
4）-job:
Thenameofthejobtolaunch任务包名称
5）
-dir:
Thedirectory（don'tforgettheleading/or\）
6）-file:
Thefilename（JobXML）tolaunch
7）-level:
Thelogginglevel（Basic,Detailed,Debug,Rowlevel,Error,Nothing）指定日志级别
8）-log:
Theloggingfiletowriteto指定日志文件
9）-listdir:
Listthedirectoriesintherepository列出指定存储中的目录结构。
10）-listjobs:
Listthejobsinthespecifieddirectory列出指定目录下的所有任务
11）-listrep:
Listthedefinedrepositories列出所有的存储
12）-norep:
Don'tlogintotherepository不写日志
示例：
1.Windows中多个参数以/分隔，key和value之间以：
分隔
?
作业存储在文件
Kitchen.bat/level:
Basic>D:
\etl.log/file:
F:
\Kettledemo\email.kjb
?
作业存储在数据库
Kitchen.bat/repkettle/useradmin/passadmin/jobF_DEP_COMP
（Rep的值为数据库资源库ID）
2.Linux中参数以–分隔
作业存储在文件
kitchen.sh-file=/home/job/huimin.kjb>>/home/log/kettle.log
作业存储在数据库
./kitchen.sh-rep=kettle1-user=admin-pass=admin-level=Basic-job=job
2.Pan——转换执行器（后缀名：
ktr）
是一个转换执行引擎，用来执行转换。
参数与Kitchen类似，如下。
1--version显示版本信息
2--file=filename运行xml文件
3--param:
key=value指定命名参数
4--log=loggingfilename设置日志文件
5--level=logginglevel设置日志级别
Error:
只显示错误
Nothing:
不显示任何输出
Minimal:
只使用最少的记录
Basic:
这是默认的基本日志记录级别
Detailed:
详细的日志输出
Debug:
以调试为目的，非常详细的输出
Rowlevel:
使用行级记录，会产生大量的数据
返回状态：
Pan会基于执行状况返回一个错误码。
?
?
?
?
?
?
0：
转换执行成功1：
处理过程中发生错误2：
在装载或者运行时发生意外的错误3：
不能初始化转换7：
转换不能从资源库或xml中装载8：
装载步骤或插件错误（通常是装载其中一个插件错误）9：
命令行用法错误
篇三：
KETTLE安装以及学习笔记
Windows/linux下的KETTLE安装
1Windows下安装
1.1安装JDK
1.下载JDK8
2.设置环境变量
JAVA_HOME为C:
\ProgramFiles\Java\jdk1.8.0_60
在PATH中增加;%JAVA_HOME%\bin
1.2安装KETTLE
1.官网下载data-integration5
2.解压到指定目录中
3.安装完毕
1.3运行KETTLE
打开data-integration，找到spoon.bat,双击运行，进入kettle可视化界面
2LINUX下安装
2.1安装jdk
2.1.1在/usr/local新建文件夹java
mkdir/usr/local/java
把jdk安装文件jdk-8u60-linux-x64.tar.gz传入到/usr/local/java下
2.1.2安装jdk
cd/usr/local/java
tar-zxvfjdk-8u60-linux-x64.tar.gz
2.1.3配置环境变量vi/etc/profile
在最末行加入
exportJAVA_HOME=/usr/local/java/jdk1.8.0_60
exportCLASSPATH=$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar:
.
exportPATH=$PATH:
$JAVA_HOME/bin:
$JAVA_HOME/jre/bin
然后保存退出
执行source/etc/profile使之环境变量立即生效
2.1.4测试
可以小测一把jdk是否配置好了
执行命令java–version
javaversion"1.8.0_60"
Java（TM）SERuntimeEnvironment（build1.8.0_60-b27）
JavaHotSpot（TM）64-BitServerVM（build25.60-b23,mixedmode）
出现这个则说明jdk环境变量配置OK
2.1.5删除安装包
rm/usr/local/java/jdk-8u60-linux-x64.tar.gz
2.2Kettle部署
新建文件夹
mkdir–p/usr/local/kettle
将kettle的软件包data-interation.zip上传到/usr/local/kettle文件夹解压
unzipdata-interation.zip
另外将相关kettle程序代码拷贝到/usr/local/scripts目录下
[root@ada~]#mkdir.kettle
[root@ada~]#chmod775.kettle
[root@ada~]#ll-d.kettle/
drwxrwxr-x2rootroot4096Oct920:
24.kettle/
另外把其中的kettle.propertiesshared.xml文件拷贝到/root/.kettle目录下
[root@ada.kettle]#chmod664*
[root@ada.kettle]#ll
total20
-rw-rw-r--1rootroot365Sep1719:
58kettle.properties
-rw-rw-r--1rootroot14854Sep1719:
59shared.xml
修改kettle.properties文件
infilepath=/data/collect_dir/csv/
outfilepath=/data/di_dir/csv/
shellpath=/usr/local/scripts/
如果文件夹不存在建立
[root@adadata]#mkdir-p/data/collect_dir/csv/
[root@adadata]#chmod777-R/data/collect_dir/
[root@adadata]#mkdir-p/data/di_dir/csv/
[root@adadata]#chmod777-R/data/di_dir
2.3Shell脚本布置
将scripts.zip解压到/usr/local/scripts
Chmod775/usr/local/scripts
增加可执行权限
Cd/usr/local/scripts/
Chmoda+x*.sh
3常见问题
3.1新建数据库连接，点击测试报错
默认安装包中不带对应JDBC的连接驱动程序，需要下载对应数据库的连接程序（Oracle/Mysql/PostgreSQL）,将驱动库放在在lib文件夹下
Mysql驱动：
mysql-connector-java-5.1.32-bin.jar
PostgreSQL驱动：
postgresql-9.4-1203.jdbc42.jar
Oracle驱动：
ojdbc6_g.jar
3.2相关配置文件说明
windows文件路径：
C:
\Users\[用户名]\.kettle
linux文件路径:
~/.kettle/
kettle.properties：
配置变量
shared.xml：
配置公共数据库连接
3.2.1kettle.properties
infilepath=C:
\\
outfilepath=C:
\\
3.3增加日志
1.双击空白处-->跳出对话框-->选择日志选项卡-->选择日志通道-->选择日志数据库连接，填入对应的表，点击SQL，然后按确认就可以创建
3.4Kitchen执行说明
Kitchen——作业执行器
是一个作业执行引擎，用来执行作业。
这是一个命令行执行工具，没啥
可讲的，就把它的参数说明列一下。
-rep:
Repositoryname任务包所在存储名
-user:
Repositoryusername执行人
-pass:
Repositorypassword执行人密码
-job:
Thenameofthejobtolaunch任务包名称
-dir:
Thedirectory（don''tforgettheleading/or\）-file:
Thefilename（JobXML）tolaunch
-level:
Thelogginglevel（Basic,Detailed,Debug,Rowlevel,Error,Nothing）指定日志级别
-log:
Theloggingfiletowriteto指定日志文件
-listdir:
Listthedirectoriesintherepository列出指定存储中的目录结构。
-listjobs:
Listthejobsinthespecifieddirectory列出指定目录下的所有任务
-listrep:
Listthedefinedrepositories列出所有的存储
-norep:
Don''tlogintotherepository不写日志
例如：
Linux:
Windows
3.5常用内置参数
Internal.Job.Filename.Directory：
当前作业程序所在路径
Internal.Transformation.Filename.Directory：
当前转换程序所在路径
3.6如何更改kettle的java虚拟机内存
有时kettle程序用到大量排序会报内存溢出错误java.lang.OutOfMemory，可以调整下虚拟内存；建议正式环境下，如果内存充足的情况下，把参数调大写。
?
Linux下：
修改spoon.sh
篇四：
自己总结的Kettle使用方法和成果
KETTLE使用自己总结的Kettle使用方法和成果说明简介
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Kettle可以在http:
//kettle.pentaho.org/网站下载到。
注：
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。
ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
下载和安装
首先，需要下载开源免费的pdi-ce软件压缩包，当前最新版本为5.20.0。
下载网址：
然后，解压下载的软件压缩包：
pdi-ce-5.2.0.0-209.zip，解压后会在当前目录下上传一个目录，名为data-integration。
由于Kettle是使用Java开发的，所以系统环境需要安装并且配置好JDK。
?
Kettle可以在http:
//kettle.pentaho.org/网站下载
?
下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可。
运行Kettle
进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat或Kettle.exe文件。
Linux用户需要运行spoon.sh文件，进入到Shell提示行窗口，进入到解压目录中执行下面的命令：
#chmod+xspoon.sh
#nohup./spoon.sh&后台运行脚本
这样就可以打开配置Kettle脚本的UI界面。
Kettle的简单使用
首先，点击“文件—新建—转换”菜单创建一个转换。
我们可以看到转换的主对象数和核心对象区域，然后我们添加一个DB连接。
选择“注对象数”，双击“转换2”标签下的“DB连接”会弹出一个设置窗口。
填入连接名称，选择连接类型，配置数据库设置，然后测试下配置是否正确。
由于Kettle没有将所有的数据库的Driver文件集成，所以如果想连接指定的数据库，需要自己下载JDBC驱动，放入到解压目录下的lib目录中。
添加完JDBC驱动后，必须重启下Kettle才能加载驱动。
1）Oracle的JDBC驱动：
ojdbc6.jar
2）MySQL的JDBC驱动：
mysql-connector-java-5.1.32.jar
注：
在转换之前需要创建转换所需的表，原始表和转换的目标表。
点击“核心对象”标签页中的“输入”，选择“表输入”拖到“转换”区域。
双击“表输入”图标弹出表输入对话框，填入步骤名称，选择数据库连接，点击“获取SQL查询语句”，或者直接写入SQL语句，填写附件信息，点击“预览”按钮查看执行结果，没有错误，点击“确认”关闭对话框。
点击“核心对象”—“输出”，选择“Excel输出”拖入到转换区，双击Excel输出图标，弹出对话框，选择文件名和其它附加参数，点击确认。
点击输入表的图标，同时按下shift键，再点击输出文件，将两者连接起来。
然后双击Excel输出进行配置。
最后一步就是执行kettle脚本，点击工具栏上的绿色箭头即可。
点击“启动”开始转换，在转换过程中会出现转换的信息，如下图所示。
完成转换后，我们可以Excel输出目录中查看转换结果。
注：
时间字段换到Excel为空，修改SELECT语句中使用TO_CHAR转换成字符串，例如：
TO_CHAR（START_TIME,'yyyy-mm-ddHH24:
MM:
SS'）ASSTART_TIME。
注：
Excel中的记录不能超过65535条，否则会自动关闭文件，导致转换失败。
∙荐kettle错误日志
升级会员 