ETL业务开发指导文档Word文档格式.docx
《ETL业务开发指导文档Word文档格式.docx》由会员分享，可在线阅读，更多相关《ETL业务开发指导文档Word文档格式.docx（22页珍藏版）》请在冰豆网上搜索。
1.ETL概述
1.1ETL是什么
【ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。
】
1.2适用范围
【说明:
将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中】
1.3工具和配置
1.3.1工具的下载
这边开发所使用的工具是HUAWEI_ETL_Client免安装版。
工具ftp地址:
192.168.8.13public/public
工具路径:
soft/HUAWEI_ETL_Client.rar
除此之外还要下载jdk1.5
1.3.2配置
到ftp上面下载完etl开发软件解压之后，用记事本在根目录打开client.bat
其中JAVA_HOME就是刚才你下载的jdk1.5的安装之后的目录.
运行这个工具必须断开iAccess，断开iAccess
1.4新建ETL用户
断开iacess后，双击client.bat,使用管理员用户登录:
admin/admin@123456
比如我想建立一个etl_test的用户,操作如下:
激活用户是给很久没登录的用户激活的
注意一定要指定你的用户角色为SysAdmin；
出现保存成功提示框，说明你的用户创建成功。
开发的时候使用你自己创建的用户登录开发。
2.ETL开发
以我20版本的REQ-2306-SMU-ETL01ELT三种话单入库这个需求中其中一个渠道营销参数话单入库为例:
SVN路径:
https:
//119.145.14.33:
3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/REQ-2306_软件需求分析文档_平台侧渠道智能推荐需求.docx
2.1新建ELL
1.到ELT客户端上面，新建包:
比如我新建的包是bi_test
2新建控制流etl_test
3.新建数据流
2.2控制流配置
1.双击刚才新建的etl_test控制流
业务的ETL简单的流程基本上我们只会用到空白，外部程序，FTP下载，转换任务,存储过程.
空白：
一般是任务开始和结束的描述就像流程图六边形的开始和椭圆形结束；
外部程序：
这个一般是调用Linux某个目录下的shell脚本进行某些操作;
FTP下载:
如名字，从某个FTP上面下载某个话单文件；
转换任务:
一般将话单文件中的内容入到某个数据库与之对应的某个表（临时表）中;
存储过程：
就是讲刚才转换任务某个数据库中临时表中的数据入到数据库中同义词指定的AB表中。
大致流程如下：
操作步骤:
2.2.1外部程序配置
双击外部程序_删除原始话单
双击外部程序_删除原始换单任务，将执行节点选择为node1
点击外部命令选项卡,设置外部命令
[script_dir],[data_dir]这类带[]都是在系统参数那边配置的
sh[script_dir]/rmcdr.sh（192.168.8.28etl/etl）这句话的意思是执行/home/etl/script目录下的rmcdr.sh这个脚本用于删除话单文件
[data_dir]/bi_rankcdr/etl_testchannel_code_（182.168.8.193etl/etl）这个是你话单文件存放的地址
channel_code_这个是你话单文件的前缀，以我2306的需求为例:
在https:
3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/渠道图书级阅读关联推荐接口.docx这个文档中
文件命名规则channel_code_日期.txt
2.2.2FTP下载_BI_原始话单
跟上面删除原始话单一样，在基本属性选项卡中，设置执行节点为node1；
在Ftp参数选项卡中做如下设置:
文件模式就是你话单文件;
ftp服务器这个是在系统参数设置的
如果你修改和或者新建了一个ftp记得要发布才可以使用
本地目录就是从ftp下载换单存放的路径;
远程目录就是ftp话单存放的地址，这个是文档上面约定好了
channel_cdr_market_remote_dir在系统参数中配置的就是./client
2.2.3转换
跟上面一样在基本属性中执行节点选上node1,选上刚才新建的数据流load_etl_test:
2.2.4存储过程
跟上面一样在基本属性选项卡中将执行节点选择node1，存储过程选项卡中做如下配置
数据库这个是在系统参数配置，数据库中配置的
如果你修改了或者新建了一个数据库，要发布才可以使用
数据库模式其实就是用户名
存储过程就是你在这个库中将话单入到AB表的存储过程
状态返回值就是返回成功或者失败的标识..
21版本之后有了通用的存储过程:
全量的是prc_etl_sync_cdr_all
增量的是prc_etl_sync_cdr_increment
2.3数据流配置
双击刚才新建的数据流load_etl_test
以
文件抽取，
oracle装载为例。
2.3.1话单抽取
话单抽取做如下配置
文件路径就是话单存放的路径;
这是话单中每个字段的分隔符
文件名就是你话单的名称;
这图中配置是对话单中的文件的内容的描述
2.3.2话单入库
话单入库输出设置做如下设置
表是话单表也就是上面所说的临时表;
映射关系设置:
2.4ETL测试
2.4.1测试准备工作
在193（充当bi侧）服务器约定好的目录存放指定规格的话单
以我2306需求为例:
3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/渠道图书级阅读关联推荐接口.docx
渠道营销参数接口
根据文档上的要求在193服务器上面放置话单文件:
发布刚才新建的etl控制流
打开etl测试页面:
http:
//192.168.8.28:
8080/etl/monitor/login.jsp
再双击test
出现绿色则执行ok
3．ETL注意事项
3.1环境
重启ETL服务
/home/etl/meta--1元数据
/home/etl/control--2控制中心
/home/etl/node1--3节点
/home/etl/etl_monitor--4监控
停止应用：
停止时的顺序4、3、2、1
启动应用：
启动时的顺序1、2、3、4
3.2归档文件
归档时需要将本次开发新增的包（包括下面的控制流和数据流）进行导出，在客户端中选择新增的包然后右键点击选择“导出”，将导出的xml放入相应的归档目录下,同时还需要提供一份升级指导书，由于导出的xml不包含新增的系统参数等，所以新增的系统参数需要列出来，升级人员手动进行添加。
需要注意的是导出xml之前，数据库服务器和FTP服务器之前已经上线的BI需求可能已经创建，所以需要确认现网用的FTP服务器和数据库服务器（用户名也要模拟个一样的）这样导出的xml在现网才能直接用，不然现网还要一个个进行配置的更改才能是使用。
3.3错误日记查看
用ftp工具登录到etl服务器（192.168.8.28etl/etl）
/home/etl/node1/log/node这是etl日记存放的路径
上面2013开头的是日期，你哪天执行的etl你就到对应的日记文件夹中查看你的日记
3.4常见错误
1.建立的话单表（表）不要建立主键和索引，索引可以建立在同义词指向的AB表;
3．参考文档
文档某些地方写的不够详细，可以参考下面的文档
3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/10_培训材料/SMU/分享/ETL相关/ETL客户端使用简介.pptx
升级会员 