ETL平台案例实战.docx

1、ETL平台案例实战 ETL平台案例实战Lab1任务开发和调测1.1通过插件配置完成一个简单的ETL开发.1.2手动本地方式运行ETL.1.3跟踪本地方式运行日志.1.3强制停止本地方式任务实例.1.4手动远程方式运行.1.5跟踪远程实时运行日志.1.3强制停止远程方式任务实例.1.4使用JS插件动态获取时间变量.1.4添加注释.1.6小结(Lab1).Lab2流程设计和调测2.1创建一个单层流程.2.2创建一个多层的流程.2.3增加一个数据校验点2.4增加一个数据校验点2.5增加异常告警点2.6小结(Lab2).Lab3流程监控2.1增加一个监控视图.2.2通过监控视图查看流程执行状态.2.3

2、查看流程运行时间记录.2.3查看校验点输出结果.2.3定位异常.2.3重处理任务.2.6小结(Lab3).Lab1任务开发目标：将表从数据源库复制到本地库。1. 登陆进入ETL平台，切换到“设计”场景下；2. 展开目录，定位到目录“09测试”下“lab”子目录；3. 右键单击“lab”子目录，选择“新建任务”，弹出任务设计视图，按Ctrl+S或工具栏上的保存按钮进行保存，命名为“T-lab01”，按确定后确认保存成功；4. 切换左侧TAB页签至“插件”栏下，依次从“输入”文件夹拖入“表输入”插件，从“表输出”文件夹中拖入“表输出”插件；5. 选中右侧设计区中“表输入”插件实例，按住shift键

3、同时按下鼠标连接至“表输出”，再次保存；6. 双击“表输入”插件，进入插件参数配置界面。点击“新建”按钮新建出源表所在的数据库连接，假定源表在166的crm_inter用户下：将数据库连接取名为LAB(166_crm_inter)7. 点击“测试”，确认配置正确。点击“确定”返回，在当前页面，再次点击“数据库连接”后的“新建”按钮，按6同样的方法新建出目标库，这里假定是134的eda用户下，连接名取为“LAB(134_eda)”8. 返回到“表输入”插件配置表单。将名称改为带业务含义：“主产品实例源表（562）”，数据库连接选择“LAB(166_crm_inter)”，在SQL域填入以下内容：

4、SELECTPRD_INST_ID,PRD_INST_NAME,PRD_INST_DESC,PRD_INST_TYPE_ID,SERVICE_NBR,PHYSICAL_NBR,CUST_AGREEMENT_ID,REGION_ID,SERV_REGION_ID,EXCH_ID,RES_ZONE_ID,URBAN_FLAG,URGE_CD,PRD_INST_STAS_ID,PAY_CUST_ID,USE_CUST_ID,OWN_CUST_ID,CRT_DATE,EFF_DATE,EXP_DATE,MOD_DATE,EFF_STATE,LATN_ID,PRD_ID,OFR_ID,COMPLETE_

5、DATE,SERV_NUM,INSTALL_ADDR,STAND_ADDR,ORDER_ID,CONTRACT_ID,EVOLUTION_PTY_ID,ACCT_ID,USER_BILL_ID,USER_TYPE_ID,USER_KIND_ID,ACCEPT_DATE,ACCEPT_EMPEE_ID,ACCEPT_TYPE_COD,INSTALL_DATE,INSTALL_EMPEE_ID,SUPP_ADDR_DESC,SEND_STATUS,LAST_ORDER_ID,DEV_EFP_DATE,DEV_EXP_DATE,BESP_DATE,BESP_SYMBOL,BILL_DATE,BILL

6、_XCHG_ID,PAY_CYCLE,USER_ACCOUNT,IF_PREPAY,IP_FLAG,BASIC_STATE,EXT_STATE,VOICE_AOC_TYPE,DATA_AOC_TYPE,ISMP_AOC_TYPE,SMS_AOC_TYPE,USE_CUST_NAME1,USE_CUST_NAME2,USE_CUST_NAME3,BUSI_NAME,USE_ADDR,IF_IVPN,LOAD_DATE,LOCAL_PARTITION_IDFROMtb_prd_prd_inst_d_562WHERErownum“START”插件，切换至“资源库”，选中LAB1中的案例；切换回“插件

7、”页签，拖入“脚本”-“shell”插件；连线成如下形式；4. 配置shell1参数内容，使其指向我们的一个外部程序，参数暂时制定常量值；5. 修改节点名称成如下形式，便于理解。现在一个流程已经设计完成。下面我们开始流程的测试。6. 为了快速看到效果，将第一个任务的记录数限制到10万行；7. 点击启动按钮，由于脚本在远程主机服务器上，因此只能选择“远程执行”；8. 启动后，自动弹出的服务器监控中心中，可以找到对应的流程和任务记录：同样，在执行结果栏中，刷新后能看到执行记录：9. 右键设计区的任务实例：可以看到下方“执行结果”区域有该任务的执行记录，每运行一次产生一条记录；再次查看监控中心日志：

8、待完成后，通过SQL语句查询结果表数据：select*fromlab_ft_prd_instt2.2创建一个多层的流程.13目标：我们将引用Lab2.1中的流程，模拟全省数据的处理流程。先并行做完3个地市的数据处理后，再做下一步的环节。单本地网做接口表抽取、基础集市表数据整合，全省做完这两步后，再进行基础集市表向汇总集市表的生成。1. 双击T-lab02-01中的任务实例打开，通过另存为形成lab目录下的副本，存为“T-lab03-01”,在该例子中我们将对其做少量调整；2. 打开“T-lab03-01”的“任务设置”选项；3. 通过“参数”页签增加p_latn变量，使其成为可被复用的任务；4

9、. 修改任务名称如下：5. 修改任务配置内容，使其中的562以变量形式替换：6. 现在可以测试该任务，远程方式启动，在p_latn参数中输入562：通过弹出的服务器监控页签确认任务正确运行完毕；将“J-lab02-01”另存为“J-lab03-01”，修改其中的结点名称及配置项信息：增加流程“J-lab03-01”的预设参数：现在我们可以测试一下流程的执行情况，仍然选择远程方式启动。该流程需输入日期和本地网两个参数。通过弹出的服务器监控页签确认任务正确运行完毕；7. 新建一个流程，保存为“J-lab03-02”。在其中重复拖出三份J-lab03-01（可配置好一个后复制），并做如下连线，模拟并

10、行方式运行三个地市的数据：其中J-lab03-01实例的配置参考，564,566规则一致；设定并行方式运行：连线变成虚线即为生效。预设“J-lab03-02”自身的流程参数：8. 现在我们可以测试一下“J-lab03-02”的运行情况：9. 发现运行出错，其中除了562运行正确外，其它都是错，原因是接口目标只建了562的。补充其它两张表的建立：createtabletb_prd_prd_inst_d_564asselect*fromcrm_inter.tb_prd_prd_inst_d_564edwwhere1=2;createtabletb_prd_prd_inst_d_566asselec

11、t*fromcrm_inter.tb_prd_prd_inst_d_566edwwhere1=2;再运行一次，确认成功后，通过SQL语句统计结果信息：selectlatn_id,count(*)fromlab_ft_prd_instgroupbylatn_id;新建一个流程，命名为“”保存，拖入以下结点再保存；J-lab03-02作为这里的一个子流程；为汇总脚本程序录入信息：向“J-lab03-02”子流程传递参数：为“J-lab03-03”当前流程预设参数：到此，我们可以对J-lab03-03进行测试，运行完毕后，可以执行以下语句确认结果：selectlatn_id,count(*)from

12、lab_dm_serv_numgroupbylatn_id;Lab3流程监控1. 新建一个监控视图2. 右键视图设置：重命名为LAB01,3. 从资源库中拖入我们已设计好的流程“J-lab03-03”，通过画框和颜色设置功能调整外观；4. 保存并发发布监控视图：5. 切换到“监控”场景下，从左侧“监控”目录定位到“LAB01”,双击打开。可以看到绿色的状态脚标，这是我们之前运行成功的记录，由于监控周期设置为一天，显示的一天内能找到的最新的实例状态。6. 双击“J-lab03-03”流程，打开流程明细；可以看到，其中的子流程和脚本任务都是运行正常的；并且在下方运行结果中可以看到运行的开始时间、结

13、束时间、耗时。7. 再双击“J-lab03-03”流程中的“J-lab03-02”流程，查看子流程明细；现在重启整个流程，查看各流程和任务的处理状态；8. 在“J-lab03-03”9. 切换至监控视图页，逐层查看各层的状态，看是否与下列图片符合：稍等片刻，所有结点又会变成成功的绿色图标。现在我们演练一下流程报错的情况，查看各流程和任务的处理状态；10. 通过SQL语句删除掉其中一个中间表：droptabletb_prd_prd_inst_d_566;11. 在“J-lab03-03”12. 切换至监控视图页，逐层查看各层的状态，看是否与下列图片符合：现在我们演练一下重运行处理的操作。新增加一

14、个数据校验点.13. 转到”设计”场景下,打开“J-lab03-03”流程，通过”资源库”下，增加一个Gereral-DataVerify插件。 首先，我们希望校验结果表中3个地市的数据是否全部到位，下面将在拖出的校验插件上配置这样的规则项：14. 双击校验插件，重命名名称为“资料结果汇总校验”，单击“添加规则”按钮；15. 在弹出的表单中重命名为“数据完整性校验（全省数据是否到位）”；16. 进行规则SQL项的配置：在ETL平台的校验设计体系下，所有的校验被抽象成一双成对的数据集比对过程，这两个数据集分别由两个自定义的SQL查询语句来驱动，并通过匹配键值自动进行数据关联，对每一条结果集记录判

15、断是否通过按预设规则。同时，输出结果可以按照自定义的表头设定显示，形成一张直观的小型报表。校验支持多记录、多维度、多度量指标、内嵌变量。该例中，校验对象值是当前数据中不同本地网个数，参考对象值为常量3，不存在匹配的维度字段，由于统一设计的考虑，需要虚拟出一个*字段，用作校验对象与参考对象的匹配键，并取别名ColId。校验对象： SELECT*asColId,count(DISTINCTlatn_id)aslatn_countFROMlab_dm_serv_numaWHERE参考对象：SELECT*asColId, 3asRef_countFROMduala设置“校验对象”查询SQL,配置后点击

16、“SQL结果预览”验证是否输出征程。注意：这里的SQL语句不允许以;号结束。设置“参考对象”查询SQL。 在“校验结果”页签中，进行校验对象与参考对象结果集关联键的设置过程，选定COLID作为关联键，删除其它字段。 按图示的1、2、3、4、5操作顺序配置如下。 5中表达式定义的规则为：将当前值与参考值（这里是3）进行加减运算，结果值一定要为0，否则视为校验失败。 在“输出结果”页签中配置输出结果的表头显示信息，按照业务需要定义如下：我们现在可以将整个“J-lab03-03”流程运行一次，待校验插件执行成功后，通过右键“查看校验结果”查看结果信息。 当看到如下信息时，标明配置过程是成功的。 上面

17、的规则只设计到对一个单记录与常量进行比较，下面将演练一个更为典型的校验场景。17. 双击现有校验插件实例，增加一个新的规则，命名为“按地市校验用户数波动”。配置目标是：拿今天的数据按地市groupby聚合统计用户数，与昨天进行比较，在产品类型粒度进行逐个比较，查看是否存在波动较大的情况。设置校验对象： SELECTlatn_id,sum(serv_num)asserv_numFROMlab_dm_serv_numaWHEREgroupbylatn_id设置参考对象：(这里直接用当日数据模拟前日数据)SELECTlatn_id,sum(serv_num)+1000asserv_numFROMlab_dm_serv_numaWHEREgroupbylatn_id 设置关联字段和校验公式，这里我们设置阀值为正负10%以内； 设置结果输出表头信息，这里我们可以选定波动比#.#格式保留两位小数再次运行流程，验证是否能输出如下记录；