DAC使用技能培训.ppt

1、DAC培训,吉贝克信息技术(广州)有限公司2012年4月,培训大纲,什么是DAC DAC用户界面 DAC框架结构 如何部署Informatica Workflow 其他功能 调度设计与监控,Data Warehouse Administration Console(DAC)，它是Oracle Business Analytics Warehouse architecture中的一部分（如下图）。,什么是DAC,什么是DAC,它主要用来管理Informatica中的ETL过程，也就是我们在Informatica中设计的workflow，包括workflow的执行计划，全自动的控制Full Loa

2、d和Increment Load，workflow的参数管理，控制ETL的优先顺序和负载平衡，也可以从工作流的失败点重新启动等。同时也对九据分析仓库进行管理，主要是对表表和索引进行定义，部署和管理，并且监控数据的变化。Informatica的运行需要DAC的支持，通过DAC简单方便的用户界面，我们可以很容易的控制ETL的一个流程，并可以快速的找出和解决错误。下面简单介绍DAC界面操作和基本管理方法。,什么是DAC,DAC用户界面,安装好DAC后，使用Administrator/Administrator登陆系统，可以看到如下界面。,DAC用户界面,切换到Desgin界面，我们可以在这里做主要的

3、DAC设计，主要是对Task,Subject,Areas,Tables等操作,Setup界面,切换到Setup界面，我们可以对DAC的相关信息进行设置，主要包括DAC System Properties,Informatica Serversm,Physical Data Soures,Email Recipients的配置。,Execute界面,提供创建，调度，运行和监督执行计划。,Informatica Workflow需要部署在DAC上，通过DAC来统一创建、调度和监控执行计划。在DAC内部的核心是Table,基于Table再创建Task,Task Group,基于Table会自动生成包

4、含相关Task的Subject Areas。Subject Areas是针对某相关主题所创建的，比如财务应收模块，财务总账模块，这里面包含模块里对应的ETL过程。Execution Plans将各个小模块的主题(Subject Area)组合成一个执行计划。应收和总账都属于财务模块，我们将些主题加入财务执行计划(如：Oracle R1211 Fin）中统一进行调度。Schedules是针对一个Execution Plans创建Schedule，设置该执行计划的运行周期，如按天，按月，按季度等，并可以设置起始结束日期。,DAC框架结构,DAC框架结构,如图所示为DAC主要对象的框架图：,如何部署

5、Informatica Workflow,下面介绍如何部署一个Infomatica的workflow到DAC中并进行自动控制。基本步骤如下图所示：,Setup-配置基本信息,使用Administrator/Administrator登陆系统，转到Setup,配置相关信息：配置DAC System Properties:,Setup-配置基本信息,配置Informatica Servers,创建Informatica和Repository,填入Informatica相关信息:,Setup-配置基本信息,配置Physical Data Source,创建源系统连接(ORA_R1211)和分析数据库

6、的连接(Datawarehouse):,Tools-创建Folder,通过Tools-Seed Data-Task Logical Folder,.建两个逻辑文件夹(Cux_Extract和Cux_Load),DAC框架结构,通过Tools-Seed Data-Task Physical Folders,创建两个物理文件夹(Cux_SDE_ORAR1211_Adaptor和Cux_SILOS)。注：这里的文件名应该与Informatica中的文件夹名称一致,File-创建Container,通过File-New Source System Container,输入有意义的名称,Design-创

7、建Source System Folders,通过Design-Source System Folders创建逻辑文件夹与物理文件夹的关系：,Design-引入表，索引，列,通过Design-Tables,右键选择Import From Database,引入表：以同样的方式引入索引;为Target Table引入columns;,Design-引入表，索引，列,注：有时候引入的时候不能读取到Table的信息，可以使用以下语句重新收集表信息和索引信息。,通过Design-Tasks添加Task。Command for Incremental Load:增量加载，对应的是informatica中

8、增量加载的workflow名称；Cmmand for Full Load:完全加载,对应的是Informatica中完全加载的workflow名称；其他选择对应的信息即可；选择完后点击右键-Synchronize tasks.同步任务，相应的source table和target table被同步到任务中。,Design-添加Task,Design-添加Task,Design-添加Task,如果所添加的任务.SDE(Source Dependent Extract)过程,勾上Truncate Always,Design-添加Task,如果所添加的任务.SIL(Source Independen

9、t Load)过程,勾上Truncate For Full Load,Design-S添加Subject Area,通过Design-Subject Areas创建主题，输入名称后保存，转向下面界面的Table,将这个主题所涉及的table都添加到Subject Area,Design-S添加Subject Area,引入表过后，右键选择Assemble,系统会根据提供的table信息将相关的Task自动加入到该Subject Area中,Design-添加Source System Parameter,通过Design-Parameters可以管理在mapping中使用的参数值；比如说增量抽

10、取中用到的$Last_Extract_Date以及$DATASOURCE_NUM_ID等。,Execute-添加Execution Plans,通过Execute-Execute Plans创建新的执行计划；如果在Informatica中的数据插入使用的batch mode，则需要把Drop/Create Indices勾上，在ETL过程之前自动删除索引，在ETL过后自动创建索引。,Execute-添加Execution Plans,通过Execute Plans转到Subject Areas,添加需要执行的主题；通过Execute Plans转到Parameters，点击Generate,自

11、动生成下面的参数，并且给参数指定对应的值：,Execute-添加Scheduler,通过Execute-Scheduler，创建执行计划的调度管理任务，具体根据自己的业务需求而定。这样一个完整的Informatica Workflow就部署好了。在Run History中可以看到运行的历史情况。,查看运行历史错误,将Subject Areas添加到Scheduler后，需要定时检查运行情况，有可能出现一些错误。转到Task的Tab界面，筛选出不同类别的Task,根据Details可以判断错误的来源。查看更详细的运行信息可以通赤Informatica Monitor来查看每个Session的日志

12、。,查看运行历史错误,找到对应的Workflow中失败的session,可以看到错误的原因。,查看运行历史错误,如果要追踪Informatica中每条数据的详细信息，可以在workflow中将Tracing Level改为Verbose Data,运行后可以在$InformaticaHomeserverinfa_sharedSessLogs中查看具体的日志信息。,查看运行统计信息,通过查看Run History，点击右键Get Run History,查看此执行计划的运行情况，可以根据情况来做一些调整。,有关DAC配置分区表,在数据仓库中，当一张表的数据量超过1000W，则建议使用分区表，分区

13、可以按照年，季度，月来分区，在BI APPS中建议一下数据表进行分区：,有关DAC配置分区表,1、创建分区表create table W_WRKFC_EVT_MONTH_F partition by range(EVENT_YEAR).2、创建系统参数(system parameter),有关DAC配置分区表,3、创建Index Actions,使用定义好的parameter,有关DAC配置分区表,4、创建Table Actions,使用定义好的parameter(同上)5、找到对应的index，添加actions6、找到对应的table,添加actions(主要是重新收集表索引信息)7、在w

14、orkflow relation connection中的OLAP加入以下SQLAlter session set skip_unusable_indexes=true;具体的操作步.可以参考官方文.Oracle.Business Intelligence Applications Fusion Edition Installation and Configuration GuideE12083-01,调度监控与设计,Workflows命名规范化Workflows任务组合模块化，如财务、总帐模块。Workflows之间耦合程度减少，数据流向清晰。Workflows之间参数传递单向化，减少网状参数传递。,DAC是一个调度管理工具，它的使用范围也很局限，仅适用于对Informatica 进行调度。所以在学习工具的同时更重要的是注重了解业务,在项目实践积累经验。如有不足和错误之处，请大家指正，以及时更正。,总结,The EndThank You!Q&A,