ImageVerifierCode 换一换
格式:PPT , 页数:55 ,大小:3.20MB ,
资源ID:13988481      下载积分:15 金币
快捷下载
登录下载
邮箱/手机:
温馨提示:
快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。 如填写123,账号就是123,密码也是123。
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝    微信支付   
验证码:   换一换

加入VIP,免费下载
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.bdocx.com/down/13988481.html】到电脑端继续下载(重复下载不扣费)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录   QQ登录  

下载须知

1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。
2: 试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。
3: 文件的所有权益归上传用户所有。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 本站仅提供交流平台,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

版权提示 | 免责声明

本文(数据治理平台统简介PPT课件下载推荐.ppt)为本站会员(b****1)主动上传,冰豆网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知冰豆网(发送邮件至service@bdocx.com或直接QQ联系客服),我们立即给予删除!

数据治理平台统简介PPT课件下载推荐.ppt

1、,4,项目目标,围绕国开行数据平台建设,提供针对数据生命周期的管控机制,体现为以下几个出发点:数据标准规范化-规范化管理构成数据平台的业务和技术基础设施,包括数据管控制度与流程规范文档、信息项定义等。数据关系脉络化-实现对数据间流转、依赖关系的影响和血缘分析。数据质量度量化全方位管理数据平台的数据质量,实现可定义的数据质量检核和维度分析,以及问题跟踪。数据服务电子化-为数据平台提供面向业务用户的服务沟通渠道。,5,数据治理平台构成与定位,ODS,Schemas,数据集市,数据流,数据平台,管理行内数据标准,管理平台元数据,进行数据影响、血缘分析,管理平台数据质量,提供平台沟通渠道,核心业务系统

2、,信贷业务系统,信用风险管理系统,系统,管理会计,风险,数据标准,元数据管理,数据质量管理,数据服务,分析类应用系统,数据抽取,数据提供,6,对数据平台业务的支持数据标准,7,对数据平台业务的支持元数据,数据服务,元数据子系统,元数据管理员,数据平台,数据源系统,数据抽取,查询数据平台相关元数据,为开发应用提供参考,数据变更影响评估申请,数据变更影响分析 数据问题血缘分析,应用开发者,8,对数据平台业务的支持数据质量,数据质量检核,业务部门,应用开发者,数据质量管理员,定义检核需求与规则 分析数据平台数据质量 发现、发布数据检核问题,了解本机构特定系统数据质量 提出业务数据质量检核需求,针对数

3、据质量问题提出完善建议,9,对数据平台业务的支持-数据服务,10,数据治理相关系统关系,AD(目录)系统,统一用户管理系统,数据平台,数据服务子系统,数据质量管理子系统,元数据子系统,数据标准子系统,提供标准相关元数据,提供库表结构元数据,执行检核,提供检核系统元数据,统一认证与用户管理模块,登录认证,用户与机构信息同步,单点登录与角色管理,数据治理平台,11,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,12,13,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与

4、用户管理模块,议题,14,功能需求,管理全行数据相关的标准和规范,提供数据标准的查询与反馈等功能。,15,应用界面,16,应用界面,数据标准文档管理,数据标准制订,数据标准导入,数据标准文档 版本管理,17,应用界面,数据标准信息项管理,公共代码管理,数据标准管理,18,应用界面,数据标准反馈意见,查看反馈意见,反馈意见,19,逻辑架构,20,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,21,功能需求,对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管理,实现数据间的血缘分析和影响分析。,2

5、2,功能需求,23,应用界面,24,业务元数据,报表表头,报表清单,报表表头定义,报表表样导出,应用界面,25,业务元数据,报表指标,查看指标相关ER图,应用界面,26,技术元数据,影响分析,应用界面,27,逻辑结构,28,采集适配器,元数据采集适配器是一种驱动和解析器,用来接收、解析各种不用类型数据源的数据,将有效的元数据存入模型,并建立关系。在本期项目中,元数据管理系统的接口提供以下几种适配器:库表结构适配器、PowerCenter适配器、E/R Win适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。,29,元数据存储结构,元数据存储模型层包括两部分内容:元模型定义,

6、即通过XML实现对象、对象关系及对象行为等的定义。元数据实例存储,元数据实例存储到关系数据库中。,30,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,31,系统目标,根据“数据质量检核管理办法”中PDCA方法论,基于现有数据平台,对其上数据进行全质量生命周期的管理,包括质量问题的定义、检核监控、发现分析、跟踪反馈。,检核调度,检核对象,收集需求,分析规则,规则库,执行,问题数据,修正,检核需求,检核指标,检核调度管理,数据质量检核分析,数据质量问题管理,数据质量趋势分析,数据质量知识库,32,数据质量度量分类,33,功

7、能需求,34,功能需求,35,检核系统管理,应用界面,36,检核指标管理,主键唯一,应用界面,37,检核调度策略管理,业务解决方案,应用界面,38,数据质量检核分析,问题分布分析,批次对比分析,应用界面,39,数据质量问题管理,问题发现,应用界面,40,逻辑结构,三个层面:定义层:定义作为系统功能的核心-数据质量检核,所需使用对象、指标、调度策略等配置信息;执行层:使用已定义的检核配置信息,对数据平台数据进行检核;分析层:对检核执行结果进行定量、定性的分析与处理。前后端:前端:用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能;后端:系统根据检核策略在后台自动执行,无需

8、与用户交互。,41,检核调度与分派,42,检核规则处理器类别,存储过程:固定SQL,存储过程:自定义SQL,固定Java程序,自定义Groovy规则脚本,固定,自定义,简单,复杂,43,Groovy脚本示例,ackage groovyimport java.sql.Connectionimport java.sql.ResultSetimport groovy.sql.Sqlimport cn.cdb.backend.RuleHandler/*author 马春宇 2008-11-11*/public class exampleGroovyRuleHandler extends RuleHan

9、dler/groovy数据库执行句柄def sql_DQDB,sql_DPDBvoid init(long KPP_BH,Connection CONNS)super.init(KPP_BH,CONNS)sql_DQDB=new Sql(conns0)sql_DPDB=new Sql(conns1)/该方法目标:定义扫描检核目标表的SQL语句。/sqlHead=select t0.rowid as DQMS_rowid,t0.ContNo as DQMS_logicalPK,t0.*from ODS_EFF.CDBCT_CONT_INFO t0;private String getSqlSca

10、nTarTable(String sqlHead)String sqlScanTarTable;String cusClause;/-自定义部分-开始cusClause=where(t0.TranSourCoun is null or trim(t0.TranSourCoun)=)and t0.data_end_date=99999999;/-自定义部分-结束sqlScanTarTable=sqlHead+cusClause;return sqlScanTarTable;/该方法目标:描述对单记录的检核规则,如是问题记录则返回false,否则返回trueprivate boolean exeS

11、ingleRecCheck(ResultSet rs)boolean succFlag=false;/-自定义部分-开始String CredStatNo;CredStatNo=rs.getString(CredStatNo);def it=sql_DPDB.firstRow(select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo=?,CredStatNo)if(it.LoanType in 51,52,53,54)succFlag=true;/-自定义部分-结束return succFlag;,44,采用技术,前端基于Ext

12、 Ajax、Spring、hibernate技术实现:检核配置定义数据质量问题管理知识库管理数据质量对比分析、检核报告系统管理基于Cognos报表系统实现数据质量分布与趋势分析后端基于Java、多线程技术实现检核调度与分派基于数据库Job Schedule、存储过程实现存储过程检核策略基于Groovy脚本技术实现复杂自定义检核规则的执行,45,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,46,数据平台服务单流程,47,功能需求,48,数据服务审核,审核申请,功能界面,服务分配,49,功能界面,数据服务实施,任务创建,任务签收,服务验收,50,逻辑结构,控制层逻辑,业务实体关系,51,统一认证与用户管理模块,实现数据治理平台四个子系统的单点登录,及统一的用户和角色管理。,52,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,53,用户访问,访问,用户认证,单点登录,用户信息获取,平台子系统,登入,保持用户身份,平台主控界面,访问子系统,验证用户身份,进入子系统,54,实现逻辑,单点登录,行内用户统一管理全量增量,55,谢谢!,

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1