中信银行ODS方法.docx

中信银行ODS方法.docx

《中信银行ODS方法.docx》由会员分享，可在线阅读，更多相关《中信银行ODS方法.docx（134页珍藏版）》请在冰豆网上搜索。

中信银行ODS方法

1、概述...........................................................................................................16

1.1、中信银行ODS项目建设背景及思路.....................................................................16

1.1.1、背景.........................................................................................................................16

1.1.2、建设思路.................................................................................................................16

1.2、中信银行ODS项目架构方法论.............................................................................18

1.3、逻辑架构...................................................................................................................20

1.4、数据架构...................................................................................................................21

1.4.1、数据架构.................................................................................................................21

1.4.2、指标.........................................................................................................................22

1.5、技术架构...................................................................................................................25

1.5.1、ETL.........................................................................................................................25

1.5.2、指标服务.................................................................................................................25

1.5.3、数据展示.................................................................................................................26

1.6、物理架构...................................................................................................................26

1.6.1、ODS总行物理架构................................................................................................26

1.6.2、ODS分行物理架构................................................................................................27

2、数据模型设计...........................................................................................28

2.1、数据模型的设计目标...............................................................................................28

2.1.1、满足OLAP分析....................................................................................................28

2.1.2、统一业务数据视图，保证数据的一致性.............................................................29

2.2、数据模型设计方法论...............................................................................................29

2.2.1、源系统调研方法论.................................................................................................29

2.2.2、源系统调研工作模板.............................................................................................31

2.2.3、数据模型设计方法论.............................................................................................33

2.3、相关概念...................................................................................................................35

中信银行ODS项目－技术方案

第3页，共281页

2.4、核心逻辑数据模型...................................................................................................36

2.4.1、主题域描述.............................................................................................................36

2.4.2、主题域关系图.........................................................................................................37

2.4.3、主题域业务规则.....................................................................................................38

2.5、数据分析模型—客户、产品和绩效主题应用.......................................................43

2.5.1、统一客户视图—客户关系管理.............................................................................43

2.5.2、统一产品视图—产品管理.....................................................................................51

2.5.3、统一渠道视图-渠道分析........................................................................................53

2.5.4、绩效考核框架.........................................................................................................54

2.6、数据模型的层次化设计...........................................................................................58

2.6.1、管道层数据模型（CDM）....................................................................................58

2.6.2、清洗和转换层数据模型（TDM）........................................................................59

2.6.3、原始层数据模型（ODM）....................................................................................59

2.6.4、逻辑数据模型（LDM）........................................................................................59

2.6.5、应用数据模型（ADM）........................................................................................60

3、数据库设计...............................................................................................61

3.1、数据量估算方法.......................................................................................................61

3.2、数据库、表分区设计方法.......................................................................................61

3.2.1、面临的问题.............................................................................................................61

3.2.2、解决方法.................................................................................................................62

3.2.3、分区及标准.............................................................................................................63

3.3、表索引设计方法.......................................................................................................66

3.3.1、索引的存储.............................................................................................................66

3.3.2、使用索引的时机.....................................................................................................66

3.3.3、索引列和表达式的选择.........................................................................................66

3.3.4、复合索引.................................................................................................................67

3.3.5、避免对大表的全表扫描.........................................................................................67

3.4、代理键设计方法.......................................................................................................68

3.5、表空间和日志空间规划方法...................................................................................69

中信银行ODS项目－技术方案

3.6、SQL优化方法...........................................................................................................71

3.6.1、一般原则.................................................................................................................71

3.6.2、表连接原则.............................................................................................................71

3.6.3、有效使用索引.........................................................................................................72

3.7、如何避免表级锁.......................................................................................................72

4、ETL设计..................................................................................................73

4.1、ETL总体方案...........................................................................................................73

4.1.1、设计原则.................................................................................................................73

4.1.2、总体架构.................................................................................................................73

4.1.3、ETL任务................................................................................................................74

4.1.4、ETL过程................................................................................................................76

4.1.5、ETL安全................................................................................................................77

4.1.6、方案特点.................................................................................................................77

4.2、ETL编程规则...........................................................................................................78

4.3、ETL流程设计原则...................................................................................................80

4.4、ETL作业调度设计...................................................................................................83

4.5、ETL作业监控设计...................................................................................................86

4.6、ETL作业开发原则...................................................................................................87

4.7、ETL作业设计原则...................................................................................................88

4.8、文件落地处理...........................................................................................................88

4.9、特殊字符处理...........................................................................................................89

5、前端展现...................................................................................................91

5.1、前端展现概述...........................................................................................................91

5.2、报表制作方案...........................................................................................................92

5.2.1、查询.........................................................................................................................93

5.2.2、报表.........................................................................................................................94

5.2.3、分析.........................................................................................................................95

5.3、报表开发过程...........................................................................................................96

中信银行ODS项目－技术方案

第5页，共281页

5.4、报表管理平台功能模块设计...................................................................................97

5.5、跨系统报表管理.............................................................