中信银行ODS方案.docx

中信银行ODS方案.docx

《中信银行ODS方案.docx》由会员分享，可在线阅读，更多相关《中信银行ODS方案.docx（111页珍藏版）》请在冰豆网上搜索。

中信银行ODS方案

1、概述...........................................................................................................16

1.1、中信银行ODS项目建设背景及思路.....................................................................16

1.1.1、背景.........................................................................................................................16

1.1.2、建设思路.................................................................................................................16

1.2、中信银行ODS项目架构方法论.............................................................................18

1.3、逻辑架构...................................................................................................................20

1.4、数据架构...................................................................................................................21

1.4.1、数据架构.................................................................................................................21

1.4.2、指标.........................................................................................................................22

1.5、技术架构...................................................................................................................25

1.5.1、ETL.........................................................................................................................25

1.5.2、指标服务.................................................................................................................25

1.5.3、数据展示.................................................................................................................26

1.6、物理架构...................................................................................................................26

1.6.1、ODS总行物理架构................................................................................................26

1.6.2、ODS分行物理架构................................................................................................27

2、数据模型设计...........................................................................................28

2.1、数据模型的设计目标...............................................................................................28

2.1.1、满足OLAP分析....................................................................................................28

2.1.2、统一业务数据视图，保证数据的一致性.............................................................29

2.2、数据模型设计方法论...............................................................................................29

1.7、源系统调研方法论.................................................................................................29

1.8、源系统调研工作模板.............................................................................................31

1.9、数据模型设计方法论.............................................................................................33

1.1.3、相关概念...................................................................................................................35

中信银行ODS项目－技术方案

第3页，共281页

1.1.4、核心逻辑数据模型...................................................................................................36

1.4.3、主题域描述.............................................................................................................36

1.4.4、主题域关系图.........................................................................................................37

1.4.5、主题域业务规则.....................................................................................................38

1.1.5、数据分析模型—客户、产品和绩效主题应用.......................................................43

1.5.4、统一客户视图—客户关系管理.............................................................................43

1.5.5、统一产品视图—产品管理.....................................................................................51

1.5.6、统一渠道视图-渠道分析........................................................................................53

1.5.7、绩效考核框架.........................................................................................................54

1.1.6、数据模型的层次化设计...........................................................................................58

1.6.3、管道层数据模型（CDM）....................................................................................58

1.6.4、清洗和转换层数据模型（TDM）........................................................................59

1.6.5、原始层数据模型（ODM）....................................................................................59

1.6.6、逻辑数据模型（LDM）........................................................................................59

1.6.7、应用数据模型（ADM）........................................................................................60

3、数据库设计...............................................................................................61

1.10、数据量估算方法.......................................................................................................61

1.11、数据库、表分区设计方法.......................................................................................61

1.1.7、面临的问题.............................................................................................................61

1.1.8、解决方法.................................................................................................................62

1.1.9、分区及标准.............................................................................................................63

1.12、表索引设计方法.......................................................................................................66

1.4.6、索引的存储.............................................................................................................66

1.4.7、使用索引的时机.....................................................................................................66

1.4.8、索引列和表达式的选择.........................................................................................66

1.4.9、复合索引.................................................................................................................67

1.4.10、避免对大表的全表扫描.........................................................................................67

1.13、代理键设计方法.......................................................................................................68

1.14、表空间和日志空间规划方法...................................................................................69

中信银行ODS项目－技术方案

1.15、SQL优化方法...........................................................................................................71

1.5.8、一般原则.................................................................................................................71

1.5.9、表连接原则.............................................................................................................71

1.5.10、有效使用索引.........................................................................................................72

1.16、如何避免表级锁.......................................................................................................72

4、ETL设计..................................................................................................73

1.6.8、ETL总体方案...........................................................................................................73

2.3、设计原则.................................................................................................................73

1.17、总体架构.................................................................................................................73

1.18、ETL任务................................................................................................................74

1.19、ETL过程................................................................................................................76

1.20、ETL安全................................................................................................................77

1.21、方案特点.................................................................................................................77

1.1.10、ETL编程规则...........................................................................................................78

1.1.11、ETL流程设计原则...................................................................................................80

1.1.12、ETL作业调度设计...................................................................................................83

1.1.13、ETL作业监控设计...................................................................................................86

1.1.14、ETL作业开发原则...................................................................................................87

1.1.15、ETL作业设计原则...................................................................................................88

1.1.16、文件落地处理...........................................................................................................88

1.1.17、特殊字符处理...........................................................................................................89

5、前端展现...................................................................................................91

1.4.11、前端展现概述...........................................................................................................91

1.4.12、报表制作方案...........................................................................................................92

1.5.11、查询.........................................................................................................................93

1.5.12、报表.........................................................................................................................94

1.5.13、分析.........................................................................................................................95

1.4.13、报表开发过程...........................................................................................................96

中信银行ODS项目－技术方案

第5页，共281页

1.22、报表管理平台功能模块设计.........................