智慧银行数据中心应用平台总体规划.docx
《智慧银行数据中心应用平台总体规划.docx》由会员分享,可在线阅读,更多相关《智慧银行数据中心应用平台总体规划.docx(14页珍藏版)》请在冰豆网上搜索。
智慧银行数据中心应用平台总体规划
智慧银行
数据中心应用平台总体规划
2021年1月
第1章项目概述
1.1项目背景
目前,银行已经建立了可以覆盖全省的网络中心,1个营业部33个机构网点主要分布在德阳市、成都市、广汉市、什邡市、绵竹市、罗江县、中江县。
并且,随着业务的发展,行内已拥有28个业务系统,目前有28个业务系统:
信贷系统、核心系统(改造中)、财务系统、中间业务、大额支付、小额支付、银联前置、微贷系统、网上银行系统、ATM&POS&CC、黄金交易系统、短信系统、第三方存管、支付宝前置、实物票据管理系统、网银跨行转账、电票系统、工商行政验资、支票影像、财税库银、身份核查、柜面通、城商行清算中心、电子回单柜系统、同城票据交换、银医联名卡系统、理财业务系统、渠道平台。
Ø业务系统现状
✓核心系统目前正在改造,综合报表系统(包含1104报表、人行支付报表、反洗钱报表、行内监管报表)待建。
✓信息技术部针对目前应用系统对业务系统的数据使用情况出台了一套数据使用标准、规范,目前还没有进入到具体实施阶段。
Ø数据使用现状
目前行内所使用的各种应用和来源数据之间交叉成网状。
众多业务系统的建立使我行的业务在准确性、实时性上得到了极大的提高,同时也降低了业务人员的办公出错概率。
虽然,电子化系统能极大的提高业务效率,但是,随着电子化系统的不断增多,其存在的缺点也逐渐的暴露出来:
Ø数据孤岛,使得各业务系统之间数据共享困难。
Ø不同业务系统的相同指标数据有可能不一致,使得系统之间的衔接困难,不能满足后续应用系统的快速构建的需要。
Ø大量数据冗余。
Ø为满足多个应用系统,需要同时对多个源系统进行频繁数据采集,且每个应用系统都会向源系统采数,效率不高,对源系统的压力较大。
Ø不能满足后续应用系统快速构建的需要。
Ø每个系统的开发商不同,其数据模型和标准也不同,数据的可用程度降低。
这些缺点,降低了行内数据的数据抽取、数据转换、数据整合、数据加载、数据归档、数据监控调度等,影响了相关部门对数据的管理分析。
1.2项目目标
数据中心应用平台项目的目标是:
Ø解决目前我行各业务系统数据间存在的数据孤岛、数据冗余、数据标准化的问题。
Ø整合所有的业务系统(不仅包括我行现有的系统,还需要考虑到我行以后将要建设的系统)源数据
Ø准确完整地分析我行现有的数据及其流向,为各个业务部门的管理分析提供统一而且完整的数据支持(如数据抽取、数据转换、数据整合、数据加载、数据归档、数据监控调度等)
Ø为今后各个面向主题的分析型应用系统的开发建设提供数据基础和技术基础。
Ø通过实现统一数据视图和数据的服务和共享,提高银行企业管理电子化水平。
Ø符合银监会《银行监管统计数据质量管理良好标准》的相关要求,并配合人行金融统计标准化试点工作的建设。
1.3项目需求
项目要完成以下功能需求:
1.3.1数据中心
能够方便完成数据处理、数据存储、数据使用、数据备份、恢复等工作的全程管理。
提供自动化处理管理机制,能够管理任务调度和查询日志。
✓数据源整合
数据中心应整合的源系统数据有(但不限于)信贷系统、核心系统、财务系统、中间业务、大额支付、小额支付、银联前置、微贷系统、网上银行系统、ATM&POS前置、黄金交易系统、短信系统、第三方存管、支付宝前置、实物票据管理系统、网银跨行转账、电票系统、工商行政验资、支票影像、财税库银、身份核查、柜面通、城商行清算中心、电子回单柜系统、同城票据交换、银医联名卡系统、理财业务系统、渠道平台。
能基于数据中心管理业务系统产生的新的数据。
针对缺失的数据
1、能提供手工补录功能。
2、能够分析缺失数据的源头并针对数据源提出合理的改造方案。
✓数据抽取
采用先进的ETL工具,将不同数据平台、不同源数据形式、不同性能要求的源数据数据抽取到数据中心系统中。
在数据抽取时需要重点考虑数据抽取的效率,以及对现有业务系统性能及安全的影响。
数据采集过程应该是自动化的,在每天业务系统日结完成后立即自动化进行数据采集,不需手动出发。
避免抽取过程中源系统发生业务而导致抽取数据差异问题。
✓数据转换
对从不同数据源采集到的数据,根据数据模型的要求,进行数据的转换、清洗、拆分、汇总等处理,保证来自不同系统、不同格式的数据的一致性和完整性,为应用平台提供高质量的数据服务。
项目前期确定数据转换的粒度和规则。
✓数据加载
采用高效的加载性能数据加载工具,将处理加工后的数据载入数据中心。
✓历史数据归档
数据中心的建设应充分考虑行内至少20年的历史数据的存储及在线查询。
✓统一监控调度
数据中心做为全行的数据交换中心,是一个非常庞大的系统,其投产后的运转情况均是自动化的,那么必然需要一套合理的、健全的、成熟的、统一的监控调度策略,以保证整个系统安全、稳定、简单的运行。
1.3.2金融数据模型
●建立高度抽象、实用的数据中心模型:
数据中心项目对数据模型要求较高,数据模型的合理与否将关系到项目的成败,因此必须选择先进合理的建模理念,紧密契合已有业务系统,深刻了解银行业务和核心系统,建立高度抽象、实用的数据中心模型。
●建立适合银行的指标库体系。
●数据中心模型的建立应充分考虑下列应用(但不限于)对数据的使用:
✓综合报表系统(1104报表、人行大集中报表、人行利率报表、人行金融稳定报表、人行理财产品统计报表、人行反洗钱报表、人行支付报表、国际收支申报报表、其他监管类报表以及行内报表)
✓行长决策系统(领导驾驶舱)
✓财务管理系统
✓管理会计系统
✓绩效管理系统
✓非现场审计系统
✓操作型客户信息系统(OCRM)
✓分析型客户关系管理系统(ACRM)
✓银行风险管理系统
1.3.3数据分析及业务应用展现
通过先进的展现工具及多样化的展现方式,向用户提供灵活而强大的查询、统计、分析功能,并按要求生成报表。
在数据中心基础上需要建立的业务应用包括:
Ø综合报表系统(1104报表、人行大集中报表、人行利率报表、人行金融稳定报表、人行理财产品统计报表、人行反洗钱报表、人行支付报表、国际收支申报报表、其他监管类报表以及行内报表)
Ø行长决策系统(领导驾驶舱)(要求支持移动应用)
Ø元数据管理
建立有效的元数据管理平台,保证系统与业务的运作保持同步并且根据市场和业务需求的变化随时作出调整,一旦业务需求发生改变,用户可以通过对元数据的维护使系统的运行作出快速的响应。
Ø数据质量管理
建立有效的、可视化的数据质量管理平台,能够通过建立检验规则,对源数据质量进行持续监测,并自动生成数据质量管理报告;能够实现可视化的数据追溯展示,清晰展示数据指标与源数据之间的逻辑关系。
第2章解决方案概述
2.1数据中心应用平台
我们建议银行以业界通用的数据仓库理论来建设数据中心应用平台项目,数据仓库之父H·W·Inmon是这样定义数据仓库的:
数据仓库是一个面向主题的、集成的、不可更新的且随时间不断变化的数据集合。
数据仓库是基于大规模数据库的决策支持系统环境的核心。
它具有以下特征:
✓海量数据(TB级):
包括来自于不同数据源的不同粒度的信息
✓面向主题:
面向业务分析人员、管理决策者关注的主题(或者说分析目标)
✓集成性:
将多个数据源异构数据按统一的结构和规则进行数据抽取、转换、清洗、装载
✓时序性:
数据仓库中的时间期限要远远长于操作型系统中的时间期限,比如一些应用数据保留5~10年。
数据仓库中的数据是一系列某一时刻生成的复杂的快照。
✓持久性:
除了记录变化时间的之外,一般不对业务数据做修改。
而独立的ODS或者数据集市是为满足已定义的用户组或业务领域对于特定业务信息的需求而创建的。
它们比数据仓库更小且更关注在数据中构建复杂的业务规则来支持功能强大的分析。
我们建议的数据中心应用平台是由ODS,数据仓库和数据集市统一构成,建立在企业级的数据模型之上的。
ODS是数据仓库的数据准备区域,重点完成数据的整合与转换,数据仓库完成数据的内容整合与统一,保留数据变化的历史,并按照业务需求进行汇总等加工运算。
数据集市就是企业级数据仓库的一个子集,数据集市的数据来源数据仓库,但是数据粒度上看,都是汇总数据,它主要是面向某个特定的分析主题
2.2解决方案体系架构
根据IBM对数据仓库的建设经验,在充分理解银行的项目需求的基础上,我们制定出符合银行实际的整体解决方案,包括以下四个部分:
(一)系统规划方案:
规划银行未来几年内数据中心应用平台系统建设,包含应用规划、技术规划、实施规划等内容
(二)技术解决方案:
从技术实现角度说明银行数据中心应用平台系统的解决方案,包括总体逻辑架构、物理架构、方案详细设计等内容
(三)产品解决方案:
对实现技术解决方案中所采用的软硬件产品配置进行说明
(四)实施方案:
介绍IBM在项目实施中的方法论,在本次项目实施中的组织架构、时间计划等内容
第3章系统规划方案
3.1总体规划
3.1.1数据中心应用平台规划蓝图
数据中心系统建设是一项循序渐进,迭代上升的系统工程;需要协调不同业务线价值释放及不同业务应用的优先级。
一个完整的数据中心建设应包括规划设计、平台建设以及应用建设等几个部分。
数据中心建设的内容和优先级可以参考下图:
数据中心建设从长远看,要达到如下的目标:
✓建立统一的数据、业务视图,完成基于数据仓库的企业信息整合,建立完善的基础数据平台,为数据分析和数据分发奠定基础。
✓建立综合报表系统,解决业务上急需的各种业务报表。
✓建立主题分析应用,比如资产负债分析、利润分析、客户关系管理、风险分析等。
✓逐步实现对银行日常操作流程的支持,分析系统成为业务流程的不可或缺的一部分,实现业务系统和分析应用之间的闭环。
3.1.2银行数据中心实施路线图
数据中心规划实际上是一个确定应用优先级的过程,业务需求是确定优先级的标准。
数据中心建设历程建议划分成为几个阶段,根据实际情况可以适当调整。
各个阶段中的应用建议迭代周期不要超过8个月,这样最有利于项目实施过程中的质量控制、风险控制,而且在短的时间内不断的取得应用成效。
根据银行的项目需求,结合我们对银行的理解,建议的项目实施路线如下:
3.1.2.1项目一期建设内容
▪需求调研、规划、建模阶段
–以当前数据源系统和报表集市为主要调研对象,详细分析加载到数据中心平台的数据源信息、对数据的加工处理、数据中心平台之上实现的应用功能
–根据需求调研结果,给出数据中心平台的架构设计
–完成数据源分析,结合数据源分析结果,对IBM的BDM模型进行客户化,完成银行数据中心应用平台建模工作
–根据银行IT和业务的现状及战略规划,针对数据中心应用平台系统及基于该平台的业务应用的长期建设给出详细规划
▪项目实施阶段(在需求调研与规划阶段评审结束后进入该实施阶段)
–数据中心应用平台建设
•数据仓库及ODS,数据集市搭建
•元数据管理平台
•数据质量管理平台
•企业统一调度平台
–综合报表平台建立
•搭建统一技术架构的报表平台,实现T+1报表的展现
•由于核心系统正在改造过程中,因此综合报表系统部分可以先完成需要迁移的报表的设计和开发;
•逐步完成1104报表、人行大集中报表、人行利率报表、人行金融稳定报表、人行理财产品统计报表、人行反洗钱报表、人行支付报表、国际收支申报报表、其他监管类报表以及行内报表向综合报表平台上的迁移。
•针对需要迁移的报表对源系统(核心系统除外)进行整合。
•视数据源状况逐步完善目前28个业务系统的数据整合。
•按主题完成面向报表应用的集市区数据的分析与加工。
–统一数据展现门户
•综合报表展现都按照统一的展现规范集成到该门户中
•实现统一登录、统一认证、统一权限管理
•实现页面个性化定制,不同角色的用户可以自行根据自己的喜好、习惯及关注的内容定制不同的展现页面
3.1.2.2项目二期建设内容
项目二期主要是应用的迁移和丰富过程。
在项目一期数据中心应用平台上线后,本期项目的主要目标就是快速完成旧有的应用迁移和扩展
–建设适合银行的KPI体系,梳理、分析银行的关键绩效指标,建设完整的KPI体系
–综合报表系统(1104报表、人行大集中报表、人行利率报表、人行金融稳定报表、人行理财产品统计报表、人行反洗钱报表、人行支付报表、国际收支申报报表、其他监管类报表以及行内报表)
–领导驾驶舱。
–经营分析决策支持系统经营决策分析
–绩效考核
–数据归档平台
3.1.2.3项目三期建设内容
本阶段为建议内容,视具体需求而定,项目三期深化数据平台的应用效果,并在数据积累达到足够成熟度的情况下,建设如下基于数据平台的应用系统:
–资产负债管理
–产品创新平台
–实现高层次的客户洞察分析
–深化决策支持系统应用
3.2分步实施应用系统,快速实现业务价值
数据中心的业务价值最终是通过应用实施来体现的。
我们建议在本期项目中,依托先进的金融数据模型进行数据内容整合,提升数据的内容价值,为后续高阶应用进行数据积累,我们如下建议的基于经济资本的绩效考核、风险管理项目群、流动性分析等解决方案,都属于前瞻性需求,规划在数据中心应用平台的二期或三期进行实施。
3.2.1支持CRM建设的360°客户视图
3.2.1.1360°客户视图的概念
360°客户视图本身是一个平台层面的概念,其核心是把客户自然属性信息、客户的账户信息、交易信息、偏好等信息整合到一个统一的平台中,并且在此平台上建立一系列的操作型和分析型的应用,帮助银行提升客户服务质量,制定合适的产品策略等。
360°客户视图的需求是随着银行加强个性化服务而提出的。
随着中国金融市场的快速发展和竞争加剧,中小银行在目标客户选择和营销服务战略上面临着新的决策,如何建立自身的竞争优势,确立市场地位成为关键。
而这一任务的重心和基石就是如何分析客户特性并与自身特点相结合,进行针对性服务和营销,从而成功建立细分优势,真正形成以客户为中心的银行。
随着近年来客户关系管理的成熟,现在普遍认为360°客户视图是CRM应用建设前必需的一个过程。
国内银行目前正处于从传统的以账户为中心模式向以客户为中心的业务模式转变的过程中,对于中小银行来说,这个过程需要更快地完成,才能发挥自己的灵活的优势,建立忠诚的客户群体;但是,许多银行对CRM解决方案进行了巨额投入,但很多未能提供预期回报,重要原因在于传统CRM虽然在支持某个既定渠道或销售功能(例如呼叫中心或销售队伍)方面表现出色,但它并非是为满足全行客户管理的复杂性需求设计的;因此,CRM计划不得不设法克服数据同步、多渠道集成和可扩展性等问题,许多银行被迫进行昂贵的修改和扩展。
客户关系管理应该包含操作型和分析型两个部分,同时360°客户视图也分为操作型和分析型两种。
在客户关系管理过程中,销售、市场和客服人员可以在分析型和操作型360°客户视图上进行合作,完成销售、客户分析和销售策略的制定。
如下图所示:
客服人员和销售可以通过操作型的360°客户视图迅速完成客户信息、偏好、历史交易的查询,同时操作型的360°客户视图具备数据写入的功能,可以支撑业务人员完成销售流程。
市场部可以根据客服和销售人员的信息在数据中心应用平台中的分析型的360°客户视图中进行客户细分,从而制定市场活动或者销售策略,反馈给服务和销售人员。
3.2.2基于经济资本的绩效考核
绩效考核是银行经营管理重要的风向仪和导向器。
银行可以根据企业资信等因素对各项业务、产品分别设定风险系数或权重,对各项资产进行风险计量,并测算各分支行的经济资本占用额,核算经济资本增加值,从而计算经济资本回报率。
然后,将经济资本回报率与其业务费用、工资奖励进行挂钩考核。
同时,设定目标经济资本回报率,对实际回报率较低的机构减少经济资本配置,促使其调整资产业务结构。
经营业绩考核系统实际上是贯穿银行实行价值管理的两个核心机制,一个是以经济资本为核心的风险和效益约束机制,另一个是以经济增加值为核心的绩效评价和激励机制。
3.2.2.1新的绩效考核渐行渐近
绩效考核不仅是银行对一定阶段经营管理状况和战略执行的检验和价值判断,同时其制度设计本身也反映了银行在特定时期的经营发展理念。
我国商业银行正在从追求规模最大化的“跑马圈地”向平衡风险与利润的“价值最大化”的经营模式转变,因此,其绩效考核体制总体上也呈现出从过去的以利润最大化为核心的盈利能力考核,逐步转变为以价值管理为核心的综合效益考核,即从管理利润提升到管理价值。
以管理利润为指向的绩效考核,核心任务是规模的扩张或既定规模下的利润最大化,从投入/产出角度分析,主要实现对产出水平的结果考核;
以管理价值为指向的绩效考核,核心任务是在合理运用资本的基础上,通过调整各部门、各业务、产品、客户等内部结构的投入/产出关系,实现整体的价值最大化。
这种绩效考核方法更关注与银行的资本结构的合理配置,提高银行的利润率。
以经济资本为核心的绩效考核起点较高,建设的难度较大,需要专业的实施团队参与,表现在以下几个方面:
a)经济资本的计量复杂。
现在国内普遍采用系数法计算,也就是BaselII中的基本法,这种方法的关键在于需要制定大量的系数,系数的准确性要求很高,我们建议采用进一步细化系数类别的方法,从区域、行业、产品、客户等不同维度细化经济资本系数。
b)经济增加值计算的准确性。
经济增加值的计算是盈利减去经济资本的最低回报率,最低资本回报率一般采用市场的拆借利率或者长期国债利率等,这种方法比实际值低,有待进一步提高。
我们建议在绩效考核的实施过程中,逐步建立适合本行的最低资本回报率的预算办法,使经济增加值的计算更准确。
c)过于偏重财务指标。
基于管理价值的绩效考核统一也需要关注非财务指标,比如客户服务质量、员工发展、内部管理等KPI,这样更统一把企业的长期战略和员工的绩效关联,减少短视的行为,确保企业的持续发展。
d)与长期战略联系不紧。
以下就如何使得绩效考核与长期战略相结合给予详细的描述。
3.2.3风险管理项目群
3.2.3.1IBM风险管理整体解决方案
商业银行遵循巴塞尔新资本协议满足最低资本要求的第一步即是实行定量风险计算和管理。
商业银行不仅通过定量风险管理来满足监管机构的要求,获得更低的资本金要求,也通过控制自身风险在提高资金运营效率的同时减少风险损失。
IBM公司基于其多年在数学和分析优化方面的积累,结合其在银行领域的客户经验和行业知识,提出了IBM端到端的BaselII银行全面风险管理解决方案。
上述架构包含一下几个关键模块:
1.数据分析、BaselII差距分析模块。
2.数据整合模块。
进行数据的整合、元数据定义、数据质量管理、清洗、转换、装载。
3.数据平台。
采用数据仓库技术建设风险平台。
4.计算引擎。
5.数据集市。
为外部风险报表和应用提供数据。
6.展现模块。
包括和风险相关的报表和分析型应用。
针对我国中小银行风险管理案面临的挑战,我们的解决方案使用了如下措施应对:
其中,风险计量模块的架构如下所示:
上述计量模块具有如下特点:
●此模块中,使用了仿真技术在一定程度上弥补了国内严重的数据差距问题。
●通过业务建模和规则录入的方式,把业务条件的变化通过建模的方式提供给风险引擎,从而使得风险引擎可以根据外部条件的变化选择合适的算法完成风险的计量
通过流程建模的形式分析操作风险。
通过对建模后的流程的执行进行仿真,结合专家知识、活动与风险因子的关系等,识别出来高风险的活动和风险因子的管理关系。
3.2.4流动性分析
3.2.4.1流动性分析的功能
流动性分析是资产负债管理领域中非常重要的一个应用。
商业银行的流动性意味着商业银行满足存款人提取现金和借款人合理贷款需求的能力,保持流动性是商业银行的生命之本。
如银行不能保持一定的流动性,即使从技术上讲,该银行仍然有清偿能力,也会被强制关闭。
传统的流动性分析是采用资产和负债的比例管理的方法,给资产和负债规定一系列的比例,通过对比例的值的限定,使得银行不能过度使用自己的资金,从而达到一个合理的规模。
例如下述比例指标:
资产流动性比例指标
•本外币合并:
流动性资产期末余额/流动性负债期末余额≥25%
•外汇:
流动性资产期末余额/流动性负债期末余额≥60%
中长期贷款的比例指标
•人民币:
余期一年期以上(不含一年期)的中长期贷款期末余额/余期一年期以上(不含一年期)的存款期末余额≤120%
•外汇:
余期一年期以上(不含一年期)的中长期贷款期末余额/外汇贷款期末余额≤60%
存贷款比例指标(分别本、外币两类按月考核)
•人民币:
各项贷款期末余额/各项存款期末余额≤75%
•外汇:
各项贷款期末余额/各项存款期末余额≤85%
国际商业借款比例指标(仅对外汇进行按季考核)
•(自借国际商业借款+境外发行债券)期末余额/资本净额≤100%
可以看出,上述方法可以确保银行的流动性风险在可控的范围内,但是计财人员无法得到准确缺口的值,所以,在建设完成数据中心后,我们建议采用基于现金流的方法进行流动性的分析。