银行帐管系统大数据整体解决方案.docx
《银行帐管系统大数据整体解决方案.docx》由会员分享，可在线阅读，更多相关《银行帐管系统大数据整体解决方案.docx（64页珍藏版）》请在冰豆网上搜索。
银行帐管系统大数据整体解决方案
银行大数据账户管理平台整体解决方案
年月
第一部分项目概述4
1.1项目背景4
1.2项目目标4
1.3项目规划4
1.4项目意义5
第二部分大数据平台6
1.功能架构6
2.功能模块6
1.1接口层6
1.2ETL层6
1.3存储层9
1.4应用层9
1.5系统管理10
3.系统性能11
4.硬件架构12
5.关键技术13
基于Hadoop的分布式大数据处理13
Hbase16
6.技术优势18
6.1SQL的完美兼容18
6.2同类平台优势18
第三部分额度管理20
（一）功能点综合描述20
1.额度分类20
2.客户额度管理业务现状24
3.客户额度智能升降决策管理项目范围24
4.客户额度智能升降决策管理功能模块28
5.客户总额度控管综述29
（二）批量调额模块综述31
1.业务流程及功能分布图31
2.业务流程综述33
（三）联机调额模块综述36
1.业务流程及功能分布图36
2.业务流程综述37
第四部分早期风险预警管理39
（一）功能点综合描述39
（二）功能点输入41
（三）功能点输出42
第三部分差异定价以及市场营销管理43
（一）客户价值分级43
（二）客户交易特征分类管理45
（三）营销数据管理46
（四）营销活动结果明细查询53
（五）营销活动结果明细查询60
（六）账户生命周期管理68
第一部分项目概述
1.1项目背景
为了加强以客户为中心的客户服务管理，通过决策管理系统的策略生命周期管理不断优化和改进经营策略，提升精细化经营能力，优化现有业务流程，提高业务的系统化和自动化水平，进一步推进以数据驱动为导向的业务经营策略，促进数据模型的落地使用，规划进行账户决策管理项目的建设。
1.
1.2项目目标
建立一个统一的大数据平台下客户管理决策系统平台，实现信用卡账户管理的智能化、系统化、精细化、模块化与自动化；
为客户提供包括额度管理、市场营销管理、催收管理、风险定价、续发卡和授权管理等决策；
为客户提供以上各决策模块相应的报表，以分析资产质量及策略的有效性；
将现有信用卡业务管理审批流程逐步转换成自动决策过程，降低运维成本、提升作业产能。
1.3项目规划
账户管理项目整体架构为三期项目，
一期建设内容为：
✧大数据平台建设
✧客户额度升降智能决策管理
二期建设内容为：
✧早期风险预警管理
三期建设内容为：
✧差异定价决策以及市场营销管理
1.4项目意义
通过建设信用卡大数据账户管理系统，提高信用卡帐户的使用率和收益、降低和控制风险、维护和改善客户关系、防止客户流失和促进客户忠诚度，增加交叉销售份额，从而提高信用卡业务的盈利能力。
第二部分大数据平台
1.功能架构
2.功能模块
1.1源数据层
源数据层支持从外部系统导入结构化、半结构化和非结构化数据。
导入的数据格式包括：
Ø主流的传统关系型数据库（MySql、DB2、Oracle、Teradata、Sybase、JDBC–ODBC）
Ø文件数据（JSON、XML、TXT、CSV、Log…）
Ø多媒体数据（image、video、audio、stream）
1.2数据管理子系统
数据管理子系统是大数据平台的核心，主要的大数据并行计算，存储能力都在此系统中。
∙HDFS:
hadoop分布式文件系统
∙Hbase:
分布式Nosql数据库
∙Spark：
为DBA人员提供sql接口访问,频繁迭代计算处理
∙MapReduce：
并行运算，处理技术
∙数据查询引擎：
自主研发的针对大并发，大数据量的快速查询引擎。
1.3系统调度层
系统调度层是hadoop中间件的具体功能，包括平台的自动化部署，集群的资源监控，系统管理，日志管理，查询处理，批量任务管理，数据统计分析。
Ø平台自动化部署：
hadoop大数据平台提供纯web界面的方式部署hadoop平台，对于技术能力或者想快速部署hadoop平台的客户有很大的帮助。
Ø集群监控：
系统可以对集群的所有资源进行监控管理包括，内存，cpu，io，网络等。
Ø系统管理：
对系统中运行的所有组建进行监控，包括组建的安装部署，启停服务等。
Ø日志管理：
监控系统产生的各类日志信息。
Ø查询处理：
可以对任务或者服务进行查询监控。
Ø批量任务管理：
对系统中运行的批量任务进行监控，查看是否正常执行。
Ø数据统计分析：
对各个节点的数据进行统计，以便监控资源是否分配合理。
1.4接口子系统
接口子系统的主要功能是为应用服务提供相应的数据查询，导出，存储，分析接口。
1.5外围链接系统
帐管系统的应用适用方，包括信用卡额度查询，调整，差异定价以及管理界面等。
3.系统性能
影响系统性能的核心功能模块
性能要求
说明
接口数据入HDFS
实时
数据入库时间取决于接口机的性能，集群可以以接口机提供数据文件的速度实现数据的实时入库
数据清洗转换
1T数据的清洗转换在20分钟内完成
数据导入HDFS后进行数据的清洗转换
分析数据生成
日分析数据生成在20分钟内完成；
月分析数据生成在30分钟内完成
日分析数据每日数据导入HDFS和进行清洗转换后生成，并更新当月数据
并发查询
支持2000个用户的并发查询，毫秒级响应
4.硬件架构
硬件架构图如下：
处理能力的硬件需求估算
1、数据保存三副本估算：
●源数据数据量按30TB估算（待确认），保存3份，共90TB；
●存储按每节点4TB计算；
●MasterNode、SecondaryMasterNode、备份机、web服务器各需一个节点；
硬件需求如下：
类别
配置要求
数量
说明
服务器
CPU Intel Xeon E5620（2.4Ghz/5.86GT/12MB） X2
内存 48G
硬盘 2T*3SATANS 3.5“热插拔
网络 板载千兆网口X2
电源 （1+1）冗余电源
25
交换机
360个端口以上，保障每个节点的全千兆交换
1
5.关键技术
✧基于Hadoop的分布式大数据处理
✧大数据的定义
与传统海量数据不同，大数据=海量数据+复杂类型的数据，大数据是由三项主要数据类型汇聚组成。
Ø海量交易数据：
传统的ERP应用程序和在线交易处理分析系统中（OLTP），关系数据以及非结构化和半结构化信息仍在飞速增长；
Ø海量交互数据
Facebook、Twitter、LinkedIn及其它来源的社交媒体数据产生大量的用户交互数据。
Ø海量感应数据
物联网的兴起带来了大量感应数据，如RFID、GPS等带来的数据。
✧大数据的特征
⏹多样性（Variety）
大数据不仅局限于结构型数据，也包括非结构型数据，比如：
文字，录音，录像，视频，记录；
⏹高速度（Velocity）
大数据是时间敏感的，必须快速识别和快速响应才能适应业务需求。
⏹大容量（Volume）
大数据的特点就是巨大。
公司充斥着各种数据，经常是TB级，甚至是PT级的信息量PT级的信息量。
如今ApacheHadoop已成为大数据行业发展背后的驱动力。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是TB甚至是PB级别的数据，同时数据种类多种多样，包括结构化、非结构化等）的能力。
但这与之前有什么不同?
现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。
但成本上有些昂贵。
这种对数据的要求限制了可处理的数据种类，同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。
这通常意味着有价值的数据源在组织内从未被挖掘。
这就是Hadoop与传统数据处理方式最大的不同。
MapReduce——Hadoop的核心
Google的网络搜索引擎在得益于算法发挥作用的同时，MapReduce在后台发挥了极大的作用。
MapReduce框架成为当今大数据处理背后的最具影响力的“发动机”。
MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行的多个节点中处理。
当数据量很大时就无法在一台服务器上解决问题，此时分布式计算优势就体现出来。
将这种技术与Linux服务器结合可获得性价比极高的替代大规模计算阵列的方法。
Yahoo在2006年看到了Hadoop未来的潜力，并邀请Hadoop创始人DougCutting着手发展Hadoop技术，在2008年Hadoop已经形成一定的规模。
Hadoop项目再从初期发展的成熟的过程中同时吸纳了一些其他的组件，以便进一步提高自身的易用性和功能。
HDFS（HadoopDistributedFileSystem）
HDFS与MapReduce的结合是强大的。
在处理大数据的过程中，当Hadoop集群中的服务器出现错误时，整个计算过程并不会终止。
同时HFDS可保障在整个集群中发生故障错误时的数据冗余。
当计算完成时将结果写入HFDS的一个节点之中。
HDFS对存储的数据格式并无苛刻的要求，数据可以是非结构化或其它类别。
相反关系数据库在存储数据之前需要将数据结构化并定义架构。
✧Hbase
HBase–HadoopDatabase，具备高可靠性、高性能、面向列、可伸缩等特点，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用HadoopMapReduce来处理HBase中的海量数据。
HBase由以下三个主要构件组成：
1.HBaseMaster（HMaster）
HMaster在功能上主要负责Table和Region的管理工作：
Ø管理用户对Table的增、删、改、查操作
Ø管理HRegionServer的负载均衡，调整Region分布
Ø在RegionSplit后，负责新Region的分配
Ø在HRegionServer停机后，负责失效HRegionServer上的Regions迁移
2.HRegionServer（类似于Bigtabletabletserver）
HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBase中最核心的模块。
3.HBaseClient,由org.apache.hadoop.hbase.client.HTable定义
HBaseClient负责寻找提供需求数据的HReginServer。
当定位到提供数据的HReginServer以后，Client就可以通过这个HReginServer找到需要的数据了。
HBase存储格式：
HBase中的所有数据文件都存储在HadoopHDFS文件系统上，主要包括上述提出的两种文件类型：
1.HFile，HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile
2.HLogFile，HBase中WAL（WriteAheadLog）的存储格式，物理上是Hadoop的SequenceFile
6.技术优势
6.1SQL的完美兼容
银联帐管系统跑在小机上有1万条sql，其中包括存储过程。
我们已经全部迁移到hadoop平台，并调通。
实现了应用服务的无缝连接，并且初步测试效率提升了4倍（原来两个小时，现在半小时），效率还能够进一步提升，现在用的测试服务器。
6.2同类平台优势
6.2.1中间件平台
中间件概念，降低Hadoop技术门槛，屏蔽底层技术复杂性，提供更高层的API接口（java、SQL）和图形化界面封装，最大程度利用现有技术人员即可实现Hadoop企业落地；
利用标准restful接口实现底层组件的灵活调度，提供直接面向应用的组件服务；
6.2.2开放性架构
平台底层基于开源Hadoop技术，系统对底层不做代码修改，对Hadoop组件的功能优化通过接口以插件的形式整合到平台服务层；实现对开源社区的完全兼容，最大程度上利用开源社区几十万开发人员的技术力量，实现对开源新技术的兼容支撑；
6.2.3多集群管理
多集群管理，平台通过中间件技术接管原生态Apache、CDH等的Hadoop集群，提供了开源Hadoop向企业级大数据集群升级路径，解决第三方Hadoop集群环境的成长升级的问题。
6.2.4易用性
●应用层，将项目落地过程中的最佳实践进行功能封装整合，通用性功能代码以插件形式集成在平台上，鼠标点击直接调用；
●模版层，应用场景模板化，面向具体应用场景提供彼此兼容的框架组合、调度，以及相互之间数据流转，实现图形化调用即可实现应用功能，避免搭建并配置复杂的底层框架技术，快速实现应用场景。
●接口统一化，提供Hadoop生态技术共400多接口的统一Restful实现，避免多种接口的单独调用所带来的开发难度和学习成本。
●SQL语法的支持，支持提供标准SQL语法的访问，帮助传统数据库技术人员的平滑过渡到Hadoop技术。
6.2.5工作流
✧数据处理程序模块化，提供对完善、成熟的分布式任务程序模块化封装，通过简单拖拽和配置即可将模块化任务程序复用到不同的工作流中。
6.2.6灵活实时事物查询
●实时事务处理，高并发下大规模数据查询事务一致性，毫秒级级响应查询，利用HBase和Solr实现灵活数据查询支撑能力，平滑过渡到原IOE核心系统。
6.2.7工具引擎支撑
●机器学习引擎支持，在线全量数据的建模及训练，实现AI算法生产，同时配套有复杂网络、自然语言处理等科学分析引擎，帮助企业简化编程建模方式，使用数据驱动业务支撑，提供端到端的业务支撑能力
第三部分额度管理
（一）功能点综合描述
1.额度分类
根据额度授信对象分类:
根据额度授信对象可分为：
商务卡额度和个人卡额度；
商务卡额度系指授予商务卡产品使用的额度，可进一步按偿债主体分为商务卡公司额度和商务卡个人额度；
个人卡额度系指授予个人卡产品使用的额度，进一步分为主卡额度和附属卡额度。
主卡能够控制附属卡可使用的额度，具体实现方式包括设定附属卡的固定信用额度和设定附属卡额度占主卡信用额度的比例值。
根据额度层级分类：
根据额度层级可分为：
客户级额度、账户级额度、卡片级额度；
针对单一客户，在其客户级项下可以存在账户类型不同的多个账户，账户级项下可以存在卡级别和产品类型相同或不同的多张卡片；
根据卡片等级，可以为各产品类型下的卡片设置卡片级额度上限；根据账户下最高的卡片等级，可以得出账户级额度上限；以客户名下各类型的账户中额度最高的作为客户级额度上限，客户的总授信额度以客户级额度为使用上限；
根据额度功能分类：
根据额度功能可分为：
初始授信额度、基本额度、消费额度、授权交易额度、取现额度、现金分期额度、普通分期额度和大额分期额度。
初始授信额度系指核卡时审批的卡片级额度，激活后该额度参与账户级额度计算；
基本额度系指针对长期未激活账户或激活后信用额度使用率过低的账户在向人民银行报送时使用的额度。
基本额度的计算与账户状态和信用额度的使用情况有关，在现阶段仅用于报送，对客户的交易无实际限制作用。
基本额度永远小于等于账户的信用额度；
消费额度系指客户进行刷卡交易时可使用的额度，信用额度范围内可以全部用于消费额度；
授权交易额度（参数）是指客户进行消费或者取现交易时，针对交易金额设定的限制，包括对单笔交易的限额、对每日交易的限额以及对不同交易类型、渠道的限额等；另外，在本次项目中也包含了账户级可用于超限使用的额度比例以及账户级预借现金额度的比例；
取现额度系指客户进行预借现金或转账交易时可以使用的额度；个人卡的取现额度按信用额度的一定比例进行设置，可以在个人卡产品级别对所有相同产品进行统一的比例设置，也可以在账户级别对当前账户进行个性化的比例设置，比例区间限定在[0,100%]；在产品级别除比例设置以外，还可以设置预借现金金额的上限数值。
现金分期额度系指客户用于现金分期交易时可以使用的额度；现金分期额度按信用额度的一定比例计算后，以固定额度值的方式授予某个具体账户；目前发卡系统中现金分期额度与固定信用额度没有联动的机制。
普通分期额度系指客户进行店铺POS分期、自由（灵活）分期和账单分期等分期交易时可以使用的额度，普通分期额度在现阶段已经与信用额度合并，故信用额度范围内可以按账户类型对目标分期类型设置其可以使用的普通分期额度占信用额度的比例。
目前信用额度可以全部用于普通分期交易；
大额分期额度系指进行一次性指定用途的大额分期交易时可以使用的额度，以固定额度值的方式授予某个具体账户；
根据额度占用方式分类：
公务卡个人额度占用公务卡公司额度，且同一单位的公务卡个人额度之和不得超过公务卡公司额度；
附属卡额度占用且不得高于主卡信用额度；
可用于交易的额度中，消费额度、取现额度、现金分期额度和普通分期额度共同占用个人卡的信用额度，且不超过个人卡的信用额度，各额度的可用部分存在此消彼长的关系；指定用途/业务类型的大额分期额度与信用额度相互独立，在交易时不占用彼此的信用额度。
根据额度的使用期限分类：
根据额度的使用期限分为：
固定额度和临时额度
固定额度系指在信用卡有效期内可以直接使用不单独设置额度有效期的额度；
临时额度系指在单独设置的较短有效期内可使用的额度；临时额度对普通信用额度（用于消费、取现和普通分期）的可使用部分和有效期均能造成影响。
2.客户额度管理业务现状
根据管理的额度功能分类：
根据管理的额度功能分为：
普通循环授信额度，商务卡信用额度，大额分期授信额度和基本额度；
根据额度管理业务分类：
根据额度管理业务分为：
由客户主动发起的额度调整和由银行主动发起的额度调整。
3.客户额度智能升降决策管理项目范围
由客户主动发起的额度调整业务包括：
分类
账户类型
额度类型
业务名称
调整方向
临时额度调整
个人卡
普通信用额度
客户主动发起的临时调额
调增/调减
固定额度调整
个人卡
普通信用额度
客户主动发起的固定调增
调增/调减
固定额度调整
个人卡
普通信用额度
客户主动发起的销卡挽留
调增
*固定额度调整
个人卡
预借现金额度
客户主动发起的取现比例调整
调增/调减
*固定额度调整
个人卡
普通分期额度
客户主动发起的普通分期额度调整
调增/调减
由银行主动发起的额度调整业务包括：
分类
账户类型
额度类型
业务名称
调整方向
临时额度调整
个人卡
普通信用额度
定期营销促动批量临调
调增
临时额度调整
个人卡
普通信用额度
根据指定授权结果/交易（额度不足/日首笔海外成功过磁交易）发起临调
调增
固定额度调整
个人卡
普通信用额度
每月账单日批量永调
调增
*固定额度调整
个人卡
授权交易参数
银行主动发起超限比例参数调整
调减/调增
固定额度调整
个人卡
普通信用额度
银行主动发起的高逾期降额后恢复
调减/调增
*固定额度调整
个人卡
预借现金额度
银行主动发起的批量取现比例调整
调减/调增
*固定额度调整
个人卡
现金分期额度
银行主动发起的现金分期额度调整
调增
固定额度调整
个人卡
基本额度
银行主动发起的基本额度调整
调整
*固定额度调整
个人卡
普通分期额度
银行主动发起的普通分期额度调整
调减/调增
*固定额度调整
大额分期
大额分期额度
银行主动发起的大额分期额度调整
调增
*固定额度调整
个人卡
普通信用额度
*销户退出批量额度降零*
调减
*固定额度调整
个人卡
普通信用额度
客户自动升等
-
固定/临时调额
个人卡
普通信用额度
各类外部名单导入
调减/调增
上述与调额有关的业务中有需要走决策的和不需要决策即可操作的，具体为：
Ø需要决策的：
结合产品在调用策略时的不同方式，针对客户循环信用额度的调增业务，可以细分为：
1）账单日批处理：
批量永调：
在每个账单日跑批获取该账单日的客户，根据批量永久额度调增策略，由银行主动对满足策略要求的客户批量调增固定信用额度（需短信征询客户意见）；
自动升等：
对于满足永调策略但当前固定信用额度已经达到客户所持最高级别卡片对应升等线的客户，输出名单到外部；
2）事件及名单批处理：
在固定节假日或开展营销活动前获取客户名单，由银行主动对满足临时额度调增策略要求的客户批量调增临时信用额度（需短信征询客户意见）；
3）每日日结批处理：
在每日跑批后，向额度使用率较高且满足临时调额策略要求的客户提供批量临时额度调增服务（需短信征询客户意见）；
4）每日实时处理：
i.客户主动致电客服申请临时、永久额度调增，根据实时调额策略给出调额决策结果，在线完成调额操作；
ii.银行主动发现有调额需求的客户：
a）日内发生第一笔境外成功过磁交易的客户：
在交易完成后，由银行主动向满足调额策略要求的客户提供临时额度调增服务（需短信确认客户需要）；
b）因额度不足导致授权失败的客户：
在授权失败后，由银行主动向满足调额策略要求的客户提供临时额度调增服务（需短信确认客户需要）；
针对客户基本额度调整业务，在账单日根据基本额度调整策略批量计算并导入发卡系统操作。
针对客户循环信用额度的调减业务，可以划分为:
1）针对低收益的客户/账户，根据决策结果降低负收益客户的永久信用额度；
2）针对不同卡级别的客户/账户，根据其历史逾期情况的严重程度，在其结清所有欠款以后,批量调减历史高逾期客户的固定信用额度；
Ø不需要决策的：
结合业务在操作过程中的不同方式，可以细分为：
1）账单日批量处理：
对于可视为与银行解除用卡合约的非正常账户（即已销户结清账户，关账代码为Q或WQ），系统在账单日对关账动作距当前时点满足间隔账期参数的账户，批量降低永久信用额度至零；
2）外部名单导入批处理：
主要包括：
历史高逾期降额客户，在其用卡表现恢复正常之后，以名单导入的方式批量恢复其循环固定信用额度等；
3）日常手工处理：
主要包括：
特殊贵宾客户申请永久/临时额度调增、客户主动申请额度调减以及其他部室在特殊情况下发起的降额及恢复业务等。
4.客户额度智能升降决策管理功能模块
上述业务职能的实现需要在客户管理系统中构建在线实时调额和批量调额两个主要的模块。
在线实时调额模块主要负责实现：
1）由客户主动发起的额度调整类业务，通过实时决策在线对客户的信用状况进行审核；
2）由银行主动发起的额度调整类业务，根据交易触发实时决策；
批量调额模块主要负责在批量调用决策的模式下，完成由银行主动发起的各类额度调整类业务。
5.客户总额度控管综述
一、账户级额度梳理
目前，基于银联发卡系统的架构，我行客户名下可以被赋予的各类授信额度基本上是在账户级层面实现的。
现有的账户级授信额度包括但
升级会员 