银行大数据应用解决方案智慧银行智慧金融银行业大数据Word格式.docx

1、工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。包括：（1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库）。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理；（2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可；（3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游

2、的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况；（4）其他有利于扩展银行对客户兴趣爱好的数据，如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。第二方面：精准营销。在客户画像的基础上银行可以有效的开展精准营销，包括：（1）实时营销。实时营销是根据客户的实时状态来进行营销，比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销（某客户采用信用卡采购孕妇用品，可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务）；或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；（2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分

3、析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；（3）个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；（4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。第三方面：风险管控。包括中小企业贷款风险评估和欺诈交易识别等手段。（1）中小企业贷款风险评估。银行可通过企业的产、流通、销售、财

4、务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效的开展中小企业贷款。（2）实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎（如从一个不经常出现的国家为一个特有用户转账或从一个不熟悉的位置进行在线交易）进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪，摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机（ATM）系统的罪犯第四方面：运营优化。（1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道尤其是网络渠道

5、推广的质量，从而进行合作渠道的调整和优化。同时，也可以分析哪些渠道更适合推广哪类银行产品或者服务，从而进行渠道推广策略的优化。（2）产品和服务优化：银行可以将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，更深层次地理解客户的习惯，智能化分析和预测客户需求，从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析，通过对还款数据挖掘比较区分优质客户，根据客户还款数额的差别，提供差异化的金融产品和服务方式。（3）舆情分析：银行可以通过爬虫技术，抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息，并通过自然语言处理技术进行正负面判断，尤其是及时掌握银行以及银行产品和服务的负

6、面信息，及时发现和处理问题；对于正面信息，可以加以总结并继续强化。同时，银行也可以抓取同行业的银行正负面信息，及时了解同行做的好的方面，以作为自身业务优化的借鉴。1.3 面临的风险和挑战（1）XX银行面临着同行业务和对客户招揽的竞争；（2）客户也需要XX银行为客户提供更加精准的产品、技术的指导；（3）XX银行为了提高公司经营的竞争力也需要对客户的交易数据进行分析、了解不同客户适合在哪种类型产品上交易更高更好的盈利；（4）通过大数据，也可以把中国乃至全球的经济、政治、文化、军事等情报对银行业乃至整个金融业的影响趋势，让公司也有较强的规避风险的能力；1.4 建设目标依托云计算技术，对XX银行内部业

7、务平台、数据、交易数据管理、交易数据分析、国内、国外经济、军事、政治情报的分析系统实行统一规划和建设。所有资源整合后在逻辑上以单一整体的形式呈现，并可按需进行动态扩展和配置。按照分阶段可升级的标准要求，为多级单位提供应用支撑基础平台服务和数据存储、备份、交换等服务，实现基础软硬件资源的统一管理、按需分配、综合利用，增强数据中心的可管理性，提高应用的兼容性和可用性，加速业务系统的部署，提升硬件资源的利用率；1.5 建设原则结合本项目的实际应用和发展要求，在进行云计算、大数据平台方案设计过程中，应始终坚持以下原则：1） 可扩展性原则为了保护已有的投资以及不断增长的业务需求，系统必须具有灵活的结构并

8、留有合理的扩充余地，以便根据需要进行适当的变动和扩充；主要业务平台系统应采用开放的结构，符合国际标准、工业标准和行业标准，适应技术的发展和变化。由于本次市局信息系统整体东迁，相当于系统重新规划和建设，所以我们把主要精力放在满足现有业务需求和对未来的系统扩展的支持性上，也就是需要设计成一个便于扩展的系统架构，系统应具备良好的扩展能力并能够便捷地进行扩展。2） 合理性原则在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原则，同时兼顾与市局已有设备和系统的互联互通能力，以及与目前操作系统和应用系统的兼容性。在满足系统性能、功能以

9、及考虑到在可预见的未来不失去先进性的条件下，尽量取得整个系统的投入合理性，以构成一个性能价格比优化的应用系统。系统架构的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术发展方向。这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用户投资的效率，降低总体拥有成本，减少浪费的发生。结合新技术的运用，也可以让各应用系统更好地融入未来整体IT建设规划中，避免发生推到重建的现象，从而更好地保护市局在信息系统上的投入。3） 可靠性原则系统要具有高可靠性及强大的容错能力。该系统必须保证724全天候不间断地工作，核心设备比如数据库服务器和存储设备具有全容错结构，并具有热插拔功能，可

10、带电修复有关故障而不影响整个系统的工作，设计应保持一定数量的冗余以保证整体系统的高可靠性和高可用性。即便是在系统建设初期也要着重考虑系统可用性、可靠性问题，防止出现系统停顿等问题造成信息系统的中断服务。通过结合云计算等新技术，可以更好地提高系统的可靠性和可用性。4） 可管理性原则选择基于开放的技术，采用标准化、规范化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证后期在系统上进行有效的开发和使用，并为今后的发展提供一个良好的环境；在设计、组建中心机房系统时，采用先进的、标准的设备；在选购服务器、存储和连接设备时，确保系统部件间的严密配合和无缝联接，

11、并获得良好的售后服务和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性。5） 安全性原则严格按照XX关于信息安全的规定和要求，规划和部署中心机房的业务系统和备份系统；采用安全服务器、备份还原系统、来防止内外部的网络安全威协和数据丢失窃取威胁等；所有软硬件采用国产、自主研发的产品，从根本上保障系统的安全性。1.6 云计算大数据中心优势通过建立云计算大数据中心，通过服务的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进行整合，实现IT服务的快速交付，节能响应国家号召，提升业务系统安全。1） 国产硬件自主可控数据存储

12、硬件采用我国完全自主研发的存储服务器，硬件和软件设计完全自主可控。存储服务器采国产化架构的高可靠性硬件平台和国产睿思操作系统，从根本上保证数据的安全性。2） 海量数据高效管理随着地理信息处理业务的增多，存数据中心存储大量的数据，这就需要存储系统能够容纳海量的数据。同时，存储系统里面的文件数量也会快速增长，当文件数量增长到数千万以上时，文件的检索查找等操作将会给文件系统带来巨大的压力，特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。采用的分布式存储系统单卷可支持300PB以上的存储空间，高效的管理上千亿个文件，单目录可以高效支持千万级的文件数量。分布式存储系统拥有高效的多

13、元数据服务器集群技术和高效的海量文件检索技术，在存放上千亿文件的同时保持极高的文件检索效率。统能够在单个目录下高效管理上千万个文件的存储系统，在单目录下存放上千万数量文件时，仍然能够提供每秒数万的文件检索效率。3） 合理利用硬件资源，减少运行消耗云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元，从云计算数据中心具体需求出发，在资源池中划分出适合具体业务需要的服务计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建设对地理情报工作的变化更具适应力，从而构建出信息系统平台的基础。云平台建成后，可减少物理服务器数量至原有数量的一半以上，机房空间占用面积大大减少

14、，机房相应配套设施建设也可能够相应减少，在实际工作中预计可节省能源达到70%以上，响应国家节能减排的要求。4） 完善应急安全机制云平台可以自动监控资源池中计算单元和应用单元的可用性，检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上重新启动相关业务，整个过程无需人工干预。通过云安全平台，可快速部署网络安全应用防火墙、IPS、WEB应用防火墙等。5） 提供便捷的管理运维方式。可以通过一个统一的管理平台，来进行对平台中运行的各项功能设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管理日志追溯操作过程。2 云数据中心需求分析2.1 现状分析目前，办公管理信息数据、

15、交易信息数据和情报信息数据规模已经发展得非常庞大，信息化平台已日益变成业务运营与管理的重要支撑平台。在信息化平台建设的过程中，各个应用系统的业务之间的联系非常紧密，流程自动化程度非常高。因此在信息化高速发展的形势下，急需形成统一完备的综合技术集成体系，能提供一体化的数据存储共享，应用集成和统一展现能力。随着信息化建设和应用工作的进一步深入，对信息网络传输能力，数据中心存储能力和处理能力提出了更高要求，为支撑流程集成和业务应用的深入融合，需要提供统一高效的流程处理能力，数据转换能力以及数据分析能力；需要建立和完善统一的综合技术平台体系，涵盖数据采集，存储，共享，交互和展现能力。2.2 总体建设需

16、求（1）建立一个统一的超过300TB的数据存储系统，能够无缝兼容现有系统设备和云平台、大数据平台；（2）建立统一的云平台系统，可以快速管理、扩展、配置XX银行内部的各种业务服务和数据存储服务，并能够提供相应服务冗余性；（3）建立基于云平台的大数据存储管理与分析系统，可以管理XX银行历年来的交易数据、时实交易数据，并能根据数据交易情况和IP数据报文情况分析各种用户的交易习惯、产品分布、盈利能力，方便XX银行对客户提供精准化服务的能力；（4）建立基于云平台的大数据情报管理与分析系统，可以方便的把全球的经济数据、政策变化、军事变化、文化等多各种金融产品交易的影响，能够指导公司规避即将产生的或潜在经济

17、风险，提高公司和客户对交易风险的预判能力。（5）通过建立统一的云平台运维管理系统，可以快速提高公司IT技术人员对所有IT资源的管理应用能力，保障公司实际的设备资源、网络资源能够得到充分的使用，同时也能够提高公司能效节约的能力。3 云数据中心总体规划设计3.1 整体建设思想XX银行云平台大数据中心将利用云计算相关技术，结合绿色数据中心建设的目标和需求，以战略支持型信息化建设为导向，以支持保障信息化业务发展为建设思路，构造一个功能齐全、设备先进、运行高效、使用灵活、维护方便、易于扩展、投资省、高安全可靠的全局性基于云平台数据资源中心。3.2 整体系统结构本次云数据中心解决方案将针对计算服务整体架构

18、中的云计算服务区，通过对底层服务器硬件及存储资源实现虚拟化聚合部署，配合以云计算管理平台，实现云计算中基础架构即服务（IaaS）部分，同时该IaaS平台也为地球信息发布平台、大数据分析平台、web发布平台等（Paas）层提供更高层次的云计算服务，通过Paas层平台提供数据汇集管理、数据处理、数据服务、数据应用功能（Saas层），最终通过统一的系统门户向最终用户提供服务，总体逻辑架构如下：图 31 云数据中心总体逻辑架构云数据中心的各个关键组件及逻辑层次。 云数据中心基础架构：提供了一个功能完整的、标准开放的方便集成的IaaS服务层。这层提供的动态基础架构是整个云数据中心的核心支撑层，其最核心的

19、部分包括采用了国产服务器、国产存储存储系统和虚拟化软件构建的云计算服务基础架构。该基础架构具备良好的性能、可用性和可靠性。通过部署虚拟化软件、服务器、存储设备、网络设备，内部搭建虚拟化环境，通过虚拟化技术构建新一代的数据中心，形成统一的云计算信息系统平台。在数据中心，这些资源根据需要进行动态扩展和配置，各单位最终信息系统业务按需使用资源。通过虚拟化技术，增强数据中心的可管理性，提高应用的兼容性和可用性，加速应用的部署，提升硬件资源的利用率，降低能源消耗。 平台层：通过大数据分析平台、办公OA系统、财务管理系统、交易管理系统、web发布平台、用户管理系统等应用，平台为上层门户提供数据采集、数据处

20、理等功能。 云计算服务门户：为用户提供统一的服务门户，用以支撑整个云数据中心的日常运营。包括用户登录、服务加载、下载、审批、叠加显示、拼接请求等功能。 云计算服务数据安全保护：通过部署云安全平台，可帮助用户建立起一个既能充分利用云计算优势，同时又不牺牲安全性、控制力和遵从性环境，其为虚拟数据中心和云计算环境提供了支持虚拟化的保护，使用户可以加强应用程序和数据安全，提高可见性和控制力，以及加快整个云计算中心的遵从性举措。 云计算服务运维管理体系：为整个云数据中心平台搭建一套长期运维管理的体系，为云计算平台的长期有效运行提供保障。云计算运维管理体系包括组织管理模式、制度规范体系、技术支撑体系等多个

21、层面的内容，采用云计算技术手段和云计算管理制度结合的方式保障整个政务云平台的平稳运行。3.3 计算资源和存储资源配置估算计算资源和存储资源是云中心的两大类核心资源。对计算资源和存储资源的合理估算和配置，是建设先进、高效云平台的必要条件。以下给出我们根据云计算数据中心现有业务应用和数据资源所作出的云中心计算资源、存储资源、基础网络和安全设施的初步估算。经详细调研计算资源需要cpu计算单元320核内存5120G存储空间300TB。拟新增10台高性能服务器，供云计算、云存储使用，新增2台高性能服务器器供云安全平台使用。4 云数据中心资源层规划设计4.1 云计算平台基础架构体系4.1.1 设计原则方案

22、设计遵循以下几个原则：先进性、标准性、实用性、可扩展性、兼容性、易用性、安全性、可靠性和前瞻性：1. 先进性系统设计达到业界领先水平，采用当今最新且成熟的计算机、网络、控制、数据存储等技术。符合最新的技术发展潮流，且各系统设计切实可行、并容易实现。2. 标准性系统设计严格的按照国际和国家标准进行设计，并遵循国内外有关的规范要求。具体包括：遵循标准的整体协议框架、提供标准接口、使用标准的数据传输协议等。3. 实用性系统设计注重实用性，系统配置满足整个预警平台的实际应用需要并符合用户的实际需要。4. 可扩展性系统设计考虑了预警平台未来功能扩充发展的需要，留有充分的扩充余地，方便地实现系统的平滑扩展

23、和升级。5. 易用性系统设计注重易用性，要求系统参数配置少，调整少，自动化程度高，使用方便，操作简单，管理方便。6. 安全性系统设计具备安全性，采用多种安全防范技术和措施，在物理、系统、网络、应用以及管理上全面的保障系统的安全。7. 可靠性系统设计注重可靠性，能够长期稳定工作，保证7*24小时不间断地稳定可靠运行，适应工作环境能力强，故障率低，维护维修方便。8. 前瞻性系统设计具有前瞻性，整个系统的硬件配置，应符合长远的规划和设计，保证3年内系统的需要。通过需求分析我们可以得知，本次项目建设项目的设计目标是构造一个功能齐全、设备先进、运行高效、使用灵活、维护方便、易于扩展、投资省、高安全可靠的

24、信息系统。云计算技术的出现却给我们一最佳的选择，随着数据信息的增长，技术也需要随之变化。这些变化常常实施在运行关键业务应用的复杂系统内。通常会对共享硬件和软件资源有越来越多的需求，虚拟环境下有效的管理和控制了这种需求。虚拟化是通过对IT硬件资源整合、优化、共享的成熟高新技术，是实现云计算最基础的支撑技术。它可以有效增加组织的灵活性和效率，同时又可以降低其成本。虚拟化技术以其系统的先进性、高可用性、系统的灵活扩展能力、开放性以及高可管理性等可完全满足当前和未来几年内云数据平台信息系统的发展需求。4.1.2 系统总体架构在数据中心，所有资源整合后在逻辑上以单一整体的形式呈现，这些资源根据需要进行动

25、态扩展和配置，各单位最终信息系统业务按需使用资源。虚拟化是云计算的基础，在数据中心，通过虚拟化技术将物理服务器进行虚拟化，具体为CPU虚拟化、内存虚拟化、设备I/O虚拟化等，实现在单一物理服务器上运行多个虚拟服务器（虚拟机），把应用程序对底层的系统和硬件的依赖抽象出来，从而解除应用与操作系统和硬件的耦合关系，使得物理设备的差异性与兼容性与上层应用透明，不同的虚拟机之间相互隔离、互不影响，可以运行不同的操作系统，并提供不同的应用服务。什么是服务器虚拟化服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中如图所示：图 41 服务器虚拟化在单台服务器虚拟化基础上，通过虚拟化管理

26、中心（vCenter）将多台服务器、存储硬件基础资源进行整合，构建硬件（CPU、内存、I/O）资源池，实现数据中心整体硬件资源的按需分配。虚拟化结构如图所示：图 42 服务器虚拟化结构将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚拟服务器，或者让几台服务器变成一台服务器来用，我们不再受限于物理上的界限，而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力，从而构建出数据中心系统平台的基础。4.1.3 虚拟化拓扑的结构图 43虚拟化拓扑结构针对上面的拓扑图，详细说明如下：整

27、体架构可以分为三层，最底层为存储网络层，中间层为虚拟化系统，最上层为虚拟服务器层；其中，下面的两层为资源提供方，最上层为资源用户；而中间层的虚拟化系统又起到了资源分配调度的作用。部署虚拟化系统之后的整体架构和传统架构下是没很大区别的，利用共享存储实现数据集中和共享，结合管理中心实现应用系统的统一管理；虚拟化集群的形成，直接为应用系统提供了高可用和负载均衡的功能。4.2 云计算中心虚拟化组件4.2.1 迁移使运行中的虚拟机从一台物理服务器实时迁移到另一台物理服务器，同时保持业务的连续运行。实现了零停机时间和连续可用的服务，并能全面保证事务的完整性。是用于创建动态、自动化、自我优化的数据中心的关键

28、促成技术。图 44 拟机迁移4.2.2 高可靠性（HA）自动监控物理服务器的可用性。可检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上启动虚拟机，整个过程无需人工干预。该功能组件比传统的双机冷备更具有自动启动的优势。图 45 高可靠性（HA）4.2.3 容错功能相当于双机热备，但是比传统的双机热备更具有优势，它可以时刻在两个不同的物理服务器上保持两个相同的镜像，其中一台出现故障时，不影响业务的运行，同时自动在另一台物理服务器上建立以特相同的镜像，物理服务器不受硬件型号配置的限制。图 46 容错4.2.4 动态资源分配跨资源池不间断地监控利用率，并在多台虚拟机之间智能地分配可

29、用资源，使资源优先用于最重要的应用程序，以便让资源与业务目标相协调。自动、不间断地优化硬件利用率，以响应不断变化的情况。为业务部门提供专用的虚拟基础结构，同时让 IT部门能够集中、全面地控制硬件。执行零停机服务器维护。通过使用分布式电源管理来整合工作负载和关闭集群中的虚拟机暂时不需要的耗电服务器，从而减少数据中心的能耗。图 47动态资源分配（DRS）4.2.5 分布式电源管理可用管理系统中,为了在虚拟化环境中能达到节能减排放的作用,设置了DPM的功能。这是一个高级电源管理功能它可以提供当虚拟化环境中不需要那么大的运算资源的的时候,同过统一管理平台功能管理模块相结合。可以是实现当我们的业务系统在不需要云平台提供那么大的计算能力的时候,为了节能减排放. 通过自动调度将某些服务器上的虚拟机通过在线迁移的方式自动迁移到平台中的其它物理服务器中运行,将空闲服务器进行下