金融领域存储方案设计.docx

金融领域存储方案设计.docx

《金融领域存储方案设计.docx》由会员分享，可在线阅读，更多相关《金融领域存储方案设计.docx（12页珍藏版）》请在冰豆网上搜索。

金融领域存储方案设计

金融领域存储案设计

10142510253殷擎

10142510255俞彦琪

近年来计算机网络信息系统在社会生产和生活中发挥着越来越大的作用。

基于计算机技术的网络信息系统在很大程度上改变了社会对信息的处理能力，因而得到了广泛的应用。

对于金融企业来说，信息的高度共享、数据的安全可靠是系统建设中优先考虑的问题，基于此，建设高性能的数据存储网络意义重大。

第1章领域介绍和数据存储需求分析

1.1领域介绍

“十八大”提出将金融改革列为未来十年发展的重中之重，中国主要金融企业也都制定了“十二五”发展规划，将依靠构建智慧型的数据分析体系（MIS）充分挖掘业务规律，以支持业务创新与服务创新。

从未来发展看，中国金融行业在“十二五”时期将重点实现发展式转型：

一，中国金融行业将建立全面的风险管理体制，向监管转型；二，从粗放式管理向精细化管理转型，信息化重点也将从业务信息化向管理信息化转变；三，从“利润为中心”和“保单为中心”向“客户为中心”转型。

由此，未来几年中国金融行业的IT投资规模将会持续增长。

1.2数据存储需求分析

1.2.1金融大数据

需要可扩展性开放架构做支撑。

大数据量必然要求金融企业IT基础设施更易于数据的整合与集中、扩展与伸缩，以及管理与维护，同时还必须具备良好的可靠性、可控性、安全性。

大数据在加强风险管控、精细化管理、业务创新等业务转型中将起到重要作用。

首先，大数据能够加强风险的可审性和管理力度，支持业务的精细化管理。

当前中国银行业利率市场化改革已经起步，利率市场化必然会对银行业提出精细化管理的新要求。

其次，大数据支持服务创新，能够更好地实现“以客户为中心”理念，通过对客户消费行为模式进行分析（比如事件关联性分析），提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。

在高频金融交易、小额信贷、精准营销等领域加速推进。

目前大数据应用已经在金融业逐步推开，并取得了良好的效果，形成了一些较为典型的业务类型，如高频金融交易、小额信贷、精准营销等。

高频金融交易的主要特点是实时性要求高和数据规模大。

最后，大数据在金融机构的精准营销面也有着巨大的价值。

基于以上需求，金融行业对于大数据的存储和应用有着很大的需求。

1.2.2灾备需求

  银行业已经基本完成了省级业务和数据的大集中，具备了比较强的容灾能力，但各地分行存储备份系统还需要进一步加强。

一旦全国这个数据中心发生灾难事件，那么全国围的分支机构和开户企业、个人都将失去自己的存款记录、贷款记录，不能开展业务，这样的影响不是在一个市、一个省，而是在全国的围，后果难以想象。

    •  国外一些发达，如：

美国，在银行业的存储网络建设上起步早，早在上个世纪 70年代就有灾难备份的概念和服务。

在信息技术发达的欧美均对银行在保证数据完整性及业务连续性的责任上作出了明确的规定，在新加坡、中国金融管理局也对灾难备份提出了要求，由此可见银行业数据的安全存储对于银行的生存至关重要。

    •  由于使用ATM机取款和刷卡消费越来越普及，这就要求银行 必须 保证24X7的不间断运行，以满足超大量用户的实时访问，一旦宕机或者系统发生故障，不仅重影响银行业务的运营，更将重影响客户满意度。

所以建议租用网络存储空间，保证您24X7的在线服务。

•  目前，银行缺乏足够的网络维护人员。

因此，高效的网络存储建设十分必要。

构建网络式存储，避免了巨大的额外支出，大大提高了存储系统的利用率。

1.2.3具体需求

1、应用数据的全自动备份：

减少系统管理员的工作量；增加备份效率、压缩备份时间；使数据备份工作形成制度化、科学化；消除备份过程因操作不当导致的重损失；声称远程保留的为灾难恢复目的的介质。

2、对介质的有效管理：

增加软件对介质存储的限制，防止读写操作错误；保留介质容的电子记录；对数据形成分门别类的介质存储，使数据管理更加细致、科学；自动校验介质，确保介质上的数据安全无误。

3、实现数据的集中管理：

按备份服务器形成数据中心，对各种应用系统及其他信息数据形成集中的备份，减少每个应用业务人员的工作负担，免除客户端备份的投资；形成数据管理策略，保证数据的安全性。

4、实现数据的自动恢复：

业务人员可容易地自动恢复文件的误删除；维护人员可以自动恢复损坏的整个文件系统。

5、建立历史数据归档：

保留大量历史数据到电子介质，为商业竞争和企业发展保留第一手分析和历史资料；有规地归档，清除系统中被占用的空间以保证主机处于运行状态。

6、实现数据的分级存储管理（HSM）。

7、防毒安全备份管理。

第2章数据特点分析和数据访问特点

2.1数据特点分析

1、及时性有效性

2、准确性可靠性

3、连续性可扩性

4、开放性多功能性

5、安全性性

2.2数据访问特点

快速增长的金融行业不光面临着市场变化快，产品更新快、营销策略变化快、业务运作变化快等挑战，还面临这信息安全存储和及时访问、信息的集中化存储—信息存储整合、信息和数据的有效备份、及时的恢复、信息和数据的归档等技术应用层面的难题。

相比其他行业，他们要在一个集中的点上，管理全国乃至全球极大的交易数据需要瞬间数据访问、高安全性和异地存储等功能，金融机构对于灾后恢复时间的容忍度是所有行业中最小的。

第3章存储系统设计

3.1磁盘选择

选用DELLMD3600f磁盘阵列

其规格为3.5英寸-7,200RPM近线SAS硬盘，容量规格为2TB

3.1.1接口类型

因为采用近线SAS硬盘，所以其接口为串行SCSI接口。

3.1.2盘块个数

由于该领域某单位或企业当前实际数据量为2TB，预计该系统的数据每年增长量是30%

按未来5年的需求设计，所以五年后数据量增加到

2*（1+30%）^5=7.5TB。

考虑到此项目我们考虑使用RAID10存储，所以应增加磁盘数量，所以数据量增到

7.5*2=15TB

所以此处在只考虑存储数据，而不考虑业务连续性设计案的情况下，应购买MD3600f的数量为

8个

3.2选择RAID级别

3.2.1RAID10和RAID5比较

RAID10和RAID5对比，这里拿同样多驱动器的磁盘来做对比（4个相同的磁盘），RAID5可以选择3D+1P的RAID案，RAID10则可以选择2D+2D的RAID案。

从读写性能比较，读面两者差异不大，但在写性能面，RAID5的写代价为4，而RAID10写代价只有2，写性能角度RAID10要好于RAID5.

从安全性角度考虑，RAID10的安全性高于RAID5。

比如当盘1损坏时，对于RAID10，只有当盘1对应的镜象盘损坏，才导致RAID失效。

但是对于RAID5，剩下的3块盘中，任一块盘故障，都将导致RAID失效，在恢复的时候，RAID10恢复的速度也快于RAID5。

要求较高的空间利用率，对安全性要求不是特别高、大文件存储的系统采用RAID5比较好。

相反，安全性要求很高，不计成本，小数据量频繁写入的系统采用RAID10的式比较好。

此处RAID10更加贴近于金融数据的存储，因为金融服务类领域小数据量频繁写入，而且其数据对安全性的要求更高。

综上：

选择RAID10

3.3网络存储架构选择

3.3.1SAN介绍

SAN（StorageAreaNetwork存储局域网络）采用光纤通道（FibreChannel）技术

通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。

在iSCSI出现以后，用以IP技术搭建的存储区域网络应运而生。

以光纤搭建的存储网络是FCSAN，以iSCSI技术搭建的存储网络叫IPSAN。

IPSAN基于十分成熟的以太网技术，使用标准的TCP/IP协议，数据在以太网上进行传输。

新建立的SAN不但可以连接光纤通道设备，而且可以连接SCSI设备，这样保护了用户以前的投资。

数据的可靠性和安全性在实际应用中十分重要。

在SAN中可以采用双环的式，建立存储设备和计算机之间的多条通路，提高了数据的可用性；建立虚拟专用网络可以提高数据的可靠性和安全性；同时在SAN中也可以通过建立双机容错、多机集群，实现RAID校验等式进一步保证数据的安全性和作业的连续性。

3.3.2FC-SAN的优缺点

1.采用光纤通道（FibreChannel）技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的局域网络。

2.专用存储网络协议，传输速率高且稳定性好，高扩展性，配置灵活。

3.热插拔性、高速带宽、远程连接、连接设备数量大。

4.成本高，不能提供跨平台文件共享。

3.3.3IP-SAN与FC-SAN的比较

1）数据传输性能面的比较

在实际的对比测试中表明在同样的1Gbps的光纤链路（FC）与1Gbps的千兆以太网（IP）中进行数据传输时，FC的实际利用率在70%~80%左右，最高可达90%；而在千兆以太网中，其实际利用率平均在20%左右，最高也只能达到30%左右。

在以太网中并不能提供针对存储大数据量以及I/O应用中所需要的好的性能。

这也是在存储局域网设计之初没有考虑IP存储的原因，虽然TCP/IP传输协议的出现较FCP传输协议出现得早。

2）存储设备的结构比较

一般来说IP-SAN存储设备的磁盘控制器不是采用FC-SAN存储设备中的硬件RAID芯片+中央处理器的结构，而是每个磁盘柜中分为多个磁盘组，而每个磁盘组有一个微处理芯片控制所有的磁盘RAID操作（采用软件计算，效率较低）和RAID组的管理操作。

这样一来，每一次磁盘I/O操作都将经过IP-SAN存储置的一个类似交换机的设备从前端众多的主机端口中读取或写入数据，而这些操作都是基于IP交换协议，其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作，具有海量存储的时候，不可能所有的数据均载入到系统缓存中这个时候就需要大量的磁盘I/O操作来查找数据，而IP-SAN存储所采用的SATA磁盘在这一块性能非常弱，而且还涉及到一个在IP网络上流动的ISCSI数据向ATA格式数据转化的效率损失问题。

也就是说IP-SAN存储存在一个缓存Cache到磁盘的数据I/O和数据处理瓶颈。

而采用FC磁盘的FC-SAN存储设备就不存在这样的问题。

通过2条甚至4条冗余的后端光纤磁盘通道，可以获得一个非常高的磁盘读写带宽，而且FCP的磁盘读写协议不存在一个数据格式转换的问题，因为他们部采用的都是SCSI协议传输，避免了效率的损失。

而且FC-SAN存储设备由于光纤交换和数据传输的高效性，并不需要很大的缓存就能够获得一个好的数据命中率和读写性能，一般2Gb或者4Gb即可满足要求。

另外由于具备专门的硬件RAID校验控制芯片，所以磁盘RAID性能将比软件RAID性能好很多，并且可靠性更好。

3.）从存储能够相应的并发操作能力来看

从应用上来说，相对于IP-SAN，FC-SAN可以承接更多的并发访问用户数。

当并发访问Storage的用户数不多的情况时，FC-SAN对比IP-SAN二者性能相差无几。

但一旦当外接用户数呈大规模增长趋势时，FC-SAN就显示出其在稳定、安全以及高性能传输率等面的优势，不会像IP-SAN由于自身传输带宽的瓶颈而导致整个系统的被拖垮。

面对大规模并发访问，无论是从外接用户数规模来说还是从传输性能和稳定性来说，FC-SAN都有着IP-SAN不可比拟的优势。

综上：

选择FCSAN，由于金融服务业数据并发性强，且数据价值量大，采用IPSAN无法满足对于速度、并发性、安全性的要求，相比之下，FCSAN使得数据传输过程受外界影响小，对大规模数据请求也可以快速响应，满足金融服务领域要求，所以选择FCSAN.

3.3.4存储架构设计图示

第4章业务连续性保障设计，给出备份及恢复案

4.1案选择

选择“两地三中心”的案策略。

4.1.1首先消除单点故障

4.1.2根据要求以及银行业灾备标准选择RPO/RTO

此项目设计采取本地备份与远程备份相结合的策略

同城灾备场景中采用FCSAN实现数据同步复制，可以达到PRO=0，RTO较小，因为采取光纤通道，数据传输速度快，可以尽快恢复数据。

异地灾备场景中采用FCIP技术，此技术是的可以封装本地FCSAN的协议包，从而可在IP上传输，远程则有一FCIP网关，将包转换成FC协议包，此处选择PRO=0.5hours，RTO=2hours。

所以可以满足两地三中心的要求。

4.2本地备份

4.2.1基于FCSAN的网络容灾架构图

4.2.2对应的备份和恢复案

从上图中可以看到，备份恢复管理服务器处于主SAN的应用服务器与容灾SAN的应用服务器之间。

其功能主要有以下两点。

4.2.2.1数据备份：

当主SAN所属的磁盘数据改变时，主应用服务器给备份恢复管理服务器发出备份命令，然后备份恢复管理服务器给主SAN发送备份指令，同时给容灾应用服务器发出接收指令。

主SAN收到备份指令后，通过FC备份通道把改变了的数据传输到容灾SAN中，然后再存储在容灾SAN所述的磁盘上。

备份恢复管理服务器的加入，使得在备份数据时主应用服务器不再从事备份工作，而只是提供备份数据信息。

整个备份工作带来的负载从主应用服务器上剥离，备份恢复管理服务器完成了整个的备份数据传输过程。

从而避免了备份数据流对正常LAN应用的影响，解决了在进行备份工作时业务网络数据拥塞的问题。

其备份的流程如下图所示。

4.2.2.2数据恢复：

当主SAN所属的磁盘中的数据遭到破坏时，主应用服务器给备份恢复管理服务器发出恢复命令。

然后备份恢复管理服务器再把恢复命令传递给容灾应用服务器，接着容灾应用服务器发送确认信息给备份恢复管理服务器。

备份恢复管理服务器收到确认信息后，向容灾SAN发恢复指令，然后容灾SAN通过FC恢复通道把备份数据传送给主SAN，如此就完成了数据的恢复。

其恢复流程如下图所示。

4.3远程备份

4.3.1架构图

4.3.2对应的备份和恢复案

采用异步备份，即定时同步更新两地的数据。

由于此前我们确定的RPO=0.5hours，所以每隔半个小时定时更新远程数据。

恢复案，本地FCSAN发出恢复请求，通过IP网络传递给远程FCSAN，远程备份响应请求，发出数据传输信号，本地接收信号后，准备接收数据。

远程将数据打包通过IP传输给本地存储阵列。

4.3.3采用FCIP的好处

综合了光纤与IP的好处，保存了光纤网低延迟、高可靠性的优点，又利用的IP网络对于传输距离的优势，解决了FC网络只能一定围传输的缺点，从而满足远程备份对于长距离的要求。

第5章案说明

5.1选用了戴尔/DELL MD3600F磁盘阵列

1、与高性能、高容量的存储相整合

2、减少管理数据所用的时间

3、利用可选的PowerVault软件，保护您的数据

4、使用全新的PowerVault MD3660f，高效地存储更多数据

5、利用动态磁盘池，加快恢复速度

5.2选用了RAID5

在金融服务数据量极大、对空间利用率要求较高，而且写操作频繁的前提下，比标准的RAID 6配置更快地恢复故障硬盘中的数据。

5.3选用了FCSAN

金融服务业数据并发性强，且数据价值量大，FCSAN能满足对于速度、并发性、安全性的要求，并且在数据传输过程中受外界影响小，对大规模数据请求也可以快速响应，满足金融服务领域要求。

5.4选用了“两地三中心”的容灾案

1、同城围有效保证了数据的安全性和业务连续性；

2、异地复制数据根据灾难情形，尽可能降低数据丢失机率；

3、同城双中心为同步复制，数据实时同步，RPO=0；

4、异地无距离限制，保证数据一致性，保证了数据的有效保护；

5、异地容灾带宽要求低，先进的复制机制提高带宽利用率。

第6章总结

此案采用了DELLMD3600F存储阵列，其中使用RAID5存储数据。

在服务器与存储阵列连结的式采用FCSAN保障快速性和安全性，在业务连续性案中采取两地三中心的策略，同城基于FCSAN实现同步复制，异地通过FCIP网关达到远距离传输，有效地保护了数据，保障业务连续性。