银行业对象存储平台设计.docx

银行业对象存储平台设计.docx

《银行业对象存储平台设计.docx》由会员分享，可在线阅读，更多相关《银行业对象存储平台设计.docx（38页珍藏版）》请在冰豆网上搜索。

银行业对象存储平台设计

银行业对象存储平台设计

企业级对象存储助力银行企业

精简存储架构、提升非结构化数据存储效率

一、企业非结构化数据存储的现状及痛点3

（1）现状3

（2）痛点3

二、企业非结构化数据存储优化思路3

（1）采用对象存储方案思路4

（2）对象存储方案与传统分布式NAS方案的对比及总结5

三、平台测试与体验6

（1）测试内容6

（3）测试过程及结果6

1、功能性测试6

2、部署灵活性测试13

3、接口可用性测试14

4、系统可靠性测试17

5、系统管理性测试30

6、系统可维护性测试32

7、系统安全性测试36

一、企业非结构化数据存储的现状及痛点

随着本行数字化业务的持续开展和监管要求的不断提高，其中影像系统、呼叫中心系统，以及已经上线的后督系统等各类应用系统产生的影像文件、音频、视频等非结构化数据急速增加，本行正面临现有的文件存储设施不能适应业务增长、系统管理复杂、扩展能力差、访问能力差等问题。

因此需要启动开放式海量非结构化数据的存储平台项目，满足本行海量的非结构化数据存储、读取、管理需求。

（1）现状

目前我行的影像数据主要分两块，一块是地市影像数据，主要承载着事后督查业务，一块是总行影像数据，主要是柜面和信贷的影像数据。

11个地市的影像数据目前分别存放于11个SAN存储当中，根据地市的业务规模不一，存储容量也不一，平均每个SAN存储约50TB。

总行影像数据通过存储分层架构实现在线、近线和离线数据的存储和隔离。

在线存储存放于闪存（FS900）当中，约5T，保存了近7天的影像数据，并通过IBM的ECM客户端定期迁移至ECM系统所在的近线存储（DS8870）当中，约20T，保存了近30天的影像数据，最后再通过TSM备份软件每日将近线存储中的影像数据备份至华为（5300V3）离线存储当中，约200TB，当信贷或者柜面业务需要调取7天的影像数据时，直接读取在线存储，调取30天的数据时，先通过ECM客户端将ECM中数据抽取至影像平台，再传给业务系统，调取30天以上的数据时，需先通过TSM备份软件抽取备份的影像数据至ECM系统，再传给影像平台，最终传给相关业务系统。

（2）痛点

此架构通过存储的分层，不同性能的存储提供不同的IO服务，确实也在项目上线后的3、4年内，提供了比较高效非结构化数据存取能力。

然而随着近两年存储的影像数据量的暴增，新增了多类业务的影像业务和数据，像互联网影像数据、手机银行及人脸识别影像数据、银企业务影像数据等等，这样就导致影像系统尤其是ECM系统压力的陡增，目前遇到的痛点主要在于ECM系统，无论是近线数据还是离线数据，影像数据的位置与影像数据间的关系等信息均存放于ECM数据库当中，该数据库为联机型关系数据库，随着数据量的剧增，ECM数据库的数据量已达到近5TB，7天以上的数据调阅均需要访问先ECM数据库，来获取数据位置，然而目前庞大ECM的数据库，并发读取性能已经越来越不满足业务的需求，因此数据调阅响应时间也越来越长。

因此迫切需要对现有影像以及ECM的数据存储架构进行转型，精简该存储架构，全面提升影像数据的存储效率。

二、企业非结构化数据存储优化思路

鉴于我行目前非结构化数据主要存放在SAN集中式存储上，而传统存储采用集中式的元数据处理方式，因此，当我行影像系统在处理千万、亿级的文件量时就会出现陡峭的性能骤降拐点，直接表现就是前端影像平台处理效率降低，柜面、信贷、事后督查等涉及影像的业务效率的下降，最终导致客户满意度的下降，这显然不利于我行的健康持久发展。

因此我行需要对现有存储中的

海量数据进行整合、精简存储架构，目前非结构化海量数据存储较好的方案主要有传统分布式NAS方案和对象存储方案。

传统NAS存储方案由于和现有SAN存储方案类似，都是基于文件系统的方案，均为树形目录组织结构，随着数据量的增大，同样存在文件寻址越来越慢的瓶颈。

另外如果将现有SAN方案改为NAS存储方案，IOPS和IO响应时间还有所降低，尤其是在线储存目前所用的为闪存阵列，近线存储为DS8870，地市后督影像存储为华为5300V3，NAS方案显然不适合对现有架构进行改造，且存在越改越差的情况，并且对NAS存储的容灾备份方案，依旧是两套NAS镜像的方式，副本数较少，备份效率低，数据一致性校验困难。

因此我行在非结构化存储架构转型偏向于对象存储方案。

（1）采用对象存储方案思路

我行期望通过使用分布式对象存储架构替换传统的SAN存储架构，能够解决海量非结构化数据的集中存储及访问问题，提升非结构化文件存取效率，解决地市影像和总行影像存储单点问题，并尽可能的精简现有非机构化数据的存储架构。

而分布式对象存储能够保证不丢失数据、不中断服务、提供良好的用户体验，解决存储扩容复杂问题。

由于分布式对象存储采用扁平化的数据组织方式，所以目录架构扩展性强，耦合性低，增删节点时所需迁移的数据少。

整体而言，在业务系统、IT性能以及运维方面都带了本质的提升。

因此利用对象存储的方案，可以解决我行三个方面的问题：

1、精简非结构化数据存储架构。

对总行而言，之前我行的存储架构为闪存

-DS8870-华为5300V3，三层存储架构，且存储和现有生产交易类存储闪存和

DS8870共用，一来非结构化数据不适合放于IO响应时间优异的存储当中，性能浪费严重，占用过多的存储空间，其他对IO响应时间要求较高的交易类系统，可能反而得不到高性能的存储。

二来该存储架构过于冗余，数据存储具有大量迁移过程，如7天以上的数据由闪存迁移至DS8870,30天以上的数据由DS8870迁移至5300V3，历史数据调阅的过程又反向，虽然均通过ECM系统和TSM软件实现该过程，但效率较低，相当于，存储性能比较优异，但整体数据存取效率不高，尤其是历史数据的存储方面。

对地市分行而言，11个地市分别部署了一套华为存储，独立使用，数据来源于事后监督系统通过抽取总行ECM的历史数据而来，数据和总行数据重合，却并不是总行数据的副本。

而采用对象存储方案，可以通过总行和地市部署存储节点和访问节点的方式，将所有存储打通成一个大存储资源池，所有影像数据均放在该存储池，形成二层精简架构，所有数据的存取，包括柜面、信贷、后督系统对影像数据的存储，均通过本地的访问节点访问，大大提升了访问效率。

2、提升非结构化数据的副本数和冗余度。

相较于现有存储架构中的单副本数据，由于对象存储池中的数据可划分为多个副本，且每份影像数据也通过切片的方式分布于所有存储节点当中，因此数据的冗余度也大大提升，即使某一个或者多个存储节点发生故障，或者访问节点发生故障，均可以通过其他存储节点和访问节点获取数据。

3、提升非结构化数据的存取性能。

虽然目前的方案中闪存的引入，对于7天的影像数据的存取效率大大提升，但历史影像数据的调阅性能较差，导致该问题的一个主要原因在于历史影像数据调阅需要通过ECM客户端访问ECM系统中的存储数据，而该访问的过程首先要读取ECM数据库，获取存储数据的位置和地址，才能获取存储当中的数据，这样的弊端在于随着ECM数据库中数据量的增大，数据库访问效率大大降低，30天历史影像数据的调阅也就越来越慢，无法满足

柜面及信贷对影像数据的需求，至于30天以上的历史数据就更加如此，除了需要访问ECM数据库之外，还需要访问TSM备份系统，通过TSM备份系统自动将要调阅的数据恢复至ECM系统中，再上传给影像平台，供其他系统调阅。

因此整个过程实际上耗费了大量时间在数据查找和数据传输上，即使底层存储采用了SAN存储，性能较对象存储强，但加上这些时间，总体调阅时间大大提高。

因此倘若采用了对象存储，访问时间就仅仅为对象存储的寻址时间，没有其他时间的消耗，这样性能也就大大提升。

因此，对本行的非结构化数据存储架构的改造而言，采用对象存储方案是最优的方案。

但同时，另一方面，采用对象存储，也将给我行带来两个方面的问题：

1、传统的文件系统读取的方式将改为对象存储API的方式。

需要对应用进行改造，增加接口，修改程序代码。

2、原闪存、DS8870、5300V3中的存储数据需要通过调阅的方式迁移至对象存储当中，涉及的数据量较多，耗时较长，且影像系统在数据迁移过程中，不能有中断现象，迁移时也要对其他业务系统提供影像服务，因此，整个平滑迁移与过渡的方案要理清。

（2）对象存储方案与传统分布式NAS方案的对比及总结

我行在对非结构化数据改造过程中，也考虑过传统NAS方案，对经过对比，发现传统NAS方案并不能满足我们的实际需求，下面一张图为对象存储与分布式

NAS方案的对比：

该图总结而言，相对于传统的SAN存和NAS存储，对象存储具有以下优点：

1、降低数据存储成本

对象存储可以使用低廉的X86服务器+对象存储软件实现，存储成本比较低。

2、数据可用性

RAID，当一个RAID磁盘出现故障，系统会慢如蜗牛需要数小时或数天来重建阵列。

大多数对象存储使用纠删码技术存储数据，经过合理设施后，可以以较低的副标数量保证数据的可用性。

而数据恢复只需要数分钟便可以完成，而且数据可用性不会中断，性能也不会明显退化。

3、大容量和高扩展性

对象存储系统中，没有目录层次结构（树），对象的存储位置可以存储在不同的目录路径中易变检索。

这就使得对象存储系统可以精准到每个字节，而且不受文件

（对象）数量、文件大小和文件系统容量的限制。

对象存储系统可以不需要文件名、日期和其他文件属性就可以查找文件。

他们还可以使用元数据应用服务水平协议（SLA）,路由协议，备灾和灾难恢复，备份和数据删除删除以及自动存储管理。

这些是文件系统所不能解决的问题。

4、容灾备份优势

对象存储系统如果设计合理，并不需要备份。

多个副本可以确保数据始终保持可用状态，而且异地灾难恢复备份也可以被自动创建。

、

5、性能优势

利用分布式实现大规模I/O并行读写。

每个节点都是独立的，提供了集群的切入点，并运行相同的代码。

这使得工作量可以平均分配到集群中的所有节点上，避免NAS和集群文件系统中常见的热节点问题的出现。

自动负载均衡可以让

I/O自动选择合理的节点，保证系统性能最大化。

因此，在现有SAN存储架构、传统NAS存储架构方案和对象存储方案中，我们最终决定选择采用对象存储方案来对现有SAN分层存储架构进行改造。

三、平台测试与体验

为了充分了解对象存储方案的优势，帮助我们且为了将来更好的利用好对象存储，我们采用线上和线下两种方式对IBM的Cleversafe对象存储进行测试，经过充分的测试内容、方案的准备和测试中详尽的过程记录，发现这款对象存储软件十分优异，下面将整个测试内容和测试过程汇总如下：

（1）测试内容

通过对如下内容的测试来验证IBMCleversafe产品是否满足业务需求：

1、产品基本功能，如对非结构化数据的上传、修改、删除

2、产品的部署可行性和灵活性。

包括部署的复杂度，模拟跨站点等场景

3、产品的接口可用性性。

和应用系统的对接开发可行性，对应用系统的改造可

行性。

4、产品的可靠性。

是否有完善的性能保障方案，保障系统稳定可靠运行。

5、产品的易用性。

包括图形化的前端界面，方便日常的维护操作管理。

6、产品的可维护性。

包括硬件更换，系统升级，监控管理和日志管理。

（3）测试过程及结果

1、功能性测试

【产品功能展现】

A、案例编号：

001

B、案例名称：

产品功能的基本展现

C、案例场景描述：

创建对应的存储池（storagepool）、访问池（