银行业对象存储平台设计.docx

1、银行业对象存储平台设计银行业对象存储平台设计企业级对象存储助力银行企业精简存储架构、提升非结构化数据存储效率一、企业非结构化数据存储的现状及痛点 3（1）现状 3（2）痛点 3二、企业非结构化数据存储优化思路 3（1） 采用对象存储方案思路 4（2）对象存储方案与传统分布式 NAS 方案的对比及总结 5三、平台测试与体验 6（1）测试内容 6（3）测试过程及结果 61、功能性测试 62、部署灵活性测试 133、接口可用性测试 144、系统可靠性测试 175、系统管理性测试 306、系统可维护性测试 327、系统安全性测试 36一、企业非结构化数据存储的现状及痛点随着本行数字化业务的持续开展和监

2、管要求的不断提高，其中影像系统、呼叫中心系统，以及已经上线的后督系统等各类应用系统产生的影像文件、音频、视频等非结构化数据急速增加，本行正面临现有的文件存储设施不能适应业务增长、系统管理复杂、扩展能力差、访问能力差等问题。因此需要启动开放式海量非结构化数据的存储平台项目，满足本行海量的非结构化数据存储、读取、管理需求。（1）现状目前我行的影像数据主要分两块，一块是地市影像数据，主要承载着事后督查业务，一块是总行影像数据，主要是柜面和信贷的影像数据。11 个地市的影像数据目前分别存放于 11 个 SAN 存储当中，根据地市的业务规模不一，存储容量也不一，平均每个 SAN 存储约 50TB。总行影

3、像数据通过存储分层架构实现在线、近线和离线数据的存储和隔离。在线存储存放于闪存（FS900）当中，约 5T，保存了近 7 天的影像数据，并通过 IBM 的 ECM 客户端定期迁移至 ECM 系统所在的近线存储（DS8870）当中，约 20T，保存了近 30 天的影像数据，最后再通过 TSM 备份软件每日将近线存储中的影像数据备份至华为（5300V3）离线存储当中，约200TB，当信贷或者柜面业务需要调取 7 天的影像数据时，直接读取在线存储， 调取 30 天的数据时，先通过 ECM 客户端将 ECM 中数据抽取至影像平台，再传给业务系统，调取 30 天以上的数据时，需先通过 TSM 备份软件抽

4、取备份的影像数据至 ECM 系统，再传给影像平台，最终传给相关业务系统。（2）痛点此架构通过存储的分层，不同性能的存储提供不同的 IO 服务，确实也在项目上线后的 3、4 年内，提供了比较高效非结构化数据存取能力。然而随着近两年存储的影像数据量的暴增，新增了多类业务的影像业务和数据，像互联网影像数据、手机银行及人脸识别影像数据、银企业务影像数据等等，这样就导致影像系统尤其是 ECM 系统压力的陡增，目前遇到的痛点主要在于 ECM 系统，无论是近线数据还是离线数据，影像数据的位置与影像数据间的关系等信息均存放于 ECM 数据库当中，该数据库为联机型关系数据库，随着数据量的剧增，ECM 数据库的数

5、据量已达到近 5TB，7 天以上的数据调阅均需要访问先 ECM 数据库，来获取数据位置，然而目前庞大 ECM 的数据库，并发读取性能已经越来越不满足业务的需求，因此数据调阅响应时间也越来越长。因此迫切需要对现有影像以及 ECM 的数据存储架构进行转型，精简该存储架构，全面提升影像数据的存储效率。二、企业非结构化数据存储优化思路鉴于我行目前非结构化数据主要存放在 SAN 集中式存储上，而传统存储采用集中式的元数据处理方式，因此，当我行影像系统在处理千万、亿级的文件量时就会出现陡峭的性能骤降拐点，直接表现就是前端影像平台处理效率降 低，柜面、信贷、事后督查等涉及影像的业务效率的下降，最终导致客户满

6、意度的下降，这显然不利于我行的健康持久发展。因此我行需要对现有存储中的海量数据进行整合、精简存储架构，目前非结构化海量数据存储较好的方案主要有传统分布式 NAS 方案和对象存储方案。传统 NAS 存储方案由于和现有 SAN 存储方案类似，都是基于文件系统的方案，均为树形目录组织结构，随着数据量的增大，同样存在文件寻址越来越慢的瓶颈。另外如果将现有 SAN 方案改为NAS 存储方案，IOPS 和 IO 响应时间还有所降低，尤其是在线储存目前所用的为闪存阵列，近线存储为 DS8870，地市后督影像存储为华为 5300V3，NAS 方案显然不适合对现有架构进行改造，且存在越改越差的情况，并且对 NA

7、S 存储的容灾备份方案，依旧是两套 NAS 镜像的方式，副本数较少，备份效率低，数据一致性校验困难。因此我行在非结构化存储架构转型偏向于对象存储方案。（1） 采用对象存储方案思路我行期望通过使用分布式对象存储架构替换传统的 SAN 存储架构，能够解决海量非结构化数据的集中存储及访问问题，提升非结构化文件存取效率，解决地 市影像和总行影像存储单点问题，并尽可能的精简现有非机构化数据的存储架构。而分布式对象存储能够保证不丢失数据、不中断服务、提供良好的用户体验，解 决存储扩容复杂问题。由于分布式对象存储采用扁平化的数据组织方式，所以目 录架构扩展性强，耦合性低，增删节点时所需迁移的数据少。整体而言

8、，在业务 系统、IT 性能以及运维方面都带了本质的提升。因此利用对象存储的方案，可以解决我行三个方面的问题：1、精简非结构化数据存储架构。对总行而言，之前我行的存储架构为闪存-DS8870-华为 5300V3，三层存储架构，且存储和现有生产交易类存储闪存和DS8870 共用，一来非结构化数据不适合放于 IO 响应时间优异的存储当中，性能浪费严重，占用过多的存储空间，其他对 IO 响应时间要求较高的交易类系统， 可能反而得不到高性能的存储。二来该存储架构过于冗余，数据存储具有大量迁移过程，如 7 天以上的数据由闪存迁移至 DS8870,30 天以上的数据由 DS8870 迁移至 5300V3，历

9、史数据调阅的过程又反向，虽然均通过 ECM 系统和 TSM 软件实现该过程，但效率较低，相当于，存储性能比较优异，但整体数据存取效率不高， 尤其是历史数据的存储方面。对地市分行而言，11 个地市分别部署了一套华为存储，独立使用，数据来源于事后监督系统通过抽取总行 ECM 的历史数据而来， 数据和总行数据重合，却并不是总行数据的副本。而采用对象存储方案，可以通过总行和地市部署存储节点和访问节点的方式，将所有存储打通成一个大存储资源池，所有影像数据均放在该存储池，形成二层精简架构，所有数据的存取，包括柜面、信贷、后督系统对影像数据的存储，均通过本地的访问节点访问，大大提升了访问效率。2、提升非结构

10、化数据的副本数和冗余度。相较于现有存储架构中的单副本数据，由于对象存储池中的数据可划分为多个副本，且每份影像数据也通过切片的方式分布于所有存储节点当中，因此数据的冗余度也大大提升，即使某一个或者多个存储节点发生故障，或者访问节点发生故障，均可以通过其他存储节点和访问节点获取数据。3、提升非结构化数据的存取性能。虽然目前的方案中闪存的引入，对于 7 天的影像数据的存取效率大大提升，但历史影像数据的调阅性能较差，导致该问题的一个主要原因在于历史影像数据调阅需要通过 ECM 客户端访问 ECM 系统中的存储数据，而该访问的过程首先要读取 ECM 数据库，获取存储数据的位置和地址，才能获取存储当中的数

11、据，这样的弊端在于随着 ECM 数据库中数据量的增大， 数据库访问效率大大降低，30 天历史影像数据的调阅也就越来越慢，无法满足柜面及信贷对影像数据的需求，至于 30 天以上的历史数据就更加如此，除了需要访问 ECM 数据库之外，还需要访问 TSM 备份系统，通过 TSM 备份系统自动将要调阅的数据恢复至 ECM 系统中，再上传给影像平台，供其他系统调阅。因此整个过程实际上耗费了大量时间在数据查找和数据传输上，即使底层存储采用了 SAN 存储，性能较对象存储强，但加上这些时间，总体调阅时间大大提高。因此倘若采用了对象存储，访问时间就仅仅为对象存储的寻址时间，没有其他时间的消耗， 这样性能也就大

12、大提升。因此，对本行的非结构化数据存储架构的改造而言，采用对象存储方案是最优的方案。但同时，另一方面，采用对象存储，也将给我行带来两个方面的问题：1、传统的文件系统读取的方式将改为对象存储 API 的方式。需要对应用进行改造，增加接口，修改程序代码。2、原闪存、DS8870、5300V3 中的存储数据需要通过调阅的方式迁移至对象存储当中，涉及的数据量较多，耗时较长，且影像系统在数据迁移过程中，不能有中断现象，迁移时也要对其他业务系统提供影像服务，因此，整个平滑迁移与过渡的方案要理清。（2）对象存储方案与传统分布式 NAS 方案的对比及总结我行在对非结构化数据改造过程中，也考虑过传统 NAS 方

13、案，对经过对比， 发现传统 NAS 方案并不能满足我们的实际需求，下面一张图为对象存储与分布式NAS 方案的对比：该图总结而言，相对于传统的 SAN 存和 NAS 存储，对象存储具有以下优点： 1、降低数据存储成本对象存储可以使用低廉的 X86 服务器+对象存储软件实现，存储成本比较低。2、数据可用性RAID，当一个 RAID 磁盘出现故障，系统会慢如蜗牛需要数小时或数天来重建阵列。大多数对象存储使用纠删码技术存储数据，经过合理设施后，可以以较低的副标数量保证数据的可用性。而数据恢复只需要数分钟便可以完成，而且数据可用性不会中断，性能也不会明显退化。3、大容量和高扩展性对象存储系统中，没有目录

14、层次结构(树)，对象的存储位置可以存储在不同的目录路径中易变检索。这就使得对象存储系统可以精准到每个字节，而且不受文件(对象)数量、文件大小和文件系统容量的限制。对象存储系统可以不需要文件名、日期和其他文件属性就可以查找文件。他们还可以使用元数据应用服务水平协议(SLA),路由协议，备灾和灾难恢复，备份和数据删除删除以及自动存储管理。这些是文件系统所不能解决的问题。4、容灾备份优势对象存储系统如果设计合理，并不需要备份。多个副本可以确保数据始终保持可用状态，而且异地灾难恢复备份也可以被自动创建。、5、性能优势利用分布式实现大规模 I/O 并行读写。每个节点都是独立的，提供了集群的切入点，并运行

15、相同的代码。这使得工作量可以平均分配到集群中的所有节点上，避免 NAS 和集群文件系统中常见的热节点问题的出现。自动负载均衡可以让I/O 自动选择合理的节点，保证系统性能最大化。因此，在现有 SAN 存储架构、传统 NAS 存储架构方案和对象存储方案中，我们最终决定选择采用对象存储方案来对现有 SAN 分层存储架构进行改造。三、平台测试与体验为了充分了解对象存储方案的优势，帮助我们且为了将来更好的利用好对象存储，我们采用线上和线下两种方式对 IBM 的 Cleversafe 对象存储进行测试， 经过充分的测试内容、方案的准备和测试中详尽的过程记录，发现这款对象存储软件十分优异，下面将整个测试内

16、容和测试过程汇总如下：（1）测试内容通过对如下内容的测试来验证 IBM Cleversafe 产品是否满足业务需求： 1、 产品基本功能，如对非结构化数据的上传、修改、删除2、 产品的部署可行性和灵活性。包括部署的复杂度，模拟跨站点等场景3、 产品的接口可用性性。和应用系统的对接开发可行性，对应用系统的改造可行性。4、 产品的可靠性。是否有完善的性能保障方案，保障系统稳定可靠运行。5、 产品的易用性。包括图形化的前端界面，方便日常的维护操作管理。6、 产品的可维护性。包括硬件更换，系统升级，监控管理和日志管理。（3）测试过程及结果1、功能性测试【产品功能展现】A、 案例编号：001B、 案例名称：产品功能的基本展现C、 案例场景描述：创建对应的存储池（storage pool）、访问池（