云存储在数字资源长期保存中的应用.docx

1、云存储在数字资源长期保存中的应用云存储在数字资源长期保存中的应用摘要：数字资源长期保存是通过对数字信息生命周期的管理，实现对数字对象的长期可生存能力、可呈现能力和可理解能力的维护，迁移技术已被认为是一种有效的长期保存策略。本文在介绍数字资源长期保存迁移概念的基础上，通过对云存储状态下的数字资源保存工作进行分析，并介绍云存储的技术架构和应用原理, 分析传统的云存储技术在数字资源长期保存应用中面临的挑战及云存储所采取的应对策略,进一步探讨云存在数字资源保存领域中的应用。关键词：数据保存；云存储；应用引 言可靠的存储环境是一个机构开展数字资源长期保存活动的基础保障。数字资源长期保存工作的关键在于维护

2、数字信息的永久性和真实性，但其面临的数据丢失、介质故障、软硬件过时、结构错误等因素不断给数字信息的安全可靠带来严峻挑战。当前数字化进程的加快和数字资源的爆炸式增长，给人们带来便利的同时也给保存带来了危机，存储系统必须具备足够的存储空间以及灵活的可扩展性，才能长期应对海量数据的保存需求；数字资源长期保存任务繁重，任何一个机构都无法独立完成全部的保存任务，因此，数字资源的长期保存需要实现跨地域、跨机构的协同工作；为了保障数字资源的永久可获得性和可访问性， 数字资源长期保存还需要进行合理的备份和迁移；另外，开展数字资源长期保存的机构多数为图书馆、高校、科研所等非盈利性机构，有效降低人力、物力等成本也

3、成为保存机构的基本需求之一。因此，从可扩展性、支持协同共享、支持备份和迁移、降低成本代价等几个方面出发，探索合理的存储解决方案，是数字资源长期保存领域的关键问题之一。云存储是在云计算( Cloud Computing)基础上延伸和发展出来的一个新概念，一经提出， 就得到了许多数字资源长期保存机构研究专家的关注，本文通过对云存储的技术架构和应用案例进行分析，进一步探索云存储在数字资源长期保存中的应用，为国内同行提供参考。1.数字资源的理论概述1.1数字资源的定义 关于数字资源的概念至今在该领域还意见不一，未有一个定性、权威性的说法。该领域的相关人员通过各自所处的层面对其做了概括，而数字资源又叫做

4、电子资源，有的提出数字资源属于文献内容的一种表达方式，具体的是把相关的多媒体技术、通信技术和计算机技术融为一体，以此构造出的所有的信息资源，并且这些信息资源都是通过数字的方式来发布、获取、存储以及使用的。而在本篇文章中，数字资源定义为多媒体、通信、电脑等技术通过单机或者是网络来输送或者是保存的所有数字信息，这些数字信息主要保存在磁盘、光碟等载体里面。1.2数字资源长期保存的策略1.2.1技术策略 在对数字资源的存贮中，具备基本的数字资源存储能力是其前提条件，另外还要凭借一定的保护手段，使其具备可以呈现的能力以及能够被人们理解的能力。由于被存储的资料从内容到结构都是存在差异的，因此它们的相关性质

5、也有差异，对存储要求也有着不一样的标准。另外，保存方式技术的选用中，其数字信息的可以理解的能力、可以呈现的能力以及其生存的能力也将对其产生影响。现在技术保存、迁移以及仿真是人们比较熟悉的三类存储技术，它们都有自己先进的地方和不足之处。1.2.2管理策略数字资源长期保存标准体系中的标准就是利用相互之间协调商议成立的通过专业组织承认的文字性协议，该文件是对于数据存储行为做出的制度化规定。然而，它只是一种文字意义上的准则，标准不断的处于变化之中，是在各个领域中必须的。其中，对于数据信息长时间储存标准的确立具体有以下几点要求： 一是元数据资源的长期保存标准；二是数字的分布结构长期保存标准。另外，因为对

6、于数据的有效存储会关系到有关的法律道德、政策制度等问题，所以，要想实现数据的长时间存储需要各个层面采用多种方式的联合与帮助。为了有助于有效信息资源的长时间储存与运用，让用户使用信息的过程更加的真实合理，需要成立一致的数据信息的档案化管理体系，确保数据资源能够长时间的使用。成立数据信息的档案化管理体系能够让各个分离的数据信息管理中心统一的结合，依照档案归类的模式对于数据信息实现方便化使用与操作。2.云存储的技术架构2.1云存储的定义 所谓的云存储，就是利用信息技术或者数据信息系统等方式，通过信息软件把互联网中所有不同类别的储存装置组合在一起共同协调完成工作，并实现外界数据信息的有效储存以及访问职

7、能的网络系统。信息应用软件和储存装置的组合是云存储提供服务的关键，利用应用软件完成储存转向储存的服务。云存储的产生意味着存储范围不断的扩大并逐渐向公共服务的方面靠近，这在云存储的构造上是一个极大的转变，具有重要的意义与作用。2.2云存储的构造云存储是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同提供数据存储和业务访问功能的一个系统。从根本上说，云存储是网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分的组合，具体如表1所示：第一层访问层任何授权用户都可以通过标准的公用应用接口登陆云存储系统，享受云服务

8、第二层应用接口层云存储最为灵活而且多变的部分，根据业务类型的不同来应对服务接口进行不同的开发第三层基础管理层云存储中最为核心的部分，通过集群、分布式文件系统和网络计算等技术，实现云存储中多个存储设备之间的协同工作第四层存储层云存储最基础的部分，有各种类型的储存设备组成表1：云存储分层结构首先，存储层通过广域网、互联网或者FC 光纤通道网络把数量庞大且地理上分散的各种物理设备组合起来，用虚拟化技术屏蔽掉底层的硬件差异，以资源池的方式对外提供服务，通过统一的管理逻辑和接口，进行存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护；其次，基础管理层的作用是通过集群、分布式文件系

9、统和网格计算等技术保证各个存储设备之间协同工作，同时利用数据压缩、重复数据删除、数据加密等技术进行数据管理和安全管理。然后，应用层采用不同的云存储开发的不同的应用服务接口，提供不同的服务。最后，基于存储层、基础管理层和应用层的保障，用户在访问层不再需要了解底层的硬件设施类型、所存放的物理位置等细节，只需要获得云存储服务的授权，然后调用标准API就可以申请所需的存储空间，享受云存储上的各种应用服务。用户使用云存储时，可以选择公有云、私有云或混合云。公有云服务是由第三方云存储服务商提供，用户可以通过互联网访问服务，按需使用，按使用支付费用，典型的如Amazon的S3、EMC 的Atoms、Back

10、space、Nirvana等；私有云是在企业内部搭建的云存储环境，面向内部用户或者外部客户提供存储服务，企业拥有整个存储环境的自主权，并可基于自己的需求改进服务。混合云是把公有云和私有云结合在一起，在需要临时配置存储容量的时候，从公有云上划出一部分容量用作私有云存储，能够保持用户所用的存储是独立的。3. 云存储在数字资源长期保存方面的优势分析为了有效保障数字资源对象在整个数字生命周期内的完整性、真实性和可理解性，数字资源长期保存系统必须具备更高的可靠性和可信赖性。目前，在面对PB级的海量存储需求时，传统存储方式的缺陷愈见凸显，不仅在容量和性能的扩展上会存在瓶颈，在性能上、经济成本上也不能够满足

11、当前的需求。而云存储具有自身独特的优势：可以动态、灵活地进行扩展和配置，使存储资源以分布式共享的形式存在，通过网络将软硬件资源提供给用户按需使用。这些特征决定了云存储方式不同于传统的存储方式, 将为数字资源存储领域带来更大的便利。3.1支持海量存储以及动态扩展传统的DAS和SAN使用块数据存储，并利用分离的文件系统或数据库管理支持串行扩容，在系统规模较小时性能较好，但是随着数字资源数量的不断增大，存储性能会受I/O服务瓶颈制约而降低。云存储集成使用了支持大规模存储的集群技术、P2P技术和网格技术，允许存储服务器和存储节点同时增加，进行并行扩容。因此，在扩展时不会遇到兼容性的问题，存储的性能还会

12、随着节点的增加而无缝增长。另外，云存储实现了资源的集中监控和动态管理，每个应用所使用的存储空间可随意伸缩、实时调整。因此，在开展数字资源长期保存任务时，机构可以根据保存的资源状况，在初期申请较小的存储空间开展试验性研究，随着保存资源的增加，动态调整存储空间大小。因此，不必担心系统在存储上的可扩展性问题，也避免了原来由于存储空间长期空闲而造成的资源浪费。3.2可以协同保存在使用传统的DAS存储方式时，数字资源往往被隔离在单个保存机构内部， 不能实现协同工作和资源共享；NAS方式虽然通过LAN在一定程度上实现了跨异构平台的文件共享存储，但性能可能会受限于TCP/IP网络。云存储是将分布在各地的大规

13、模硬件设施进行抽象，通过虚拟技术强化数据保护机制和管理功能，在节点之间提供分布式锁管理和缓存一致性功能，然后通过集中元数据控制存储节点，形成一个多存储设备、多应用、多服务协同工作的共享存储虚拟架构。因此， 在云存储环境中，分布在不同地域的机构不需要太高的技术要求，只需要通过网络，就可以进行服务的创建、发布、执行和管理，轻松、高效地实现与其他机构的协同工作和互补式资源共享，有利于数字资源长期保存任务的分担和服务能力的增强。3.3高效备份和实时迁移传统方式是使用磁盘或磁带库进行备份，备份效率差，管理也极其复杂。如果要实现异地备份，则需要耗费更多的代价；在对发生介质故障或介质过时的硬件实施媒介刷新或

14、硬件迁移时，也往往需要中断系统服务，进行复杂的硬件部署。云存储的物理设备可能分布在世界上的不同地点，通过虚拟化将硬件资源进行逻辑抽象，划分给各个逻辑分区，并保证逻辑分区之间的隔离，同时提供各个分区之间的通信功能。因此，云存储可以以服务方式根据用户需求高效地执行备份策略，方便地帮助用户形成多个异地备份。在实施迁移的过程中，由于在真实的物理资源之上进行了抽象，因此将虚拟机的运行状态从一台物理服务器迁移到另一台物理服务器的整个迁移过程是平滑的，用户不会察觉虚拟机在池内的自由移动，也不需要像原来的物理服务器那样关闭服务器和中断系统服务，从而为数字资源长期保存系统实施硬件升级提供了更好的方式。3.4降低

15、成本代价传统的DAS方式初始成本比较低，即使采用大容量、高性能的磁盘阵列，其部署成本也通常在几万元以下，因此适合刚刚开展数字资源长期保存研究的资金比较匮乏的机构采用；NAS需要采用硬盘驱动器阵列、磁带驱动器或可移动的存储介质等存储器件和专用服务器，成本代价稍高；SAN使用专用的光纤通道交换机和管理软件，在拥有相同的存储空间时，其成本比DAS和NAS还要高很多；集群、P2P和网格存储都是利用系统网络中散布的大量普通节点进行大规模运营， 允许节点之间存储设备的差异化，存储管理的复杂性较低，能够带来很大的成本节约，但仍需要机房、硬件设备、电力、人员等运行维护费用。相比之下，云存储从初期投资、运行维护

16、两个方面降低了成本。首先，由于云存储可以动态扩展， 灵活配置，数字资源长期保存机构可以根据实际需求申请存储规模，不需太多初期投资就可以迅速开展保存任务；其次，由于不必拥有存储基础设施，用户无需对存储底层进行管理和维护，也不再需要机房、硬件设备、制冷设施等，相比于传统的存储方式降低了能耗。虽然云存储具有诸多优势，但目前许多数字资源长期保存机构并没有正式把大量数据移交到云存储平台上。4.云存储在数字资源长期保存中的挑战因为将保存的数据放到云端，在获得更多便利的同时，将不再控制数据存储的物理位置，所有数据的访问将依赖于云存储商所提供的服务，这甚至意味着对数字资源的保存责任的部分转移，也将带来数据隐私保护和安全上的隐忧：4.1数据的隐私性数字资源长期保存的资源类型既包括可以在网络上开放获取的资源, 也包括期刊论文等。对于后者, 往往只有订购数据库的用户才能够访问, 并且需要