NetApp D2D快照备份方式.docx

1、NetApp D2D快照备份方式NetApp快照备份方式在介绍快照技术之前，我们可以简单了解一下存储系统的管理机制，存储系统的核心包括磁盘管理和连接管理，磁盘管理主要是管理存储系统的磁盘，通过校验容错提供高可靠的逻辑存储空间，连接管理主要实现存储系统与主机系统的连接交互，实现主机系统存储集中的目标。在存储系统的磁盘管理机制中，有一个重要的功能是存储系统可以对每一个划分的逻辑空间实现快照，也就是记录下1个逻辑存储空间在某个时间点时数据块的信息和状态，这种操作都是可以瞬时完成的。正是这种技术和功能为我们以上所介绍的备份革新提供了可能。但要以这种快照方式实现数据卷在某一时间点的快照备份，同时也对这种

2、快照功能提出了特殊的要求，首先是这种存储系统的快照的生成和维护都不能都影响到存储系统的性能，其次是快照与快照之间保留的是变化了的数据块。NetApp公司提供的存储系统和快照备份解决方案可以完全满足了以上的要求。传统的快照功能都采用的是一种“copy-on-write”模式，原理就是先开辟一个存储预留区，通过记录数据卷某一时间点的状态实现快照，快照完成后对数据卷的所有改动就会先把未改动的数据块拷贝到预留区，然后再改变原数据块，这样造成的结果就是，原来的一步简单的写操作，在数据卷有快照的情况下就变成了需要先做1步读操作，然后再进行2步的写操作，造成的结果就是做完快照以后，如果要长期维护和保留快照，

3、就会造成整个存储系统本身的性能下降。这样的快照模式，是不适合采用快照方式实现数据备份的。目前主流的存储系统还有另外一种快照模式，就是NetApp公司所采用的“零拷贝”快照模式，不需要设置和维护存储预留区，也不需要不断的拷贝变化了的数据，快照的生成和维护都不会对存储系统造成影响，不涉及到数据块的移动，一套存储系统可以维护的最多快照数可以达到127，000个。NetApp的这种快照技术完全得益于NetApp专利的Data ONTAP操作系统和WAFL文件系统，这2个专利技术都是专门为存储系统管理而设计的，是NetApp存储系统的核心。通过WAFL管理的数据块，可以在存储系统的任意位置上写入数据，这

4、就避免了需要开辟预留区，同时也避免了数据块频繁拷贝。NetApp通过这一技术，对采用NetApp存储系统的数据中心，提供了完全革新的备份解决方案，作为NetApp存储系统最大的特点和增值点之一。NetApp快照备份方式是NetApp特有的解决方案，从根本上改变用户现有的存储和备份管理和使用方式。对于数据存储，我们将为用户提供NetApp高性能的统一网络存储系统平台，将用户除操作系统和应用程序以外的所有数据都整合到NetApp的统一网络存储系统平台上来，实现集中和统一的管理。NetApp存储系统的最大特点除了高性能、管理简便以外，还有可以为用户提供FC SAN、NAS、iSCSI多种网络存储架构

5、，无论用户现有的环境是采用的服务器本地磁盘、直连磁盘，是使用的文件系统环境还是数据库裸盘环境，使用现有的FC光纤环境、还是现有的千兆以太网环境，都可以很方便的整合到NetApp存储系统上来，架构非常的灵活，管理也非常的简便。在实现第一步的应用系统数据网络集中存储以后，NetApp可以提供一系列的基于NetApp存储系统的软件实现数据的备份和复制。首先是NetApp存储系统提供的SnapShot快照软件，用户可以对每一个应用系统分配的逻辑数据卷作255份快照备份，快照操作在几秒钟内完成，维护快照也不会对存储系统造成任何的影响。我们可以订制策略，定时对逻辑数据卷进行快照，每一份快照就是应用数据的一

6、份全备份，而且每一份快照也只占用相对于原数据变化了的数据块，是一种基于数据块变化量的增量备份。这样在用户的主存储系统上就既实现了集中存储又实现了近期数据的逻辑全备份。我们同时需要把主存储系统上的数据复制一份到2级采用SATA磁盘的备份存储系统上去，提供数据的物理全备份，以防止主存储系统数据完全损坏的状况出现。在这里我们会利用NetApp的SnapVault磁盘阵列间数据备份软件，通过IP链路，实现数据备份。SnapVault完全利用NetApp的SnapShot快照机制，在实现第一次的初始“0”级备份之后，以后假设时间间隔是一小时，SnapVault会首先在主存储系统上生成一个快照，这一份快照

7、会跟上一个时间点的快照做比对，将变化了的数据块通过IP网络传递到2级备份储存系统上，同时以快照的形式保留，在2级备份存储系统上同样形成了原始数据加上快照的数据备份模式，每一份快照都是一份全备份数据。在这里我们利用NetApp的FlexClone软件，可以利用快照迅速克隆出来一份数据，这份数据就是快照时间点的数据状态。对于这份数据应用系统可以根据自己的网络存储部署方式通过FC SAN、NAS、iSCSI多种方式直接访问。同时这份数据并不是对原数据的一对一拷贝，只有相对于原数据变化了的数据块才会占用实际存储空间。克隆的操作在秒级时间内就可以完成。而且不会占用过多的存储空间。应用系统对克隆数据的访问

8、也只需要做简单的访问重定向就可以完成。我们还可以使用原有的磁带库系统和备份管理软件，对备份存储系统作定期的归档备份，备份数据流可以通过NetApp存储系统支持的NDMP标准协议，直接从NetApp系统备份到磁带库上去，对前端的应用系统毫无任何影响。NetApp的数据集中存储和备份解决方案，通过一套统一的网络存储平台，解决了所有的数据集中存储和备份管理的问题，可以为用户提供SAN、NAS、iSCSI多种网络存储连接，同时通过NetApp的备份方式，可以实现备份窗口接近于“0”，备份恢复时间接近于“0”，备份恢复点小于1个小时。整套集中存储和备份解决方案是效率最好、可靠性和可用性最高的解决方案。N

9、etApp基于存储系统快照的备份解决方案的革新优势NetApp的这种完全基于存储系统的备份解决方案，不同于传统的备份解决方案最大的一个特点就是，这种备份解决方案从他诞生那天起就是基于的磁盘存储系统这种随机存储介质而不是磁带这种专用的顺序存储介质，它可以避免所有顺序存储介质为备份系统带来的所有问题，也可以获得所有的磁盘存储介质带来的数据存储优势。这种备份解决方案始终以NetApp的磁盘存储系统为核心，直接面向磁盘存储系统的最小逻辑单位，即4KB的数据块，通过对数据块的保留和比对，实现了所有的备份系统所要求达到的目标。采用这种备份解决方案我们可以获得在以下几个方面的对备份系统的彻底革新，彻底摆脱磁

10、带备份系统的低效、低可靠性、低利用率的问题，最大限度地发挥备份系统的价值。首先通过这种存储系统本身的数据卷快照方式实现备份，可以更充分的发挥实现数据中心集中存储以后对整个IT管理架构的革新所能带来的数据管理优势。数据集中存储以后，在存储系统端我们来看数据，数据就是一个个的逻辑存储卷，只要我们能够保证在备份时间点的数据一致性，通过对逻辑数据卷做快照的方式来实现数据备份，无疑是最优的备份方式，通过快照我们保留了逻辑数据卷的“元数据”（metadata）,这种操作对存储系统来说都是可以在瞬间完成的，通过这种方式，我们彻底摆脱了数据备份窗口（RTO）的困扰，因为即使需要应用系统参与到备份过程中来，通过

11、静默应用系统来保证备份时间点数据的一致性，这种静默所需要的时间也是以“秒”来计算的，因此NetApp这种快照备份方式实际所需要的备份窗口（RTO）就是以“秒”来计算的，和传统的备份解决方案相比，几乎可以忽略不计了。我们再也不需要因为要考虑备份窗口（RTO）的限制，每天只能做一次备份。只要存储空间允许，我们可以彻底的改变备份系统的恢复点目标（RPO），每天可以做4到8次的备份，尽可能减少由于各种各样的原因造成数据损坏需要恢复时，由于备份恢复点（RPO）的问题造成的数据丢失。这种备份方式带来的另外一个好处是，每一个快照备份都是一份全备份，不再像传统备份解决方案那样只能定期的做全备份，每天做增量备份

12、或差量备份。恢复方式也只能是先恢复全备份的数据，再依次恢复增量备份或差量备份数据，才能恢复到指定的时间点。采用NetApp的这种备份解决方案，我们只需要恢复一次就可以恢复到指定的时间点，获得需要恢复的数据。基于存储系统的快照备份，我们不再使用磁带这种顺序存储介质作为备份和恢复的介质，备份的数据在存储系统上是可以直接访问的，可以直接进行单文件恢复这种最常见的恢复请求，可以直接验证备份数据的可靠性和可用性。利用NetApp特别提供的FlexClone软件，我们还可以把一个只读的快照备份快速的克隆成另一份和原始数据完全相同的临时数据，我们可以对这份数据进行所有的操作，可以利用这份数据快速搭建一个测试

13、环境，用于系统升级补丁的测试、系统开发的测试等等各种测试功能，而又不会伤害到原始数据和快照备份数据，占用的空间只是克隆出的数据卷产生的不同于原始数据部分的新的4KB的数据块。通过这种方式我们可以实现备份数据和备份设备的功能最大化，备份系统不再作为一个摆设，可以带来实际的效益。这种存储系统到存储系统之间的数据块级别复制，也根本的不同于传统的基于文件变化的备份复制方式，一个文件变化量达到10%的数据如果以数据块变化量来计算一般只能达到2%的数据块变化量，要远远小于文件的变化量，这种传输是一种缩量传输，使用很小的广域网带宽就可以实现数据传输和数据集中备份。另外这种数据传输是在存储系统和存储系统之间进

14、行的，是把主存储系统上已经完成的快照备份复制到备份存储系统上去，对前端应用系统没有任何的影响，我们甚至可以设置这种传输为使用固定占用带宽的持续传输，更好更高效的利用有限的广域网带宽。NetApp SnapVault备份管理软件NetApp SnapVault专门用于管理NetApp存储系统磁盘到磁盘的备份机制，SnapVault备份解决方案是NetApp特有的快照备份解决方案，他最大的优势在于效率和带宽节省。由于采用的是快照备份模式，这种备份解决方案对主机平台的影响几乎为“0”，备份数据也可以即时访问和快速回复。同时由于采用的是一次全备份和永远基于数据块增量的数据备份方式，SnapVault备

15、份方式虽然是基于IP传输数据，但是对于局域网和广域网的带宽都占用的极小，是一种非常好的多分支机构集中备份解决方案。SnapVault磁盘到磁盘备份，从根本上改变用户现有的存储和备份管理和使用方式。NetApp提供一系列的基于NetApp存储系统的软件实现数据的备份和复制。首先是NetApp存储系统提供的SnapShot快照软件，用户可以对每一个应用系统分配的逻辑数据卷作255份快照备份，快照操作在几秒钟内完成，维护快照也不会对存储系统造成任何的影响。我们可以订制策略，定时对逻辑数据卷进行快照，每一份快照就是应用数据的一份全备份，而且每一份快照也只占用相对于原数据变化了的数据块，是一种基于数据块

16、变化量的增量备份。这样在用户的主存储系统上就既实现了集中存储又实现了近期数据的逻辑全备份。我们同时需要把主存储系统上的数据复制一份到2级采用SATA磁盘的备份存储系统上去，提供数据的物理全备份，以防止主存储系统数据完全损坏的状况出现。在这里如果应用系统的数据已经整合到了NetApp存储系统上来，我们会利用NetApp的SnapVault磁盘阵列间数据备份软件，通过IP链路，实现数据备份。SnapVault备份具备以下优势：在NetApp存储系统之间进行，基于策略驱动定时自动完成，是一个自动化解决方案，可以节省管理时间和资源，同时降低日常备份数据的成本。在实现初次基线同步后，以后的备份都是基于N

17、etApp的SnapShot快照的增量备份。基于数据块变化的增量备份，极小的备份窗口，极低的网络带宽占用，极小的磁盘存储空间占用。每一份基于快照的备份都是一份特定时间点的全备份，是原始数据的镜像，无须恢复，直接可用，可以作为经济的容灾数据。SnapVault 可以联机存储多达255个长期 Snapshot 副本，实现数据长期在线备份保存。在NetApp存储系统之间进行，对前端的应用不会造成任何的影响，真正的ServerFree备份方式。对于NAS存储数据和SAN 、IP SAN架构存储数据，我们都可以利用它们在主存储系统上产生的SnapShot快照备份，利用SnapVault软件，在主存储系统

18、和备份存储系统之间实现数据备份和容灾，通过设定备份频度和快照保留份数，长期的保存数据。使用 SnapVault ，管理员可以首先恢复最重要的关键数据，以最快的速度使业务运作恢复正常。SnapVault 支持集中和统一备份，因此其基础设施成本较同类解决方案要低得多，从而进一步降低了总备份成本。SnapVault备份的优势，基于数据块变化量和增量存储，可以极大的减小磁盘备份存储空间，对磁盘备份存储空间的耗费上远低于传统的备份方式，同时可以充分利用NetApp重复数据删除的优势，通过下图的对比，我们可以充分体会到SnapVault备份对备份存储空间的节省。重复数据删除应运而生大家都知道，存储系统的容

19、量正在以惊人的速度增长。在过去的 10 年里，NetApp 提供的存储系统容量从数十 GB 发展到数百 TB，足足翻了 10,000 倍！但是，多数企业发现它们对存储的需求甚至增长得更快， 除了存储所有这些数据的磁盘或磁带的成本外， 数据中心空间和电源也变得越来越昂贵。因此，它们的重要目标之一就是尽可能高效地使用存储。 从存储数百个 Snapshot 副本仅需极少磁盘空间的独特的 Snapshot 技术，到允许系统管理员在运行时扩展和设定卷的 FlexVol技术，NetApp 一直是高效利用存储的行业先锋. NetApp 宣布了一种新的A-SIS重复数据删除技术，能够大大提高指定磁盘空间可存储

20、的数据量：高级单实例存储重复数据删除。FAS 系统均可使用该技术（免费！） A-SIS重复数据删除能以单个共享数据块为参考寻找相同的数据块并将其替换，从而提高效率。相同的数据块可能属于多个不同的文件或 LUN，或者可能重复出现在同一个文件中。A-SIS重复数据删除是 NetApp WAFL 文件系统不可或缺的一部分，该系统管理 NetApp FAS 系统上所有存储。因此，不管您运行何种应用程序或如何访问数据，A-SIS重复数据删除都在后台运行，并且开销很低。 您可以节约多少空间？这取决于数据集和它所包含的重复数据删除量。以下是 NetApp 客户实现节约的几个示例: 一家全球性石油和天然气公司

21、为其主目录存储节约了 35% 的空间。 某投资管理公司减少了 90% 的 VMware 映像备份副本。 某个测试和测量仪器制造商在日常数据库备份方面节约了 98% 的空间。 重复数据删除如何运作实质上，A-SIS 重复数据删除采用老式的计算机科学技术-参考计算。以前，WAFL 仅跟踪数据块是否在使用。借助 A-SIS 重复数据删除，它还能跟踪有多少在使用。在目前的实施中，不同文件或同一文件中的单个 WAFL 块可参考多达 256 次。文件并不知道它们之间在共享数据-WAFL 内的簿记会在后台管理这些细节。 WAFL 如何确定哪两块可以共享？答案是 WAFL 会为每块计算出指纹，这是块数据的哈希

22、。具有相同指纹的两个块即可用于共享。 在卷上启用 A-SIS 重复数据删除后，它会为备份卷中所有正在使用的块计算出一个指纹数据库（此过程称为收集）。完成初步设置后，卷即可用于重复数据删除。 为了不减缓普通文件操作，副本搜索将作为一个单独的批次处理来完成。由于文件系统会在正常使用过程中进行更新，WAFL 将创建描述其数据块更改的日志。该日志不断累积，直到出现以下某种情况： 管理员发布 sis start 命令 sis config 计划中指定的下一次发生 日志更改超出了预定的阈值 这些事件中的任何一件都会触发重复数据删除过程。启动重复数据删除过程后，A-SIS 会使用变更块的指纹作为密钥来给日志

23、排序，然后将排好序的列表与指纹数据库文件合并。一旦两个列表中出现相同的指纹，则可能有两个相同的块可折叠成一个。这种情况下，WAFL 会弃用其中一个块，并用另一个块的参考将其替换。因为文件系统时刻在变，除非两个块确实仍在使用并且含有相同的数据，否则我们当然可采取这一步骤。 A-SIS 重复数据删除实施利用了 WAFL 的某些特殊功能，从而使重复数据删除的成本降到最小。NetApp 很早以前就发现，要确保存储在磁盘上的数据的完整性，应该采用皮带与吊带式 (belt-and-suspenders) 方法。（事实上，最好有几双吊带。）因此，磁盘上的每个数据块都通过校验和得到保护。 A-SIS 使用该校

24、验和作为它的指纹。由于无论如何都会计算指纹，相当于无消耗，因此不会给系统增加任何负担。且由于 WAFL 绝对不会覆盖正在使用的数据块，因此在闲置数据块之前，指纹将保持有效。A-SIS 重复数据删除与 WAFL 的紧密集成也意味着更改日志是一种高效的操作。其结果是 A-SIS 重复数据删除可用于广泛的工作负荷，而不仅是用于备份，其它重复数据删除实施的情况也是如此。 哪些类型的环境较使用适合重复数据删除？首先，您的数据应是使用了很长时间。如果您想马上更改数据，则努力寻找重复数据意义不大。系统还应具有 CPU 剩余空间。更改日志和指纹匹配是为效率而设计的，但都要耗用 CPU。如果您的系统长时间处于高

25、 CPU 利用率，则重复数据删除带来的额外负载将是致命一击。 节约磁盘空间的其它方法NetApp 提供了许多其它可更加高效地使用磁盘空间的方法，它们各具优缺点。不必仅选择一个；因为它们大部分都可以结合使用。 Snapshot 副本从一开始，WAFL 就允许通过 Snapshot 技术共享数据块。由于文件会随时改变，您可使用 Snapshot 副本捕获该文件的多个版本，并且存储成本仅与版本之间的更改量相对应。 无论作为本身的功能，还是作为诸如 SnapVaultR 和 SnapMirrorR 之类的应用程序的基础，Snapshot 副本都已证明了其价值。在 WAFL 中，就性能而言它们没有问题。

26、它们的主要限制是它们只能在同一文件的不同版本之间提供块共享，这与在不同文件之间共享重复块的 A-SIS 不一样。 有时，如果您未使用过 NetApp 存储，您会发现 Snapshot 副本的 NetApp纯增量方法在所有主要的存储供应商中独树一帜，并且是我们的 SnapVault 和 SnapMirror 产品背后的基本技术，也是它们成功的主要原因。 压缩在将数据写入磁盘之前进行压缩是一种节约空间的好方法。很多算法（如 gzip）可将文件压缩到一半或更小，即使没有可供共享的重复数据也能做到。压缩的缺点是它需要耗用大量 CPU 资源。而且，有些类型的数据（如映像）已经过压缩，不能得到这种优势。由

27、于 A-SIS 重复数据删除可将数据的数百份副本压缩成一份，在拥有很多副本的环境中这可能比压缩节约远远更多的空间。 NetApp 目前在 DecruR 和 VTL 产品中提供了压缩功能。 内容寻址存储 (CAS)尽管内容寻址存储的实施方法常常很不一样，但它在概念上与 A-SIS 重复数据删除相似。数据的斑点经过哈希处理后，哈希值将用于对其进行识别。对于指定哈希值的数据只会存储一个副本。一个文件可能包含许多斑点。 从某种意义上说，CAS 比 A-SIS 重复数据删除更灵活，因为 CAS 斑点不必是整个文件系统块。但是，在某个很重要的方面，CAS 却不够灵活。借助 A-SIS 重复删除功能，WAF

28、L 可使用指纹作为密钥来共享块，但其基本数据结构仍然不变并且该共享是隐蔽的。（当然，您可随时关闭 A-SIS 重复数据删除功能。） 反之，在大多数 CAS 实施中，始终是通过哈希值来找到斑点。这就使它很难获得较高的性能，因此 CAS 通常是用于大部分为写入操作的归档应用程序，而不是需要对电子发现和数据恢复等即时读取作出快速反应的应用程序。 CAS 有一个方面有时会引起争议，即如果两个斑点具有相同的哈希密钥，则将其视为相同。如果两个不同的斑点碰巧具有相同的哈希值，那么数据就会丢失。这叫做哈希冲突或误判。有些统计数据可以很好地说明这种情形极不可能出现，但许多人还是不以为然。A-SIS 重复数据删除

29、因此采取了一种保守的方法，只有块的内容（不单单是指纹）相同时才会共享块。在删除作为副本的块之前，A-SIS 逐个字节进行了比较以确保该数据确实相同。 总结A-SIS 重复数据删除利用 WAFL 的独有特征来节省磁盘空间，同时保持较低系统开销。在许多环境中，可以大量地节约空间。即使在主目录环境等主存储应用程序中，A-SIS 重复数据删除也经常可以节约大量空间。 比如借助 NetApp Snapshot 技术，A-SIS 重复数据删除机制一定会为将来开发新颖的新应用程序（如克隆文件）奠定基础。WAFL 的持续演进是一个令人兴奋的发展过程。NetApp SnapMirror数据容灾复制管理软件Net

30、App SnapMirror数据容灾复制管理软件，是专用的NetApp存储系统之间的数据容灾复制管理软件，他具备以下特点：配置简单，可以满足各种数据DR需求可以使用FC或IP网络可以在任意NetApp系统间实现Mirror可以满足各种数据恢复响应需求通过传输变化的数据块实现网络带宽的高效利用容灾备份的数据直接可用快速数据复制和容错将主站点发生故障的宕机成本降至最低选择复制过程的同步级别采用一个产品即可控制复制的频率（异步、同步或准同步）更有效地利用网络降低了数据复制和灾难恢复的成本设置简便几乎不需要增加 IT 资源；可以经常测试灾难恢复计划SnapMirror 允许客户选择适当的同步级别（同步、半同步和异步），从而实现了较高的灾难恢复保护级别。例如，如果选择“同步”选项的话，远程站点的复制数据将始终是最新的，并能在发生故障后随时提供。这一方式简化了灾难恢复过程，降低了系统宕机时间。而“半同步”允许客户根据站点的需要，确定有多少 I/O 操作可以失去同步，或者是复制站点可以在多长时间内与数据源失去同步。而“异步”选项则允许您根据需要（每分钟、每小时或每天）任意安排传输过程。您可以设置最适合每一站点的频率。时间安排很容易修改，而且修改后可以立即生效。