统一数据管理的理念.docx

统一数据管理的理念.docx

《统一数据管理的理念.docx》由会员分享，可在线阅读，更多相关《统一数据管理的理念.docx（10页珍藏版）》请在冰豆网上搜索。

统一数据管理的理念

统一数据管理的理念

IT不断发展与普及，使得各行各业对数据的依赖越来越多，数据已经成为企事业单位的重要资产，因此数据的管理将越来越重要。

不幸的是人们对数据管理还缺乏认识，如何构建一个合理的数据管理系统困扰着IT运维及管理人员。

本文将通过一些应用场景，给大家介绍如何构建数据管理系统。

我们先讨论一下，一个完整的数据管理系统需要那些管理。

因为数据是存放在存储设备中的，那就从存储的分层架构入手，看看数据本身的特性。

数据的存储可以分5个层面，如下图所示：

应用层、生产层、恢复层、保护层和归档层，每个层面的功能如下：

◆应用层：

应用层里有各种应用系统，如数据库、邮件系统，数据是在应用层里产生的，这一层需要保证应用的高可用，也就是当服务器或网络出现问题时，应用能切换继续运行，通常采用集群方案。

◆生产层：

生产层是用来存储生产数据的，应用层产生的数据就存放在生产层，这一层需要保证存储设备的高效和高可靠，当硬盘和控制器出故障时，不影响数据的读写，通常采用的是硬件冗余技术，如：

RAID算法和冗余控制的。

◆恢复层：

生产层能有效防止硬件故障，但不能防止数据逻辑错误，一旦数据出现丢失或破坏，生产系统就会停顿，恢复层的作用就是要快速恢复被破坏的数据。

这一层通常采用的技术是数据克隆、复制和快照，数据的保留期限通常为24小时到48小时。

◆保护层：

保护层的作用是对数据进行保护，也就是传统的数据备份，备份的基本原则是把先对数据进行离线保护，再对离线的数据进行离场保护，数据的保留期限通常在几个月到几年。

◆归档层：

对不常访问的数据应该进行归档，归档的目的有两个方面：

一是省出所占用生产层的存储空间，其二是对数据进行长期保留。

归档层数据的保留期一般为7年到永久保留。

根据以上分析，一个完善的数据管理系统要涉及到：

◆在线存储资源管理：

统计文件系统、数据库系统和邮件系统数据的在线存储的详细状况，为制定数据管理策略，存储扩容提供科学的依据。

◆复制管理：

存储设备、操作系统或存储管理软件都会提供不同的复制技术，但这些复制技术都是针对数据卷的，而不是针对应用的（如数据库），复制管理就是利用各种复杂技术，对应用的数据进行复制，确保应用数据的一致性。

◆数据备份恢复：

针对不同的文件系统、数据库系统和邮件系统进行在线备份，备份要确保应用数据的一致性，保证数据可恢复。

◆归档管理：

按照用户制定的归档策略对数据进行归档，归档管理不仅要考虑如何存放归档数据，更重要的是如何查找归档数据并恢复归档数据。

◆数据的查找或搜索：

根据以分析，我们不难发现数据会以不同的格式存储在不同的存储介质中，如何对这些不同形式的数据进行统一查找或搜索，一直是数据管理的难题，幸运的是CommVault已经成功攻克了这一难题。

◆服务质量管理：

通过把数据管理与服务水平、管理策略和企业战略统一起来，使IT部门能按服务水平的要求管理对数据的操作。

为了解决上述数据管理问题，传统方案是针对每一个管理提供一个独立的管理软件，一些存储厂商为此收购了7、8个不同的软件，这些独立的软件彼此的源代码是独立的，操作管理也是独立，彼此也不能共享存储设备。

这样给数据管理设计、部署、运维管理带来很多困难，其结果是投入大、管理难、可靠性差。

CommVault一体化管理的理念是，在一个数据管理平台上完成以上数据管理，简而言之，就是利用一套源代码程序实现数据复制管理、备份恢复、归档管理、数据搜索、存储资源管理以及服务质量管理，不仅可以降低费用而且可以减少风险，给整个数据环境带来的结果是：

具有独一无二的效率、性能、可靠性和控制能力。

方案1：

企业生产数据集中保护

应用场景：

一个企业的应用比较复杂，为了把问题描述清楚，我们先把企业的计算机按功能进行分类：

●台式计算机/工程工作站

台式机/工程工作站有的用来做设计、有的用于办公，不管用途怎样，每台台式机中都有一定量的重要数据，共享数据一般存储放在NAS或文件服务器上。

如果这类数据不小心被破坏，同样会影响工作，有时甚至带来很大的损失。

所以有必要对台式机中的重要数据提供保护措施。

●文件服务器

每个型企业都有数量不等的文件服务器，文件服务器中的数据是相当重要的，一段破坏或丢失，会带来很大损失。

●应用服务器

每个中型企业都有一定量的应用服务器，他们主要是数据库服务器、邮件服务器以及ERP系统。

这些应用服务器是十分重要的，不仅要保护这些服务器中的数据，还要考虑到如何保证数据的一致性以及业务的连续性。

我们把计算机存储设备按功能的不同划分成：

●本地磁盘存储设备

每台计算机都直连的磁盘或磁盘阵列，这类设备数量最多且分散在任何地方，可管理性和数据安全性都很弱。

●FC生产数据存储设备

具有FC接口的大容量、高性能磁盘阵列，可以接入SAN网，被多台服务器和应用共享，主要用来存放重要的生产数据。

该设备放置在集团数据中心，如果在容灾数据中心也配备该设备就更加理想。

●NAS生产数据存储设备

为台式计算机和工程工作站提供文件共享服务。

●备份存储设备

备份存储设备主要是用来存储备份数据的，根据不同的介质可分为：

磁盘备份设备：

可选用大容量、廉价的SATA磁盘阵列或VTL。

磁带备份设备：

可选用带机械臂的职能磁带库。

解决方案：

根据以上分类，一个典型的企业数据集中保护管理拓扑结构图为：

在这样一个典型的数据备份恢复方案中，有以下几部分组成：

1.CommServe服务器

CommServe服务器是备份管理控制服务器，它只需连接在LAN上。

2．不连入SAN网的服务器

不连入SAN网的生产服务器，这类服务器仅连在LAN上，对这些服务器只能进行LAN备份。

3．连入SAN网的服务器

连入SAN网的生产服务器，这些服务器同时也连接在LAN上，对这类服务器能进行LANFree备份和LAN备份。

4.连入LAN网台式机或工作站

能对连入LAN网的台式机或工作站提供LAN备份。

5．专用MA服务器

连入SAN网和LAN网的MA（MediaAgent）服务器，这类服务器是专门为LAN备份提供介质管理服务的，建议它们不要装在生产服务器上。

6．连入SAN网的生产数据存储设备

连入SAN网的磁盘存储设备，用于存储在线生产系统的数据。

7.连入LAN网的NAS

连入LAN网的NAS设备，NAS连入SAN网可作为选项，可以对NAS提供NDMP备份。

也可以利用NAS存储共享备份索引。

8．连入SAN网的磁盘备份设备

连入SAN网的磁盘备份设备/VTL，用于高速备份和恢复。

如果目前没有该设备，并不影响数据的正常备份，但建议增加该设备，来增强备份/恢复的性能。

9．连入SAN网的磁带库

连入SAN网的磁带库，用于存放备份数据。

在上面的系统架构上，主要提供三种备份模式。

●LANFree模式：

对那些连入SAN网的生产机，可以采用LANFree模式，在该模式下，在生产机内需要安装iDA和SANMA模块。

在备份操作时，iDA模块把需要备份的数据从生产数据存储设备中读入生产机，并在生产机内把备份数据传给SANMA模块，SANMA模块将把数据通过SAN写到备份设备上；在恢复操作时，SANMA将通过SAN网从备份设备上读入恢复数据，在生产机内把数据传给iDA，iDA把数据写入生产系统。

在LANFree模式下，备份/恢复操作的数据经过SAN网转送。

●LAN模式

对那些没连入SAN网的生产机，可以采用LAN模式，在该模式下，在生产机内只需要安装iDA模块。

在备份操作时，iDA模块把需要备份的数据从生产数据存储设备中读入生产机，并通过LAN把备份数据传给专用MA服务器，MA服务器将把数据通过SAN写到备份设备上；在恢复操作时，MA服务器将通过SAN网从备份设备上读入恢复数据，并通过LAN把数据传给iDA，iDA把数据写入生产系统。

在LAN模式下，备份/恢复操作的数据需要经过LAN网转送。

●D2D2T备份模式

D2D2T的意思是磁盘到磁盘到磁带备份模式，这是一个经济、高效、可靠的备份方法。

D2D2T技术针对当前的纯磁带库方案，有更快的吞吐率，它不仅仅是把数据拷贝到磁盘上或磁带就完事，而是针对数据有一整套的管理，它不仅仅能提高效率，而是能确保关键的信息在生命周期的每个环节都是可用的、安全的。

利用高品质的廉价磁盘（阵列）和D2D技术来建第二级存储，与磁带相比具有下列优势：

1.快速的备份和恢复数据。

2.磁盘操作比磁带快，特别在装载和查找时。

3.烦恼的磁带故障被消除。

4.磁盘具有随机读写和优化查找的功能，而磁带是个顺序设备，对随机读写文件很慢。

5.磁盘能支持多台主机同时并行存取。

6.磁盘的存储方案比磁带方案占用更少的机房面积。

7.利用磁盘存储方案可消除操作磁带时的人为错误。

虽然磁盘具有很多优势，但磁带作为离线介质还是有必要的，所以我把备份到磁盘上的数据复制到磁带上，作为异地保存及长期归档。

方案优势：

通过降低备份和恢复负担，提高管理员和操作员的效率

利用向导式的恢复简化操作，显著提高恢复的性能

快速而轻松地查找并恢复单个文件、电子邮件和数据库对象

在为备份和恢复分配的时间内完成更多的作业

迅速而轻松地将数据恢复至另一个系统和位置，确保测试，和灾难恢复

显著减少磁盘和磁带的使用

迅速发现并修复数据保护过程的中断

轻松报告数据管理的价值

利用内嵌磁带追踪和轮换功能来改善介质管理

利用一体化解决方案保护所有关键系统，应用程序和数据库系统

从CommVault®数据保护的核心竞争力中获益

方案2：

文件分级存储及保护

应用场景：

某企业有一个大型文件系统，容量为2TB，用于存放设计图纸，由于设计过程中经常访问的文件只占30%，1年以上不被访问的文件占70%，由于每年还要增长40%的文件，文件系统的压力越来越大，备份的时间也越来越长，大量不常用的文件占用了大量的备份介质。

解决方案：

CommVault数据归档DataArchiver是分级数据管理（HSM）方案，能通过把数据归档到次级存储来释放关键的主存储空间，当用户需要访问这些数据时，数据会自动从次级存储索回，恢复到主存储空间上。

通过利用策略来选择、传送和保留不变化的内容数据，企业可从经济上、生产力上获得重要的效益。

把老的数据存放在分层的存储架构里，这种方法能有效应对数据的快速增长。

采用分级存储机制后，数据分层存放在不同的存储中，那如何来保护在线数据和归档数据呢？

首先，我们必须对在线数据进行备份，通过分级存储后，在线数据会有两部分普通的文件和存根文件，存根文件是一个指向归档文件的“指针”，因此对在线数据保护时，也需要对存根文件进行备份。

而对于次级存储中归档文件，同样也需要进行保护，防止归档文件破坏或丢失。

下面是为这个大型文件系统设计的分级存储及备份的存储策略。

在这个存储规划中，我们采用以下策略：

●对生产系统在线磁盘中的文件制定归档策略：

“一年不访问且文件大于10KB的文件进行归档”，归档后的文件被存入SIS磁盘，保留期限为1年，并把SIS磁盘上的归档数据复制两个磁带副本，一个磁带副本保留在现场，另一个做离场保存，在生产系统中保留原文件存根。

●对生产系统在线磁盘中的文件及归档存根制定备份策略：

“每月做一次全备份，每天做增量备份，备份文件被存入SIS磁盘，保留期限为3个备份周期，并把SIS磁盘上的备份数据复制两个磁带副本，一个磁带副本保留在现场，另一个做离场保存。

●SIS磁盘采用单实例存储，备份数据和归档数据中相同的文件只存储一次，大大节省了磁盘空间。

●磁盘和磁带中的归档文件和备份文件副本，都能直接恢复到生产系统中，归档文件可通过存根进行回调恢复，备份文件和归档文件都可通过控制台进行浏览恢复。

这样一个分级存储的系统的拓扑结构图如下图所示：

其实这个拓扑图和通常的D2D2T备份系统的拓扑结构图没有任何区别，在SAN网中含有生产存储、SATA备份存储和磁带库，生产服务器有的接入SAN，有的没接入SAN网，另外还有一些台式工作机。

CommVault的方案需要一台管理服务器CommServe，它连到LAN上就行。

CommVault方案是一体化的方案，备份和归档能共享存储设备，通过一个控制台进行管理，所以归档管理不需要额外的硬件设备，只需要在归档的服务器上安装归档代理软件就行。

下面对归档前后的容量作一个对比分析，我们假设每个备份周期内增量数据占5%，我们惊奇的发现，在线磁盘、备份磁盘和备份磁带都能节省一半左右，这也意味备份窗口也能节省一半的时间，既能节省成本又能提高效率！

在线容量

磁盘备份容量

磁带备份容量

归档前

2TB

2.1X3=6.3TB

2.1X6X2=25.2TB

归档后

0.6TB

0.63X3+1.4=3.3TB

0.63X6X2+1.4X2=10.4TB

节省

1.4TB

3TB

14.8TB

方案优势：

利用归档策略，对在线存储进行空间管理，不仅提高了在线存储的访问效率，也提高了在线存储的利用率。

由于在线存储数量减少，也节省了备份存储，缩短了备份窗口，加快了恢复速度。

能对在线数据和归档数据提供多层次的保护，备份数据和归档数据都具有多个副本。

CommVault一体化解决方案使归档、备份一体化，共享存储设备，进行统一管理，具有极大的成本优势。