XX公安昆腾DXi备份系统解决方案.docx

1、XX公安昆腾DXi备份系统解决方案山东公安昆腾DXi备份系统解决方案美国昆腾国际公司二零零九年九月第一章 前言1.1 前言 虚拟磁带库（Virtual Tape Library，简称VTL）是近年来兴起的众多磁盘备份（Backup to Disk）解决方案中，最受瞩目的一项，调研机构IDC的数据显示，全球虚拟磁带库市场（VTL）将在2011年达到14亿美元，复合年增长率为47.4%，未来全球VTL市场前景广阔,虚拟带库的出现,主要是解决了物理带库可靠性低,响应速度慢等常见问题.虽然VTL应用的时间不过3年多，目前却是相当热门的产品，从市场面来看，主要的储存设备供货商都开始提供 VTL产品线，包

2、括外接式磁盘储存系统的几大知名厂商EMC、NetApp、IBM、HP等以及StorgeTek、Quantun等多家磁带储存设备大厂。早在2002年3月，作为数据保护领域领先厂商的昆腾公司（Quantum）率先推出了业界第一款基于磁盘的VTL备份产品虚拟磁带库DX30。此后，虚拟磁带库这种基于磁盘的备份方式被越来越多的客户所接受，也为众多的存储厂商所看好，于是市场上出现了越来越多的类似产品,比如:Sepaton,EMC,IBM,Data Domain等。1.2 VTL的技术分类和优缺点VTL是把物理磁盘库虚拟成磁带库，在磁盘介质上模拟出机械臂、磁带机和磁带来进行工作。市场上的虚拟磁带库依照架构不

3、同，当前有三种架构体系的VTL： 备份软件模式 此模式是集成在某一个备份软件内部的模块，如Veritas和Legato等备份软件的VTL；这种VTL只能被该备份软件调用，并且不具有标准磁带库的访问和管理方式，当然也不能实现标准的LANFree备份，因此严格说来还不能算做VTL，只能算作D-D的备份方式，很多备份软件都具有磁盘备份的功能，如：VERITAS NetBackup、EMC Legato、Atempo、CommVault等；基于备份软件的VTL功能，其总体框架简单，但是其可靠性和总体性能非常有限，经常在入门级用户中见到其应用，当然这种VTL也不适合企业级和大容量场景使用。随着重复数据删

4、除时代的到来，这种基于软件架构体系的备份产品，有其优点，当然也有其弱点：产品举例： EMC Legato( Avamar)和Veritas PureDisk产品优点：备份时，对VTL或者磁带库的原始备份空间要求最少，其备份和重复数据删除动作发生在备份服务器的media server上，只要是往后端设备传递的数据，均是已经精简过的数据块。产品缺点：毕竟Media server 需要跑大量的日常作业，不可能分配太多的CPU和内存给备份作业使用，因为重复数据删除占用了服务器的大量CPU和内存，所以，我们不建议在白天有备份作业的情况下，而采用这种基于软件VTL的解决方案。 PC架构VTL这一种是单独运

5、行在一台PC 服务器上的VTL软件，在标准的x86平台的服务器上安装通用操作系统（通常为Linux），然后再安装VTL软件；在外接磁盘阵列上虚拟出磁带库和虚拟磁带空间。这种VTL是完全模仿了一个真实的带库，具有机械臂、磁带机和虚拟磁带，用户完全可像一台物理带库一样去管理和使用。代表软件产品有：FalconStor和Sepaton的VTL。 由于软件架构在标准的x86平台和Linux操作系统上，而且储存装置的限制较低，只要服务器支持，可以采用任何SCSI或FC接口的磁盘阵列，与备份服务器端可以藉由SCSI、 iSCSI或FC等接口相连，部署应用上较有弹性。这类型产品相当多，EMC、IBM、Max

6、xan、同有、众志和达等公司采用的是都是Falcon的软件技术，而HP 采用Sepaton的技术。典型产品的代表： EMC 42xx/44xx/46xx系列虚拟磁带库，HP VLS6000、9000系列虚拟磁带库，IBM TS7530系列虚拟磁带库， STK VTL 3600等系列虚拟磁带库，均属于这种OEM的虚拟磁带库。 优点：这种基于PC架构而采用OEM软件来实现的虚拟磁带库，无疑是比较灵活的，一方面，用户有利旧磁盘阵列，可无需购买新阵列而实现VTL功能，另外一方面，底层的磁盘阵列和根据使用情况不同而可以改变。总体灵活性是比较高的。产品分类：IBM TS7530,EMC 41xx/42xx

7、/44xx/46xx，STK VTL3000系列，均OEM 台湾飞康VTL. HP VTL6000,9000 OEM来自Sepaton EMC DL3D 1500/3000 OEM来自昆腾缺点：总所周知，OEM产品最大的弱点有二：1） OEM的关系决定了其产品不会是主流产品，一旦OEM关系出现裂缝，选择这些产品的用户利益就会受到极大的破坏。比如：后续产品的firmware更新无法实现，产品的新功能无法享受等。而当前VTL行业，合并的脚步越来越快速，OEM的关系可谓一年三变，在选择这种产品时，用户需要慎重考虑。2） 既然是OEM关系，那么能否彻底，及时消化所OEM产品的技术特点等都是问题，从使用

8、的角度考虑，就是产品的稳定性和性能存在一些不如人意的地方。尤其是产品的可靠性问题，更是目前OEM VTL的硬伤。其关键的问题存在于，在取得OEM的VTL软件后，各家并未对此软件做任何优化处理，而只是把VTL作为自己产品线的一个补充。 最后我们就能看到一个有趣的现象：随便那家都都说自己有VTL产品，但是其VTL产品到底是否足够强壮，是否足够稳定，那么可能连他们厂家自己也无法说清中间的道理。嵌入式结构VTL嵌入式结构VTL也是完全模仿了一个真实的带库，具有机械臂、磁带机和虚拟磁带，只不过它的硬件结构更为专业；VTL控制器采用专业的硬件平台，模块化的结构，采用专用的操作系统将VTL软件安装在专用系统

9、内。这种VTL的典型代表是NetApp、Quantum和Mirage等。如NetApp通过收购Alacritus软件建立了自己的VTL产品线NearStore，它的VTL产品采用与它的Filer一样的控制器结构，只是微码（fireware)不同。而当前Quantum公司的 DXi系列产品也采用自有的技术专用的硬件结构，这种嵌入式结构VTL能够有效避免操作系统+虚拟磁带库软件组成的软件虚拟磁带库存在的易受人为破坏导致数据丢失的安全性问题；具有更高的安全可靠性。很显然,在VTL 系统正式投入使用后,PC架构的VTL(比如EMC DL4100等)存在易受人为破坏导致数据丢失的安全性问题,因为他们的V

10、TL架构,并不是严谨的自由技术的专用的硬件架构.这种嵌入式结构VTL能够有效避免操作系统+虚拟磁带库软件组成的软件虚拟磁带库存在的易受人为破坏导致数据丢失的安全性问题；具有更高的安全可靠性。1.2.1 什么是重复数据删除技术的VTL重复数据删除技术是2006年在备份领域才开始应用,而之前则一直在实验室里面做技术研究; 包括Data Domain和昆腾在内的多家存储厂商都推出了自己的重复数据删除系统，这些系统并不是与某个特定的VTL或者备份应用相兼容，而是一种通用的重复数据删除系统。采用通用重复数据删除系统的好处就在于它是针对重复删除的数据设计的。因此，这些系统对数据来源是“一视同仁”的，也就是

11、说，备份源数据可以是来自多种应用的，例如备份软件、应用设备、归档应用或者直接来自用户。通用系统提供了多个数据访问协议（NFS、CIFS或者磁带仿真）以及多种物理连接（以太网或者光纤通道）。在物理数据中心里有很多种来源的备份数据，因此系统对数据来源“一视同仁”显然是具有一定优势的。虽然输入数据可能有不同来源，但是在通用系统中重复数据删除流程却是适用于所有数据的。例如，系统管理者可能会通过备份应用将Microsoft SQL环境备份到通用重复数据删除系统中。然后，用户可能会使用一款VMware备份工具将其作为一个VMware镜像获取，将数据迁移到重复数据删除系统中。在以上的例子中，所有数据都是类似

12、的，不同来源的冗余数据在保存之前就被删除掉了。请注意，这个例子主要是那些一天之内变动很小的文件。在目前的数据中心里，这种多重保护功能并不常见，所以想要在一周或者一个月之内节省下大量的空间是不太容易的。一般来说，通用重复数据删除系统可以进行in-line(前事)重复数据删除操作，因为这是效率最高的方法。而且在理想状态下，重复数据删除系统应该可以识别不同长度的数据组来选择最有效的重复数据删除策略。例如，重复数据删除系统可以提取并且只保存数据库中发生改变的数据组，而不是对整个数据库进行备份。而且，具备复制功能的通用重复数据删除系统提供了将数据备份到远程站点的最佳解决方案。重复数据删除系统只需要复制网

13、络中的唯一更新过的数据块和相关的索引文件。为我们以后磁带数据的远程传输提供了最适合的框架构造。最高效的系统可以进行重复数据删除复制、in-line重复数据删除以及多站点之间的重复数据删除。到目前为止存储厂商中Quantum做到了以上三点。除此之外，in-line重复数据删除可以在系统开始接收数据的时候就启动复制流程。这与VTL系统有所不同，VTL系统通常采用的是post-process重复数据删除，因此在复制流程开始之前会有一个延迟的时间，这也提高了灾难恢复数据的风险1.2.2 对备份数据的分析从数据量来分析，目前需要备份的主数据主要包括：1、业务当地, IBM RS/6000小型机 8台，

14、AIX 系统，4台7133D40磁盘阵列，小型机两两做双机热备，运行MIS系统，SYSBASE 数据库，数据库的容量现共有200GB ，平均每套有50GB ，每天产生的新数据量合计150MB 左右。目前备份方式采用每晚营业结束后：将数据库文件在磁盘阵列完全备份一次、小型机上DDS磁带机完全备份一次；对于小型机的操作系统采用每季度磁带备份一次。数据量:数据库全备份一次的数据量为:xxGB,每次增量备份的数据量将近xxMB. 2、OA 系统, PC 服务器一台，WINDOWS操作系统,当前数量大约30GB 数据,每天的新增数据量在150M左右。目前备份方式：每晚备份关键文件夹到本服务器的其它分区中

15、；每月末将本日的完全备份文件刻录光盘保存。数据量:每次全备份数据为30GB,增量备份为150MB.3、正在建设中的财务、人力资源、CRM 系统共3台PC 服务器，WINDOWS操作系统, SQL Server数据库，计划数据量约100GB。目前备份方式：每晚系统自动产生数据完全备份文件到本机磁盘；每月末刻录当日产生的完全备份文件进行光盘保存。数据量:全备份一次为100GB,增量备份按10%计算,即100MB.第二章 什么是最完善的备份系统2.1 磁盘备份vs.磁带备份 - 备份设备分析传统上备份设备通常都采用磁带库或者DDS磁带机，磁带库是磁带机和磁带的自动化设备，除了包含一个到数个磁带驱动器

16、之外，还带有数个磁带槽位，能通过机械臂装置实现自动换带。磁带备份具有如下优缺点： 优点：1） 单位存储的价格比较便宜。2） 可以完全离线保存，适合大量数据的安全长期保存。3） 绿色存储 单位存储的耗电量是磁盘的1/20。缺点：1） 驱动器、机械手和磁带均是裸露的机械设备，容易形成机械故障点，而任意的单点故障可能会导致备份失效。2） 备份和恢复的速度较低，这主要是由于磁带本身需要加载、定位造成的。3） 不适合频繁的读写操作同时,传统的磁盘备份通常采用普通的磁盘到磁盘（disk-to-disk）方式，或者是虚拟磁带库（VTL）的方式，其中后者是目前磁盘备份的主流，易于管理、性能较高、整体成本较低。磁盘备份具有如下的优缺点： 优点：1) 备份和恢复的速度较快2) 适合频繁的读写操