SF技术白皮书v2.docx

1、SF技术白皮书v2Symantec Storage Solution Storage Solution存储及高可用解决方案(version: ga 2.0)概述：VERITAS虚拟化产品优化存储架构 41. Qoss 51.1 当今的在线存储 51.1.1 技术选择 51.1.2 新一类磁盘阵列 51.1.3 问题综述 51.2传统的文件管理策略 61.2.1 文件系统和存储设备 61.2.2 多个文件系统的局限性 61.2.3 更微妙的影响：在文件系统中不同的数据类型 71.3 VERITAS Storage Foundation多卷文件系统 71.3.1 VERITAS卷管理器 71.3.

2、2 VxVM卷组 81.4 在多卷文件系统中的文件位置 91.4.1 定义数据分配策略并使之与卷相结合 91.4.2 采取策略将元数据从用户数据中分离 101.4.3 多用户数据卷 111.4.4 为文件系统日志分配卷 111.4.5 在多卷文件系统中管理存储空间 121.5 在多卷文件系统中控制存储分配 121.5.1 控制文件位置 131.5.2 控制文件组的定位 131.6 文件重定位 141.6.1 文件重定位标准 151.6.2 定义文件重定位策略 151.6.3 对重定位文件造成影响的分析 181.6.4 自动文件重定位 191.7 分配策略和存储检查点 201.8 封装卷 211

3、.9 QoSS带来的好处 211.10 应用特殊的文件重定位 221.11 结论 232 Storage Checkpoint：为用户和管理员准备的“回滚”键 242.1 概述 242.2 存储检查点 242.2.1 业务优势 242.2.2 技术优势 242.3 存储检查点最佳运用实例一览 252.3.1 可用性 252.3.2 安装 252.3.3 命名 252.3.4 空间管理 252.3.5 加载 252.3.6集群 252.4 结论 252.5 附录 252.5.1 使用检查点 252.5.2用于检查点管理的Perl Script程序（与cron同时使用） 263 Portable

4、Data Container：在异构平台之间共享数据 333.1 VERITAS 可迁移数据容器 333.2 Oracle可迁移表空间 343.3 利用VERITAS PDC操纵Oracle可迁移表空间 343.3.1 自包含数据集合 343.4 生成Oracle可传送数据集合 343.4.1 转换字节顺序 343.4.2 传送数据 343.4.3 提取目标数据库系统 353.5 总结 354 Storage Foundation For Database：数据库存储性能解决方案 364.1 灵活的存储基础架构 364.1.1 VERITAS 企业管理员控制台 364.1.2 自动优化数据库读

5、写Direct I/O 364.1.3 动态多路径 364.2 数据库加速 364.3 数据库文件迁移 364.3.1 存储服务的质量 374.3.2 在线存储迁移 374.4（Extent-Based）的存储空间分配 374.5 脱机处理 374.6存储映射 374.7 解决真实世界的性能问题 394.8总结 445 FlashSnap：基于“卷”的跨平台快照技术 456 Intelligent Storage Provisioning（ISP）：自动化的存储管理 467 成功案例 47概述：VERITAS虚拟化产品优化存储架构IT技术的不断创新和提高可以推动业务的发展。因此，企业的决策者不

6、断地增加IT投入，但同时也在不断增加系统环境的复杂性。如果只遵循一个标准，企业就不会为选用哪种系统头疼。但实际情况可能是：企业可能有一个基于Solaris的应用用来记录输入数据，然后又需要用HP-UX对那些数据进行批处理，之后又要将那些数据加载到基于AIX的数据仓库中。于是，不同厂商的硬件、软件产品所组成的异构IT平台就形成企业IT系统的现状。并且，其复杂状况可能会一直持续下去。但是用户可不管企业碰到什么麻烦，他们只在乎所享受的服务是否快捷、方便，而企业的决策者只需要看到结果，由此，IT系统管理人员的压力就可想而知了。跨平台操作，实现虚拟化异构难题无处不在，存储架构也无法逃避。一个企业可能存在

7、着多种硬件平台、不同的操作系统、应用系统和数据库；存储方式也可能多种多样，DAS、NAS和SAN等几种架构同时并存，存储硬件设备来自不同的厂家。将异构存储平台和数据统一管理起来，是存储管理面临的首要问题。存储虚拟化是解决异构难题、优化存储构架的基础。VERITAS作为存储虚拟化技术和市场份额的领先者，为此提供了全面的解决方案VERITAS Storage Foundation，其核心技术卷管理（Volume Manager）和文件系统（File System）具有技术上的独特性。卷管理是VERITAS存储虚拟化的核心产品，它将存储环境中的磁盘划分为不同的组并进行分区，合并不同的RAID，分配空

8、间，处理操作错误，跟踪进程，分析性能，为管理员优化存储资源提供图形界面。在卷管理的作用下，分散在各处的不同厂家的存储设施被整合成一个单一的存储池，业务部门和员工可按照容量、响应时间、成本和备份频率描述各自的存储需求，系统管理员按照他们的不同需求分配存储空间，从而优化现有存储资源的使用。在利用卷管理构建的虚拟化存储环境中，系统管理员不必关心后端存储设备，只需专注于管理存储空间。几乎所有的存储管理操作，如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等都可自动实现，存储管理变得轻松简单。卷管理解决了存储异构平台问题，实现了数据集中统一管理。而VERITAS的文件系统则增强了系统对数据

9、和文件的管理能力。VERITAS的文件系统结构简洁，提高了I/O操作的效率，使得在数秒内就可完成这个文件系统的检测。当系统故障时，系统恢复不需要扫描整个磁盘，通常数秒内就可完成。减少投入成本，提高服务等级卷管理和文件系统让跨平台的存储操作和管理变得容易，它为构建先进的存储架构奠定了坚实的基础。而同时Storage Foundation还可以确保关键数据在本地、存储局域网或广域网中始终可用，能够最大化的利用存储资源、减少宕机时间、提高管理水平，实现减少成本，提高服务等级的目的。随着时间的推移，数据对业务的重要程度在不断变化。Storage Foundation可按照数据的重要程度分类存储，将大量

10、不经常访问的数据存放在带库、盘库等低成本的存储介质中，在高成本的盘阵中则保存少量访问频率高的数据。当存放在磁带等介质上的数据被访问时，系统自动将这些数据回迁到盘阵中，同样，盘阵中很久未访问的数据被自动迁移到磁带介质上，这样就使存储资源的利用率达到最大化，大大降低投入和管理成本。宕机之所以令人头疼，不仅在于因外部因素所引起的计划外宕机，实际上多数情况下，调整卷大小、配置改变、磁盘交换和碎片整理等常规维护造成的计划内宕机是很普遍的。Storage Foundation可使磁盘保持在线情况下完成这些计划任务来消除宕机时间。同时，通过卷复制选件（VERITAS Volume Replicator）跨越

11、平台和网络对卷进行镜像复制，一旦镜像宕机，Storage Foundation就自动选择新的磁盘来取代失败的磁盘，这样就将计划外宕机所造成的损失降低到最小范围。另外，Storage Foundation还可以成为存储异构平台管理的统一控制台。它支持所有主要操作系统，支持所有主要磁盘阵列。消除对单一硬件厂商的依赖，减少培训和支持成本。同时，使不同的平台可以共享数据，简化存储分配工作，成倍的提高异构环境的管理能力。 通过VERITAS 的这些产品功能，企业实现了存储管理的飞跃，在对现有存储空间实现更有效的利用的同时，还能减少不必要的资源支出，从而节省IT投资，提高了服务等级。1. Qoss1.1

12、当今的在线存储1.1.1 技术选择 在当今存储领域中，针对于在线数字数据的存储，应运而生了大量可供选择的硬件技术。它们中的每一项技术都拥有独特的性能、可用性、以及成本特性。用户可以通过选择直接连接到服务器I/O总线上的磁盘驱动器，或者选择那些更为精细的，能够为许多个甚至是上百个磁盘驱动器提供机柜、电力、冷却、以及集中化管理能力的磁盘阵列，来维持较低的资金成本。 存储虚拟技术通过分区、连接、条带存储（striping）、镜像（Mirroring）、或者通过RAID技术使用多个物理磁盘驱动器，表现的好像它本身是一个磁盘驱动器一样，使上述优势发挥的更加淋漓尽致。虚拟技术可以通过如下途径实现： 在磁盘

13、阵列中，使用专门为此目的经过编程的微处理器； 在应用服务器中，使用诸如VERITAS Volume Manager的卷管理软件； 在存储网络中，使用诸如VERITAS Storage Foundation for Networks的交换虚拟软件。 需要重申的一点是，所有这些选项都有其自身独特的优势和局限性。 1.1.2 新一类磁盘阵列 最近几年，由于相关领域中引进了一种新型的磁盘阵列，它使用一些廉价的磁盘，整体存储成本接近磁带，这使得情况变得更为复杂。比起采用高性能驱动器的企业级磁盘阵列来说，这些低成本磁盘阵列的I/O性能要逊色得多，但是它们所具有的低廉成本以及方便的取用性，使其对于维持较低在

14、线访问量的数据来说更具吸引力。 图1：在线存储解决方案的多维空间图 1.1.3 问题综述 所有上述这些可供选择的存储技术都表现为虚拟磁盘，可以在其上格式化文件系统，这让用户进行在线文件存储时在成本可用性性能方面拥有较为广阔的选择范围。对于所有文件来说，无论它对于企业有多重要，无论采取何种访问模式，都有一个最理想的硬件方案可供选择，那就是虚拟技术和虚拟化实现。虽然这看起来像是一种解决方案，但实际上在线存储的可用的选择是当今在线存储管理领域中的核心问题，原因有如下两点： 在文件存在的周期内，其价值和被访问的方式是不断变化的。具有高性能、高可靠性的企业级磁盘阵列在文件刚被新创建的并且被频繁访问的情况

15、下，其使用效果最为理想，而在文件非常陈旧或者不经常被访问的情况下，就显得有些大材小用了。 在一个典型的企业数据中心中，在线保存的文件数量变得越来越大，越来越难于管理。这要求管理员随着访问模式的变化对利用率进行跟踪，并在存储设备之间移动数以百万计的单个文件，而它的费用是高不可攀并且容易出错的。 对于管理员来说，那些价值和访问模式经常发生变化的文件数量太多了，以至于他们很难加以管理。基本上来说，企业不得不退而求其次，采用并非最理想的策略。 1.2传统的文件管理策略 1.2.1 文件系统和存储设备 在当今，大多数商业文件系统的设计初衷都是为了占据单个（物理或者虚拟的）磁盘的存储容量。反过来，存储系统

16、的设计初衷是为了使每个虚拟磁盘都拥有唯一的配置，它可以是经过或者未经过镜像的，经过或者未经过条带化（strpied），等等。其结果就是所有的位于给定文件系统中的文件占据了一个虚拟磁盘，并带有一个虚拟化的配置。 上述“一个文件系统对应一个存储配置”的特性使得管理员使用在线存储想要达到最佳效果变得非常困难，即便他们已经配置了多种类型的设备，也不会使情况得到改观。这样，由于每个文件系统为确定文件位置所出的命名空间（name space）或者分级结构路径不尽相同，问题就产生了。根据典型UNIX的惯例，在三个被称为/experiment的不同目录之中可以保存三个被称为testresults.dat的文件

17、，其中这三个目录位于分别被称为/Project1，/Project2和/Project3的不同文件系统中。这些文件的完整限定路径名分别是： /Project1/experiment/testresults.dat /Project2/experiment/testresults.dat /Project3/experiment/testresults.dat 这里不会存在任何混淆不清或模棱两可，因为每个文件系统都是一个独一无二的命名空间。当受到包含文件的文件系统的名称所限定时，所有文件都是被唯一标识的。现如今的大多数UNIX数据中心都采用多个文件系统来管理它们的在线存储。管理员可以为所有者、项

18、目、或者其他数据拥有者确定最为合适的存储类型，并根据存储类型创建其文件系统。每个文件系统都拥有一个单独的命名空间，而这些命名空间通常是相互重叠的。 图2：在三个文件系统中相互重叠的命名空间 1.2.2 多个文件系统的局限性 对于分级文件来说，基于文件系统的分级命名惯例是非常简便易行的。例如，在前面所给例子中的按照项目命名，或者是其它一些标准，诸如按所有者、工作组等等命名。每个文件系统/Project1、/Project2、和/Project3都可以按照恰当的可用性和性能水平（以及相应的成本水平）来占据不同的虚拟设备。 在文件的分级情况和利用率都保持稳定的时候，分级结构文件的命名是一种非常简便易

19、行的管理工具。然而，假设如果Project 1是数据中心中最重要的一项内容，那么相对应的，需要对其文件系统/Project1分配很高的存储性能（这也是价格不菲的）。但是伴随着测试结果文件变得越来越陈旧，它们被访问的频率也随之降低，并且会被轻易地重新定位到相对低廉的磁盘存储区中。但是这需要将它们移动到一个不同的文件系统的命名空间里，从而导致它们的路径名发生变化，例如，/Archive/experiment/testresults.dat。也就是说，这将需要程序、脚本、操作程序、甚至是人们的记忆都要随着其新的位置而发生转移。而广而言之，对于数以百万，甚至是千万计的文件来说，这些显然是不切实际的臆想

20、。 在其它一些方面，基于文件系统的分级命名方式的效果也不能做到让人满意。例如，Project 1可能会包括带有试验用流媒体视频记录的大型文件、一些科学家们的记录、以及许多需要不断修改的简短文件。由于文件系统只能被分配一种存储类型，所以在文件系统中存放任何数据之前，管理员必须抱着达到最优化效果的目的选择数据类型，一旦为文件系统选择了存储类型，再试图更改它就会非常费时费力。这需要在不同类型的存储设备上分配一个新的文件系统，并把所有文件复制过去。 1.2.3 更微妙的影响：在文件系统中不同的数据类型 “一个文件系统对应一个存储配置”的特性还带来了其它一些局限性。文件系统包含三个不同的数据类型： 用户

21、数据名字和地址，图像、二进制数据、AV插件等等； 元数据描述文件用户数据的特性和所在位置； 日志包含那些最近文件系统事件的记录，以便能够在遇到故障时用来验证或者修复文件系统结构的完整性。 上述数据类型通常拥有不尽相同的访问特性，所以最适合它们的存储类型也是不同的。举例来说，在较大的数据块中，日志类型会被持续不断地写入，但很少得到访问；但是元数据是会经常得到更新的，并且会相对频繁地在块地址的随机位置被读取或者写入。 图3： 由文件系统存储的不同数据类型 支持高速数据传输率的存储设备看起来对日志类型非常适合，而具有快速搜索能力的设备更适合于元数据存储类型。因为这两者对于文件系统的结构完整性都是至关

22、重要的，所以有必要为系统的可恢复性对它们进行镜像存储。 如在早先提到的那样，对于任何给定的用户文件来说，最佳的存储类型是依赖于实际应用的，还可以有第三种存储类型选择。但是，由于当今技术只能将每个文件系统与一个存储设备相连接，所以在创建文件系统的时候必须为文件中所有数据仔细选择一种存储类型，并且，该存储类型会于文件系统的整个生命周期共存亡。 1.3 VERITAS Storage Foundation多卷文件系统 开发VERITAS Storage Foundation多卷支持（MVS）功能的初衷是针对解决这类存储管理问题的。MVS与VERITAS Storage Foundation的其它主要

23、组件，VERITAS Volume Manager（VxVM）紧密集成在一起。VxVM可以为文件系统管理许多虚拟存储卷组，以确保从文件系统的角度来看，在一组存储卷中发生变化的重要状态可以以不可分割的方式出现（occur atomically）。一组存储卷有效地形成了一个存储池，文件系统可以从中分配用户数据和它自身的元数据。利用这一功能的文件系统被称为多卷文件系统（multivolume file system） 多卷文件系统可以占据多达255个虚拟卷。多卷文件系统的存储池中的虚拟卷数目是动态的。为了增加可用的存储量，可以增加存储卷，或者在别处减少存储卷（只要它不包含数据或者元数据即可）。存储卷

24、不必拥有相同的存储容量，也不需拥有相同的连接情况、条带存储情况、镜像情况、或者RAID5配置情况。 1.3.1 VERITAS卷管理器 VERITAS卷管理器（VxVM）将连接到磁盘驱动器上的存储器逻辑单元（LUN）和磁盘阵列结合到虚拟存储卷中，而虚拟存储卷又接着作为类似于磁盘的存储设备连接着文件系统和数据库。与物理磁盘驱动器或者LUN相比，VxVM存储卷表现出以下一些或者所有的四个特性： 容量的增加。VxVM可以将多个磁盘的容量连在一起，或者通过将它们条带化来存储数据，而表现出的效果如同一个容量等于所有磁盘总和的单个虚拟存储卷一样。与物理磁盘驱动器不同的是，VxVM可以在它们正在使用的过程中

25、扩展卷存储量。 高级的I/O性能。通过在几个LUN上将虚拟块地址条带化，或者通过在几个镜像的LUN上发布I/O请求执行命令，VxVM可以让负载繁重时候的I/O性能较之其它单个LUN得到很大改善。 故障容错能力的改善。通过对两个或者更多LUN（可以由不同的磁盘阵列连接）进行镜像、或者写入同一更新文件，VxVM可以防止数据因为磁盘或者磁盘阵列出现故障而丢失或者无法被访问。为了让故障容错的成本更加低廉，VxVM还可以将几个LUN结合到奇偶RAID（RAID5）卷中。 可访问性的改善。对于可通过两个或者更多 路径 （例如，在独立的存储网络上）访问的LUN来说，VxVM可以通过路径（主动主动式用途）发布

26、I/O请求，或者为了预防出现错误而保留一条路径（主动被动式用途）。 由VxVM连接的LUN自身可以被虚拟。例如，两个磁盘阵列可以将RAID5连接到VxVM上，而VxVM可以使用它们来创建镜像的虚拟存储卷。磁盘阵列的RAID5技术可以起到免受由物理磁盘损害产生的影响的作用，而同时，VxVM的镜像作用可以杜绝对整个磁盘阵列产生影响的故障。 图4：VERITAS Volume Manager VxVM进行的存储虚拟化 1.3.2 VxVM卷组 传统的虚拟卷与其它卷几乎是完全独立的。从一个文件系统的角度来看，基本上每个卷都是作为带有两个额外功能（例如，在线容量扩展）的磁盘驱动器来发挥作用的。然而，由多

27、卷文件系统占据的存储卷之间必须是逻辑相关的，以便于在出现那些可能影响文件系统的操作或者状态变更（例如，集群故障切换，或者文件系统的存储卷出现错误）时能够在不可分割的方式下（atomically）得到处理。 VxVM使用卷组（colume set）的逻辑结构将多卷文件系统中的卷逐个连接在一起。包含在同一卷组中的卷的LUN属于同一个VxVM磁盘组，以便于它们可以同时受到磁盘组操作的影响。卷组结构包含部分的卷标识（例如，多卷文件系统是在卷组上，而不是在其单个成员卷上被格式化的），而又留下部分卷标识没有包含（例如，将在下面章节进行讨论的文件分配和重新定位策略将文件放入单个的卷中）。 管理员使用带有ma

28、ke选项的VxVM 的vxvset命令可以创建一个卷组，并同时向其中添加第一个卷，以下是一个相应的例子： vxvset g homedg make HomedirSet DataVol 这个命令创建了一个名为HomedirSet的卷组，并向其添加了一个名为DateVol的卷，该卷属于名为homedg的VxVM磁盘组。如果这个命令带有addvol选项，那么它可以在接下来用于向卷组添加新卷，以下是一个相应的例子： vxvset g homedg addvol HomedirSet MetadataVol 当向卷组中添加VxVM卷的时候，它们会失去它们管理标识的某些方面。例如，它们不再出现在涉及到/

29、dev树的ls控制台命令中，（但是，它们所属的卷组仍会出现）。使用vxvset命令的list选项可以显示出卷组的成员关系。下面是一个相应的例子： 图5：VxVM卷组的创建 1.4 在多卷文件系统中的文件位置 对于管理员来说，卷组就像一个单独的卷一样，在其上可以使用平常的VxFS文件系统命令来创建文件系统。下面的例子说明了VxFS多卷文件系统的创建和安装： mkfs F vxfs /dev/vx/rdsk/homedg/HomedirSet version 6 layout 23068672 sectors, 11538326 blocks of size 1024, log size 3276

30、8 blocks largefiles supported mount F vxfs /dev/vx/dsk/homedg/HomedirSet /home 这两个命令在卷组上创建了一个文件系统，并把它安装在安装点/home上。由于它被建立在一个含有两个卷的卷组上，故此，/home文件系统是一个多卷的文件系统。 在此时，VxFS并没有得到关于如何在两个卷上分配单个文件说明。当缺少约束性说明的时候，如果需要存储或者扩展它们，VxFS会通过位于卷组中的卷随机分配文件。很明显，这种缺省的分配策略并没有显示出存储卷特性中的不同之处，举例来说，通过将元数据放入一个卷中，而将用户数据放入其它卷中。 1.4

31、.1 定义数据分配策略并使之与卷相结合 VxFS使用管理员定义的策略或规则来确定由哪组卷来接受新存储文件的元数据和数据。管理员使用VxFS的fsapadm命令（文件系统策略管理）命令对策略进行定义，并将其与存储卷相结合，具体说明见下面这个例子： fsapadm define /home DataPolicy DataVol fsapadm define /home MetadataPolicy MetadataVol 这个实例定义了两个分别被称为DataPolicy和MetadataPolicy的策略（这个名字是由管理员随意指定的）。该命令表明策略将会在安装点/home处被应用在文件系统上，并表明它们将被分别应用在卷DataVol和MetadataVol上。由于每个策略都是应用在一个单一卷上的，所以不必指定通过卷分配新文件的顺序。 1.4.2 采取策略将元数据从用户数据中分离 利用在前面所述实例中定义的两个策略可以获得一种简单、但通常非常实用的好处从用户数据中将文件系统的元数据分离出来。 在许多情况下，用户数据的访问模式与文件系统元数据访问所表现的随机寻址小型I/O请求存在很大的差异。举例来说，诸如图像或者AV处理等应用程序需要对较大的文件上进行操作，这往往需要连续地访问用户数据。在文