IBM数据中心存储解决方案.docx

1、IBM数据中心存储解决方案IBM数据中心存储解决方案数据集中数据是企业最宝贵的资产 数据集中可以使企业充分利用信息资源 数据中心的核心是数据 数据存储需要存储设备 存储设备的安全性决定着企业数据的安全性 存储设备的性能决定着企业数据的效率 当前，我们正处在一个信息爆炸的时代，数据的存储量已经不仅仅是用 KB、MB、GB甚至TB来计算，在不远的将来，人们所谈论的将是PB(1petabyte=1,000terabytes)甚至EB(1exabyte=1,000petabytes)。根据IDC公司的统计报告，企业数据的增长速度是每九个月增长100%。在企业的作业系统和数据采掘中，大量的、频繁的数据移

2、动将会对用户的区域网或者广域网造成巨大的影响。此外，如何使分布的存储设备(存储农场，Storage Farm)更加有效的运行，也是摆在每个用户的问题。从计算机的发展历史来看，从最早的服务器 /客户机模式，到今天的网络计算环境，今后的移动计算环境，对数据的请求不再受时间和空间的限制。随之而来的问题是，当前的数据多分布在与服务器相连的独立存储之上，从而造成所谓的“信息孤岛”的现象。这使数据的存储、利用、分析和管理都非常地复杂。越来越多的用户已经意识到这种数据分散带来的问题： 总拥有成本的升高和信息技术系统效率的降低；技术支持与行政管理人员的增加；缺乏统一的标准；系统安全与数据完整性的风险增加；软件

3、投入与硬件维护费用呈螺旋上升的趋势；计算机资源利用的低效率；无法在企业整体范围内实行应用与数据的统一；为财务管理、数据分析和资产控制带来困难；用户虽然拥有的数据，但是无法将这些数据发挥更大的效益，难以实现数据分析、数据采掘、决策支持等商务智能的工作。 存储区域网采用存储区域网，可以通过快速的、专用的光纤网络，将上百个甚至几千个存储设备连接起来，组成低成本的、易于管理的存储区域网络。存储区域网不仅可以减少数据移动对现有的网络系统的压力，从而降低存储的成本，而且可以通过将存储设备的集中，方便地进行监视和调整，从而实现灵活方便的管理。 从业务集中的步骤来看，存储集中是企业进行数据集中的基础，只有实现

4、了存储集中，即数据的集中，才能实现今后的数据中心大集中。采用存储集中后，企业将能够更有效地利用数据，从而实现： 降低总体拥有成本；更有效的管理人才；更有效的财务管理；更有效的信息资源使用；提高应用服务级别；快速响应；系统的高可用性；数据访问的易操作性；存储集中的解决方案存储平台设计原则性能存储性能是系统设计的重要原则之一，存储的性能应能够满足应用系统峰值的需求，并有进一步扩展的空间，包括容量和性能的扩展。从计算机的发展历史来看，计算机的芯片发展速度按照摩尔定律，已经提高了成千上万倍，而计算机 I/O速度，即磁盘系统接口速度，则从SCSI的每秒5MB到目前业界最快的FC-2协议每秒200MB，只

5、提高了四十倍。因此选择性能最佳的磁盘系统，可以有效地提高计算机系统的I/O性能，从而提高计算机的整体性能。 扩展性由于企业数据的增长已经呈几何级数的增长，企业每年数据成倍地增长早已经不是新闻了。为了保证磁盘系统的增长满足企业今后发展的需要，对磁盘系统的扩展性应从以下几个方面进行准备： 磁盘系统的容量扩展性。磁盘系统本身设计会有一定的局限，其容量最大可扩展能力是否满足企业今后数据发展的需要，是企业选择磁盘系统时应当考虑的一个方面。 磁盘系统的扩展兼容性。由于磁盘系统的发展也是日新月异，用户在存储扩容时还要考虑新磁盘系统与旧设备之间的兼容性，即产品系列有连续性。对于某些采用 OEM磁盘系统的厂商，

6、需要注意其与原厂商的OEM合约的有效期，以免出现由于更换OEM产品而导致产品支持、升级、扩容的问题。 磁盘驱动器的兼容性。由于磁盘驱动器的技术近处来飞速发展，容量已经从 9GB、18GB发展到36GB、73GB，146GB磁盘。转速也已经从一万转发展到一万五千转。只有能够支持不同容量、不同转速的磁盘驱动器，才能最大限度地保护用户的投资。 可靠性数据是企业最重要的资产，数据的可靠性很大程度上依靠存储设备，主要是磁盘系统的可靠性。因此，作为磁盘系统的选择，可靠性永远是用户的第一考虑。虽然所有的磁盘厂商都声称自己的磁盘系统是可靠的，但是用户还是可以下几点来进行考察： 冗余电源和风扇。由于硬件失效的大

7、部分原因是由于电源问题，因此，采用冗余电源设计可以有效地防止这一故障的出现；风扇 (或者冷却系统)则是在机房环境温度过高时保护磁盘系统的一种手段，采用冗余风扇设计，必要时可以加大冷却效果，保护磁盘系统的正常工作。 写缓存的数据保护。由于在磁盘系统的设计中越来越多地采用了控制器 (卡)缓存的设计，而读写缓存可以提高读写数据的速度(由于写磁盘是机械动作，通常为秒级；而写缓存是电子动作，通常为纳秒级)。但是，由于有了缓存设计，主机(服务器)写数据时，只要将数据写入磁盘系统的写缓存内，主机就认为写操作结束，如果此时写缓存发生故障(掉电、硬件故障、人为故障等)，数据因为没有写入物理磁盘而导致数据丢失。为

8、防止这种情况的出现，通常应当在写缓存采用NVS(非掉电式存储缓存，即有单独电池保护的缓存，电池通常可以保护数据在缓存中几天不丢失)以防止电源失效；另外，对写缓存还应采用诸如镜像等的保护措施，以防止写缓存的故障。 RAID数据保护。采用RAID方式对数据进行保护，是提高数据可靠性最常用的方法。RAID方式有许多种，其编号只是代表某一种保护方式而已，并不是数字越大或者越小越好。应当说明的是，RAID0不具有数据保护功能，它只是将数据打散分布在不同的磁盘。至于采用何种RAID形式，则应于客户的数据重要程度、性能的要求，以及经费情况等总体考虑。只有支持多种RAID形式，并且支持不同RAID组的混合才能

9、够满足用户对于不同分区的要求。 总线 (包括内部总线和外部总线)。外部总线通常会配置为冗余配置，一方面可以提高可靠性；另一方面，还可以提高性能。外部总线一般可以根据用户的需要进行选配。而内部总线通常是磁盘阵列已经设计好，用户无法选择配置。而内部总线的单点故障常常会被许多用户所忽略，由于SCSI总线是单向单I/O，如果总线发生故障，则导致数据无法访问。因此，选择没有单点故障的内部总线设计，这是用户需要注意的一点。功能随着计算机的发展，服务器集中、存储集中的思想越来越受到关注。为了实现存储集中，存储区域网乃至灾难备份等要求，需要磁盘系统不仅仅是简单的磁盘阵列，而是具有一定功能，如：远程数据自动拷贝

10、、快速磁盘镜像、多重镜像等功能的存储服务器，来满足用户不断提高的需求。 厂商的售后服务数据是企业最重要的资产，数据的可靠性很大程度上依靠存储设备，主要是磁盘系统的可靠性。存储设备安全性至关重要，厂商的服务与技术支持能力十分重要。 存储系统总体设计数据中心建成后将用户系统的数据核心平台，将支撑众多业务系统的日常运行。由于业务系统的上线运行是一个渐进的过程，因此总体设计时系统的可扩展性和投资保护十分重要。虽然三层 /多层结构提供了系统扩展上的灵活性，但是在硬件方案设计上依然需要注意扩展的需求。根据前文描述的软件架构，硬件总体方案设计如下图所示： 目前，业界普遍采用存储区域网（SAN）的方案，主服务

11、器通过以太网连接到以太网上，每台服务器同时另外配置两块光纤通道卡，每块光纤通道卡分别连接到两台光纤交换机上。IBM的光纤交换机作为SAN的核心部件，也采用双配置，作为高可靠的冗余配置。 磁盘阵列采用双光纤通道与光纤交换机分别相连。这样，任一台服务器、服务器上的通道卡、交换机出现故障，都不会影响对存储设备的访问。 磁带库可以通过 SAN方式，连接到光纤交换机上，这样可以实现基于SAN的数据备份，从而不占用网络与数据库服务器的资源。 磁带库建议采用目前最流行的 LTO格式，LTO是IBM公司与惠普（HP）、希捷（Seagate）三家公司联合开发出来的磁带格式标准。它具有开放性（业界开放标准）、高容

12、量（每盘200GB）、高性能（35MB/秒的传输速率）和高可靠性（伺服轨道、磁阻磁头）的特点。 磁盘阵列建议选择 IBM公司的企业存储服务器2105 800（代号“银鲨”），采用8GB缓存以提高访问效率。磁带库建议选择IBM公司的3584磁带库。光纤交换机建议采用2台2109 F16，共32个端口，每台16个端口。 存储产品指标如下：技术指标要求接口标准 光纤通道 接口速率 每端口支持 200MB/秒 连接能力 支持连接 Sun、HP、IBM、Compaq、SGI等UNIX主机，以及运行Windows NT/2000、Linux的Intel平台服务器 支持 SAN 支持 SAN光纤通道交换机和

13、点对点方式，支持多平台主机共享 配置与交换机连接端口数量 6个 与主机连接端口最大数量 =16个 配置高速缓存 8GB 最大支持高速缓存 =64GB 配置容量 =20TB 配置热备份盘（ Hot Spare） 块 线缆长度 =30米 线缆接口标准 可以连接到光纤交换机上 磁盘驱动器 支持 18GB、36GB、72GB磁盘驱动器 磁盘驱动器的扩展能力 支持不同容量的磁盘驱动器混合存在于同一磁盘阵列内 RAID保护 支持 RAID 5和RAID 0+1硬件保护，并且支持RAID 0+1与RAID 5混合 冗余电源 配置冗余电源 冗余冷却系统 配置冗余风扇 内置 CPU数量 8颗 内置 CPU支持6

14、4位 CPU支持64位 内置 CPU主频 =600MHz 内部磁盘路径 =64条 内部磁盘接口总带宽 =2500MB/sec 磁盘转速 =10000rpm 保修 原厂 3年 图形化管理软件 配置图形化管理软件 快速拷贝功能 配置 FlashCopy或者相同功能的内部磁盘快速拷贝功能以供数据备份 数据路径优化 配置可用于主机多个光纤通道卡间，数据路径优化的软件（可支持 IBM AIX、HP-UX、Sun Solaris、Windows NT/2000等） 容灾 随着信息技术的发展，企业越来越依赖于数据处理来进行它的商业行为，保证它在业界的竞争力。数据处理的高可靠性和高可用性越来越成为关键。 如果

15、企业发现数据丢失，业务的开展将变得极其困难，更为重要的是，企业将失去客户的信任以及一系列的企业赖以生存发展的市场。核心数据的丢失，严重时完全有可能造成整个企业的瘫痪。 尽管随着科学技术的发展，计算机系统的可靠性日益增加，像 IBM的HACMP高可用集群多处理技术可以在局域网范围内解决大部分的硬件和软件引起的系统不可用问题，但是由地震、洪水、火灾、战争等天灾人祸或由于软硬件故障而使生产系统整体无法正常工作等情况所造成的损失依然可以轻而易举地摧毁企业赖以生成的IT系统。所以，在异地建立灾备中心对于极度依赖IT的企业便成了必然的选择。IBM提供了从数据级到应用级的灾难备份解决方案。其中数据级的方案采

16、用PPRC。 传统的灾难恢复方法（如每天对重要文件进行磁带拷贝并将这些拷贝转移到远地点）仍然能够满足大部分公司的需要。不过，某些公司的需求已经证明了使用远程拷贝功能的必要，远程拷贝就是在一个远地点维护生产数据的一份最新拷贝。（远程拷贝也被称为远程镜像）。 业界有两种基本的基于磁盘系统的远程拷贝形式： 同步远程拷贝：来自处理器的更新被写往本地连接的磁盘系统，该系统将数据转发给远地点连接的磁盘系统。只有当两个系统都拥有数据的拷贝以后本地系统才会向处理器返回一个 I/O完成指示。同步远程拷贝能够在远地点提供最新程度的数据当前值，但应用程序会因等待写I/O操作的完成而被延迟。 异步远程拷贝：来自处理器

17、的更新被写往本地连接的磁盘系统，该系统立即向处理器返回一个 I/O完成指示。更新在很短的一段时间(在实际中通常在数秒钟到一分钟左右)以后被送往一个远程系统。异步远程拷贝对应用程序性能的影响最小，但远程磁盘系统在数据最新性方面与本地系统相比会有一个延迟。数据级灾难备份方案 PPRCIBM的PPRC提供了实现灾难备份的方案基础。PPRC全称Peer to Peer Remote Copy，是以存储为基础的、实时的、与应用无关的数据远程镜像功能。PPRC实现较为简单，是无数据丢失且具有完全恢复功能的的灾难恢复解决方案。 PPRC基于IBM企业存储服务器ESS，通过光纤通道，以逻辑卷为基本单位，将本地

18、ESS上的数据同步镜像到远端ESS上。 为在保证数据的即时性、完整性和系统性能之间的平衡， PPRC提供了多种工作方式。 同步方式下 :点对点远程拷贝(PPRC)是一种同步远程镜像工具，可用于相隔距离最多可达103公里的两个ESS系统中指定的逻辑卷。这一距离可以通过第三方提供的通道扩展器加以延长。ESS可以为所有连接的主机(包括各种UNIX与NT服务器)支持PPRC功能。 PPRC将确保如果备份卷不能被更新，那么即使源卷更新成功，整个写操作也会返回失败-彻底保证源卷和目的卷的数据彻底一致。同步方式可以保证数据不会丢失，更重要的是数据的一致性在这种方式下能够得到很好的保证数据的不一致意味着相关数

19、据的丢失，此时数据库的数据安全机制无法保证数据的安全，严重时有可能造成数据库无法启动。 PPRC的同步实现机制如下图所示： PPRC同步工作过程为： 1、应用程序将数据写入磁盘，在生产系统中的应用程序将数据写到生产系统的磁盘（缓存）。 2、生产系统中的磁盘数据传输到备份的磁盘（缓存）对每一个在生产系统的写操作都要将这个写操作送到备份磁盘。 3、备份机磁盘数据复制 备份磁盘复制生产系统数据。 4、将写完操作信息返给生产磁盘 当生产系统收到备份系统传回的已写信息之后，生产机的磁盘系统通知主机该写操作已完毕，在此之后生产系统应用继续执行。 在同步 PPRC的建立的过程中，volume有不同的状态，以

20、保证数据的完整性。 在异步工作方式下， PPRC-XD能够在远端更新未完成的情况下，只要本地 更新成功就可以向主机返回“写成功”信号。好处是：可以在主备机房之间数据链路带宽成为瓶颈时，采用异步方式可以不影响主机房生产系统的性能。坏处是： 1、数据将有可能丢失；2、当异步同步不能最终成功完成的情况下，数据的一致性无法得到保证。所以当采用PPRC-XD异步方式时， IBM强烈建议先采用IBM ESS的快速拷贝功能FlashCopy备份需同步的数据，再进行数据同步。 ESS的FlashCopy提供一个“时间点”的拷贝服务功能，从源卷到目标卷快速地复制数据。逻辑拷贝通常可以在数秒时间内完成，然后就释放

21、源卷，进行正常工作。而物理拷贝操作在后台进行。当物理拷贝进行过程中，拷贝和被拷贝数据都能被客户应用使用。 IBM ESS的FlashCopy支持两个选项，它提供NOCOPY选项来支持灾备应用需求。以下讨论了在移动灾备的应用环境中是如何使用这些选项的。 FlashCopy COPY 选项 对于实时应用，需要实时生产数据的时间点物理拷贝，这样的应用示例包括日常重要卷的备份、日常报表生成、数据仓库和数据挖掘的应用等。 FlashCopy COPY 选项能够在磁盘存储设备中产生一份生产数据的真实时间点拷贝。该选项可以满足以下的BOSS应用需求： 在磁盘存储设备中保存生产数据的一份时间点拷贝的业务需求。

22、这方面的例子是日常工作系统备份。 生产数据的时间点拷贝将被多个应用重复使用，特别是对每日的结束处理和报表生成。 生产数据的时间点拷贝将被某些统计分析类应用，如 MIS或数据挖掘应用频繁使用。 无论是什么原因，只要需要生产数据的物理拷贝，就可以使用 FlashCopy COPY选项来进行支持。对于该选项而言，所需要的磁盘空间容量是需要拷贝的源磁盘容量的总和。 下图对 FlashCopy COPY选项进行了说明，请注意，生产数据的一份真实拷贝是为其它的应用使用而产生，这些应用通常是后端办公MIS类应用，如报表生成和数据挖掘。 对于 IBM ESS独有的NOCOPY功能，在异步灾备中有极大的作用。N

23、OCOPY也需要实时生产数据的时间点拷贝，但并不需要真正的数据拷贝，即在FlashCopy完成以后不存在源数据的单独的物理拷贝。这一点可以通过FlashCopy NOCOPY 选项来实现。使用NOCOPY选项的应用通常不需要频繁访问被拷贝映像。 NOCOPY 选项不需要所有的镜像磁盘空间，但是需要一些磁盘空间进行磁盘索引和写I/O缓存。所需磁盘空间的容量取决于FlashCOPY的使用时间（即从建立到删除的时间）和被拷贝卷的更新速度。 在异步灾备的方案。本地可以用 Flashcopy的NOCOPY的选项进行时间点的COPY，保证数据的完整性，再用PPRC进行远程灾备。 PPRC 的实施PPRC的

24、实际连接方法： PPRC的物理连接以上是标准的实时备份方案示意图，UNIX主机等服务器通过SAN与IBM企业存储服务器ESS相连接，两台ESS之间通过ESCON通道实现PPRC-同步远程拷贝。受ESCON传输距离的限制，当主备机房的距离超过3公里时，需要加光纤延伸器。光纤延伸器之间传输为DWWM，界质为光纤。可以从多个不同的厂商购得，比如CNT UWO、INRANGE的9801等。在光纤延伸器的帮助下，PPRC可以达到103公里的距离。 PPRC的实施有两种方法，可用控制终端的图形界面，或用主机上的脚本来调用，自动来完成。 COPY的图形界面： COPY 界面的的功能： PPRC的建立： SA

25、N 简介什么是 SAN 存储区域网（ Storage Area Network）是一种将磁盘阵列（Disk Array）或磁带库（Tape Library）与相关服务器（Server）连接起来的高速专用光纤网。SAN结构允许服务器连接任何存储磁盘阵列或磁带库，这样不管数据放置在哪里，服务器都可直接存取所需的数据。由于采用了光纤接口，SAN具有更高的带宽。 当前，我们正处在一个信息爆炸的时代，数据的存储量已经不仅仅是用 KB、MB、GB甚至TB来计算，在不远的将来，人们所谈论的将是PB(1petabyte=1,000terabytes)甚至EB(1exabyte=1,000petabytes)。

26、根据IDC公司的统计报告，企业数据的增长速度是每年100%。在企业的作业系统和数据采掘中，大量的、频繁的数据移动将会对用户的区域网或者广域网造成巨大的影响。此外，如何使分布的存储设备(存储农场，Storage Farm)更加有效的运行，也是摆在每个用户的问题。 从计算机的发展历史来看，从最早的服务器 /客户机（Server/Clinet）模式，到今天的网络计算（Network Computing）环境，今后的移动计算（Pervasive Computing）环境，对数据的请求不再受时间和空间的限制。随之而来的问题是，当前的数据多分布在与服务器相连的独立存储之上，从而造成所谓的“信息孤岛”（In

27、formation Island）的现象。这使数据的存储、利用、分析和管理都非常地复杂。 采用存储区域网（SAN），可以通过快速的、专用的光纤网络，将上百个甚至几千个存储设备连接起来，组成低成本的、易于管理的存储区域网络。存储区域网不仅可以减少数据移动对现有的网络系统的压力，从而降低存储的成本，而且可以通过将存储设备的集中，方便地进行监视和调整，从而实现灵活方便的管理。 对于用户，由于数据量非常大 (包括数据库、音像、图像和文字信息)，而处理平台又是多种多样(即有S/390大型主机，也有UNIX的开放平台，以及PC服务器)，采用SAN架构，可以实现存储设备的跨平台使用，存储设备的统一管理，存储

28、容量的动态分配，提高存储设备的利用率，减少维护和使用的成本。同时，可以实现数据的集中存储和访问，为今后应用的整合打下基础。 采用存储区域局（ SAN），数据的备份可以不再通过网络，大大减少了LAN的压力，从而称为与本地局域网无关(LAN Free)以及与服务器无关(Server Less)的备份。 在一九九九年二月， IBM公司正式发布了IBM存储区域网(SAN)的架构，并且发布了一系列的基于SAN的产品。同时，IBM公司还宣布了其基于SAN的战略、目标和今后发展的蓝图。IBM的企业存储区域网(SAN)计划，是为了帮助企业管理、追踪和更方便地共享容量不断增加的数据。此外，IBM还会帮助企业管理

29、他们的技术资源：主机服务器平台、存储服务器、网络硬件和存储管理软件，使之更加有效的在存储网络中共享信息，而不管其供应商计算机平台系统和软件应用。 SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是，随着存储容量的爆炸性增长，SAN允许企业独立地增加它们的存储容量。 SAN方案也使得管理及集中控制的实现简化，特别是对于全部存储设备都集群在一起的时候。而且，光纤接口提供了10公里的连接长度（通过特殊网络设备，距离可达70公里，甚至更远），这使得实现物理上分离的、不同机房的存储变得容易。

30、 在传统的基于 SCSI技术的存储方式中，磁盘上的数据是服务器的专有资源，存储任务依赖于服务器及其所挂接的LAN。由于这种技术本身的局限性以及存储任务对网络带宽的消耗越来越多，并行SCSI技术已渐渐不能够满足客户存储的需求。而SAN的推出首先使服务器同存储阵列之间的连接方式发生了根本性的变革，基于Fibre Channel（同时具备网络和通道特性，能够以千兆位速度进行数据传输的技术）的SAN改变了传统服务器与磁盘阵列的主从关系。位于SAN上所有设备均处于平等的地位，任何一台服务器均可存取网络上任何一台存储设备，通过Fibre Channel高带宽和强大的IO处理能力，SAN技术在可连接性、可扩

31、展性以及性能方面解决了SCSI技术无法解决的问题，成为存储领域具有强大生命力的新技术。 另外，在具体存储应用方式上，对于一个 IT机构或部门来讲，传统的存储是在LAN上进行，大大占用了LAN的带宽资源，另外由于这种传统的存储方式多是在以太网上以TCP/IP协议传输数据，在层层打包之后资源会有较大的开销。由于在SAN存储网络设计方式中，文件传输是直接在界面卡(SCSI、SSA、FC)与存储设备进行交互，无须经过网络传输，此时原先数据传输所占用的网络带宽，可大大被释放。SAN也支持IP协议，但由于其针对存储数据传输的特点进行设计，当需要有大量或者大块的数据在SAN上进行传输时，基于Fibre Ch

32、annel的传输技术更有优势，当客户端在LAN上请求来自服务器的数据时，服务器将在SAN上的存储设备中检索数据，由于这种方式对数据的处理没有IP打包方面的开销，所以能够更有效的提交数据。 存储区域网络 (SAN)是一种基于光纤通道(Fibre Channel)的数据存储结构，SAN将原本分散的数据存储备份通过光纤通道重新集中起来，从而解决了因为网络技术飞速发展，备份数据难以管理的难题。与传统的存储方法相比，采用光纤通道的SAN数据传输速率已经可以达到200MB/秒，而传统的SCSI仅为40MB/秒，即使是最新的Ultra3SCSI协议也仅有160MB/秒；在连接存储设备的数量方面，SCSI最多为15个，而SAN可以达到成千上万个；连接距离，SCSI最长25米，而SAN能够达到10公里甚至更远。 存储区域网是有管