税务信息化常用技术指南存储技术.docx
《税务信息化常用技术指南存储技术.docx》由会员分享，可在线阅读，更多相关《税务信息化常用技术指南存储技术.docx（95页珍藏版）》请在冰豆网上搜索。
税务信息化常用技术指南存储技术
税务信息化常用技术指南
存储技术篇
2009-9-22
第一章存储基础知识
1磁盘存储系统的种类
随着信息化时代的到来，我们所要接触到的信息也就是数据越来越多；越来越多的人们也开始认识到信息的重要性。
信息的重要性，不言而喻，它的影响可以大到整个世界，小到某一个人，它关系着当今世界的文明发展程度、一个国家的发达程度以及企业的竞争力等。
而随着数据高速的增长以及人们对数据的重要性的认识，这时，如何储备庞大重要数据的问题，就摆在了我们的面前。
继续采用以前的传统的存储方法（使用服务器自身连接的存储设备，其扩展能力十分有限，而且会带来宕机的问题）显然是不可行的，这就需要我们去考虑是否可以外接一个磁盘的存储设备，从而能对数据存储的需求做快速的配置响应，而且这些外接的存储系统要有自带的独立的电源、冷却系统、存储以及外部接口总线连接器等特征，此时，磁盘的存储系统就应运而生了。
目前，磁盘的存储系统可以分为两大类：
一类是JBOD存储系统，另外一类是RAID存储系统。
1.1JBOD存储系统
JBOD是JustaBunchofDisk的缩写，即一组存储磁盘的组合。
JBOD将两个或更多磁盘组合在同一个盘柜内，并与系统或服务器相连。
以前，JBOD指通过控制软件控制一组磁盘的功能；目前，JBOD指一组没有RAID功能的盘柜。
通常典型的内部连接可以采用SCSI总线或FCAL（光纤通道仲裁环）。
从系统的角度来看，JBOD仅仅是一些磁盘驱动器，尽管整个盘阵可以提供监控和管理的设备。
高端的JBOD支持热切换以及电源、风扇、控制器和双端口磁盘的冗余配置，如下图所示。
1.2RAID存储系统
RAID全称为RedundantArrayofIndependentDisks，是“独立磁盘冗余阵列”（最初为“廉价磁盘冗余阵列”）的缩略语。
1987年由Patterson，Gibson和Katz在加州大学伯克利分院的一篇文章中定义。
RAID阵列技术允许将一系列磁盘分组，以实现为数据保护而必需的数据冗余，以及为提高读写性能而形成的数据条带分布。
我们注意到，其实在RAID存储系统中，它整合了专有的RAID控制器。
这个专有的硬RAID控制器其实也是由RAID算法软件来实现的，只不过，这个软件是在控制器中的Firmware上执行的，以此来实现RAID功能。
你完全有理由把RAID控制器理解成为一台专用的主机，因为它包含有内存、CPU、I/O接口等元件以及在此硬件的基础上跑特定的OS。
相对于JBOD存储系统，要是想实现RAID的一些特性，此时，它必然要消耗它所连接的主机的资源。
而RAID存储系统之所以这么流行，是有以下的三个原因的：
RAID在容量和管理上的优势。
RAID技术提供了设备虚拟化，即几个单个的磁盘设备或分区能够形成一个符合的虚拟磁盘设备。
这样，一个RAID系统可以组合10个单独的磁盘驱动器，而在存储总线或网络上却以一个单一的地址或LUN出现。
当机构在努力管理快速增长的数据时，虚拟存储子系统就能够提供足够的存储能力。
并且，由于RAID这种设备虚拟化的能力，可以将几个小的驱动器合而为一，形成一个大的虚拟驱动器，因此，就能在这样的虚拟驱动器上建立单一的文件系统，而无需去管理多个小的实际驱动器以及考虑如何在多个驱动器间平衡容量和应用负载。
RAID的性能优势。
磁盘镜像技术提供了极好的数据可靠性，而且价格相对适中。
假如可靠性是RAID的唯一的优越性，那么，大部分的IT专业人员可能并不购买它。
因此，要想RAID成为更为实用的工具，就必须赋予它超过单个和镜像磁盘驱动器的性能优势。
一般而言，需要解决的主要性能问题是转动延迟和寻道时间，它们都是由磁盘驱动器的机电部分引起的。
为此，RAID可以通过磁盘分条来提高性能。
所谓的磁盘分条就是通过将操作分散到各个不同的磁盘驱动器，使主机I/O控制器能够处理更多的操作，这是在单个磁盘驱动器下所不能达到的。
RAID的可靠性和可用性优势。
为了支持24×7这种类型的服务，存储在设备子系统上的数据必须一直保持可用。
然而，当多个磁盘驱动器组合在一起使用时，失败的潜在危险驱动器的增加而线性的增长。
例如，当阵列中有三个驱动器，那么其失败的可能是单个驱动器的三倍。
因此，对于RAID来说，很重要的一点就是提供比单个驱动器更优越的可靠性。
RAID是通过冗余来提高数据的可靠性。
这样，通过使用冗余算法来保证了：
虽然个别的驱动器坏了，但数据仍然能维持一致性，一般的情况下，可以使用两类冗余的技术：
●镜像的冗余
●校验的冗余
另外，对于RAID存储子系统的可用性可以通过对一些关键的部件保护和冗余来实现。
比如，电源的保护，可以通过冗余的电源和电池后备UPS系统；另外，通过对存储子系统的控制器和缓存等这些关键部件进行冗余。
RAID有多种级别，划分如下：
●0—DataStriping数据分条
●1—Mirroring镜像
●5—DataStripingwithParity数据奇偶分条
●0+1—StripedMirrors分条的数据镜像
还有其他一些RAID级别，但上述的划分为目前大多数人都采用的几种。
2磁盘连接技术
磁盘连接指的就是计算机的I/O总线和存储设备（磁盘和磁带机）之间的物理链路，用来实现计算机与存储设备的数据交换。
磁盘连接协议包括：
SCSI，FCP，iSCSI，和FCIP等。
2.1SCSI技术
SCSI是SmallComputerSystemInterface（小型计算机系统接口）的英文缩写。
SCSI最早是一种并行连接，使用SCISI命令的计算机硬件接口。
SCSI在单个接口上可增加多个设备，如硬盘驱动器、Zip、Jaz、CD-RW、DVD驱动器及扫描器，其接口传输率可达40MB/s～80MB/s。
Ultra-160m可达160MB/sec，并且在同时处理多个设备方面有很强的能力，适合于从高档台式机到最先进的高性能服务器的每一种应用。
因此被广泛用于网络服务器及高档桌面系统中。
SCSI几经变革，传输率、支持设备等功能都有大幅度的改进，而这些变化都以近似的名词来表示，例如SCSI、FastSCSI、UltraSCSI、UltraWideSCSI等。
原来SCSI目前仅有"2.5代"，而且名词简单易懂好记，分别是SCSI-1、SCSI-2、SCSI-3。
除此之外，Ultra2、UltraWide、Ultra2Wide、Ultra-160m（Ultra3）也都属于SCSI-3；其中Ultra2传输速率为40MB/sec，也称为"Fast-40SCSI"。
而UltraWide、Ultra2Wide、Ultra3则是采用16bits数据宽度，因此可串接的设备数为15部之外，传输率也提高为2倍，分别为40MB/sec、80MB/sec与160MB/sec。
由于有效电平的不同，S/E与DIFF的最大传送距离也不同。
一般说来，S/E传送距离为3米或更短，LVD（Ultra2SCSI）为12米，普通DIFF为20米左右。
有效电平越高，信号衰减也越慢，所以传送距离也就越远。
传统的SCSI排线在传输速度上会与串接设备数、串接距离产生牵制关系，通常速度愈高，设备愈多，可串接的距离愈短；因此从Ultra2之后，全部改用全新的LVD串接模块，LVD的特性为（LowVoltageDifferential，低电压差动法）低电压、信号干扰少、并兼容于传统排线，可以有较长的串接距离、也可以兼顾传输速度与设备数。
SCSI接口的演变过程
发展过程
传输频率（MHz）
数据频宽（bits）
传输率（MB/sec）
可接设备数
总线长度-米
SCSI-1
5
8
5
7
6
SCSI-2
Fast
10
8
10
7
3
Wide
10
16
20
15
3
SCSI-3
Ultra（Fast-20）
20
8
20
7
1．5
UltraWide
20
16
40
15
1．5
Ultra（Fast-40）
40
8
40
7
12
Ultra2Wide
40
16
80
15
12
Ultra3
80
16
160
15
12
并行SCSI最初采用带状电缆连接内部磁盘和磁带。
多年以后产生了各种各样的并行SCSI，采用大量不同连接头和电缆。
它的速率很快，很可靠，但传送距离较短。
如图所示为主/从关系的主机系统适配器和存储设备的物理连接。
SCSI的特性包括I/O通道，网络和SCSI总线。
I/O信道是用于计算机和存储设备之间的传输通道，可以在计算机内部，或延伸到外部存储设备。
通过HBA（主机总线适配器）可以接入存储设备。
并行SCSI的协议栈与网络协议栈并存，如下图所示：
并行SCSI总线是共享总线结构，没有集线器或交换机连接，设备之间通过链状总线连接起来，由SCSI仲裁技术采用寻址方式来确定接入总线的优先级别。
也许会由多个发起者（initiator），但这种情况不常见。
通常为一个主机适配器控制多个SCSI设备到SCSI总线的连接。
HBA卡与目标之间是主/从关系，SCSI作为它们的指令/回应协议。
SCSI寻址包括3个组成部分：
●主机（控制器在主机内）：
确定采用哪个HBA卡
●目标（SCSI总线上的设备控制器）：
驱动SCSI总线的地址（最大为16）
●LUN（目标的存储设备）：
确定存储设备或源数据通过一个目标控制器进行通讯。
这种层次结构目前在SAN网络中仍然采用。
如图所示：
SCSI的运行采用半双工方式工作。
SAN网络中的主机/目标对也采用半双工通讯，但在主机和目标盘之间可以允许由多个进程同时与不同节点通讯。
2.2光纤通道技术
随着计算机技术的发展，计算机系统不再是小型系统了，SCSI协议假设的小型系统的基础不存在了。
事实上产生了一整套新的企业级的计算机系统，要求更远的距离，网络中更多的设备已经实现了串行传送的标准化。
新的体系仍然保留了对速度的要求，并且还在不断的增长。
更高的传送速度当然总是好的，因此开发了新的SCSI协议，尽管速率更高了，但仍然采用并行传送的方式。
FC（FibreChannel）光纤通道协议正好能够满足企业级计算系统的需求。
FC提供了的一个很明显的优势就是对距离的延伸。
根据传送媒介的不同，FC可传送的距离也有所不同。
可以从几十米延伸到10公里左右。
FC光纤通道已经成为目前SAN存储网络的默认选择。
光纤通道是第一个在SAN中广泛实现的网络技术。
和其他的网络技术，如以太网、ATM和令牌环网一样，这项技术的出现具有自己的特点。
对于大多数网络技术来说，一个通用的衡量标准是速度，或者叫传输速率。
光纤通道也定义了好几种速度，包括25MB/s、100MB/s、200MB/s、400MB/s和1GB/s。
2.2.1光纤通道传输协议/层次化结构
在FC上采用串行SCSI的协议称作FCP。
有很多种协议在光纤通道提取层被采用，但FCP是到目前为止用得最多的协议。
●FC-0定义了物理接口，包括电缆的类型和接头，可以是光接口或者电接口。
●FC-1提供低层的链路控制和千兆数据传送的编码
●FC-2定义了数据帧、流控和服务等级的分割和重新组合。
●FC-3用于公共业务，例如数据加密和压缩
●FC-4提供FC和IP、SCSI-3和其他协议之间的上次协议接口
光纤通道的FC-0层是光纤通道千兆位速度传输的物理层基础。
它后来也被用于千兆位以太网。
它既包括铜线部件，又包括光纤部件。
FC-1与FC-0紧密相连，FC-0在物理层为FC-1提供初始化检查和数据发送和接收约定。
实质上，光纤通道是按超级可靠性和完整性来设计的。
它的错误率不足10E-12。
这几乎相当于每几个TB的数据传输才发生一个可校正的错误。
FC-2层包含了关于数据传输结构的重要信息。
这和其他网络技术的MAC层类似。
端口定义、服务等级、流量控制和通信语法是光纤通道中最有趣的几个方面。
工业界在FC-3层做的工作还不多。
在该层所作的研究和开发包括一些如何同时在多个链路和节点进行工作的方法。
光纤通道的最高层，FC-4层，提供在光纤通道上实现的各种高层协议的映射。
其中的光纤通道协议（FCP），是SCSI-3标准的实现，它将为并行SCSI开发的命令和操作转换成串行的，以在网络上使用。
2.2.2光纤通道拓扑方式
光纤通道技术支持3种基本的拓扑结构：
点对点连接，仲裁环（ArbitratedLoop）和交换式的Fabric。
点对点连接是最简单的拓扑结构允许两节点之间直接通讯。
在这里一般是一个存储设备和一台服务器。
这种拓扑结构与SCSI直接连接极为相似只是速度更快连接距离更长而已。
点对点连接与其他SAN拓扑结构一样可以从光学连接的距离优势上获得收益。
当然，点对点连接也存在限制，虽然可以在服务器与存储设备间提供快速而强大的连接手段，用户却难以在点对点配置环境下追加任何设备–只能分别建立连接。
这就需要为多台存储设备增加多块主机接口卡。
仲裁环是一种环路拓扑结构，这里每一节点均将数据传输至下一节点。
与IBM令牌环网络结构相似，SAN集线器决定数据传输请求以最佳利用带宽。
在仲裁环配置环境下，每一节点的发送器将数据传输到下一节点的接收器，设备必须根据仲裁访问环路。
开始设备作为环路的控制节点。
当任意节点获得许可后，可以发起一个包含目标通讯进程并传输数据，初始节点对目标节点建立一个点对点连接。
在一个环路上同时只能建立一个连接。
当数据传输完成后，初始节点关闭进程并释放对环路的控制，允许其他节点接受环路授权，目前仲裁环的带宽为100MB/S。
技术限制在于：
对于小型SAN的实施，共享带宽–低性能（所有设备共享100MB/s带宽），有限的错误隔绝能力，环路初始化进程可能影响正常应用的进行，仲裁环网络内部缺乏智能。
交换式Fabric是一个SAN的术语，用以描述连接服务器和存储设备之间广为使用的光纤通道交换机的拓扑结构。
交换机可以级联并与环路网络连接构成具有高度混合网络系统，我们称之为Fabric。
幸运的是，这一复杂的解决方案可以在软件的控制之下获得Fabric内的所有SAN管理功能的先进特性。
2.3常见主机存储连接方式
信息需求的增长使其成为大部分部门组织的主要资产所在。
部门组织需要采用一种可以最好的使用应用、网络结构和服务器系统的技术。
网络化存储提供了这样的方案来满足存储的需求。
同时，网络化存储还提供了可以根据具体需求部署存储的基础架构。
数据的存储变得越来越重要，需要提供更高的可靠性、灵活性。
存储网络有三种不同的网络架构：
DAS连接、SAN连接和NAS连接。
2.3.1DAS连接
DAS是存储与计算机直接相连，因此称作“直连存储”。
只有与存储直接相连的服务器才能访问DAS设备，该DAS设备只为这台服务器工作。
DAS方案提供了一种家庭计算机和小型商业的低成本、中低速存储应用。
它也可以提供用于需要高速接入的高成本、高性能存储方案。
在存储环境中，DAS相当普遍，DAS连接在服务器的后端。
服务器的CPU必须处理用户的I/O请求，以及：
●用户数据库查询
●用户文件/打印服务
●数据完整性检查
●与其他设备通讯
数据接入是与文件系统和平台相关的，扩展成本高，管理复杂。
下图是DAS的典型连接示意：
DAS是最基本的存储解决方案。
顾名思义，存储设备是与计算机系统直接相连的。
DAS的基本概念是存储设备以及将存储设备与计算机系统相连的输入/输出（I/O）接口。
DAS使用I/O通道将主机与存储设备相连。
DAS连接可以在计算机机箱的里边，也可以在外边。
由于存储设备只能由与之相连的主机计算机访问，因此也称为“限定存储”。
在DAS中，存储与每台服务器相连，每台服务器上的文件系统只与和它直接相连的存储通信。
DAS不直接共享存储资源或数据。
DAS包括多种形式：
SCSI、ATA/IDE、FC、ESCON/FICON和串行存储体系结构（SSA）。
多数DAS产品的构建以以下通用存储协议为基础：
●ATA（IDE）
●SCSI
●光纤通道
●ESCON/FICON
DAS的优点包括：
●实施简单
●IT人员熟悉DAS
●属于成熟技术，装机量大
●性能稳定（访问延迟固定，带宽有保证）
DAS的主要缺点包括：
●只限于中、短距离
●灵活性不够
●设备数量，即可以连接的设备的数量有限。
●容量利用率（限定容量）。
限定存储是DAS的主要缺点。
DAS存储只能服务于与之相连的计算机。
如果其它用户需要增加存储（或容量），他们不能访问其它计算机上的DAS。
●DAS难以升级。
●可管理性。
需要离散管理。
随着DAS系统的扩展，整个系统将变得越来越难以管理和维护，可靠性越来越低，最终难以满足机构的要求。
●备份（与整合存储不同，如果有100台服务器使用了DAS，则每台服务器都必须分别备份）。
如果DAS系统在LAN上，则必须停机备份。
对24×7运行的机构来讲，这几乎是不可能的。
实际上，备份不仅会使网络停机，还需要人的介入。
在较小的单用户系统上，通常不作或极少作备份。
●投资回报――随着成本的不断增加，公司越来越难以收回投资。
由于DAS需要计算机，因此，与每台DAS设备相关的管理成本还包括管理计算机本身的成本。
●系统停机——可靠性、可用性和可维护性（RAS）降低
●带DAS的单计算机系统可能带来许多单故障点。
无论是CPU、内存还是设备出现故障，都可能让系统陷于“瘫痪”。
不仅如此，在进行维护时，还需要让系统彻底停机。
执行备份操作时，所有应用软件都将停止运行。
●添加和重新配置存储时，需要使系统停机才能安装新的存储设备和设备驱动程序。
2.3.2SAN连接
SAN的关键特性
SAN作为网络基础设施，是为了提供灵活、高性能和高扩展性的存储环境而设计的。
SAN通过在服务器和存储设备（例如磁盘存储系统和磁带库）之间实现连接来达到这一目的。
高性能的光纤通道交换机和光纤通道网络协议可以确保设备连接既可靠且有效。
这些连接以本地光纤或SCSI（通过SCSI-to-FibreChannel转换器或网关）为基础。
一个或多个光纤通道交换机以网络拓扑（SAN架构）形式为主机服务器和存储设备提供互联。
由于SAN是为在服务器和存储设备之间传输大块数据而进行优化的，因此SAN对于以下应用来说是理想的选择：
●关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素。
●集中的存储备份，其中性能、数据一致性和可靠性可以确保企业关键数据的安全。
●高可用性和故障切换环境可以确保更低的成本、更高的应用水平。
●可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区。
●改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离（达到150公里）。
SAN的主要长处
面对迅速增长的数据存储需求，大型企业和服务提供商渐渐开始选择SAN作为网络基础设施，因为SAN具有出色的可扩展性。
事实上，SAN比传统的存储架构具有更多显著的优势。
例如，传统的服务器连接存储通常难于更新或集中管理。
每台服务器必须关闭才能增加和配置新的存储。
相比较而言，SAN不必宕机和中断与服务器的连接即可增加存储。
SAN还可以集中管理数据，从而降低了总体拥有成本。
利用光纤通道技术，SAN可以有效地传输数据块。
通过支持在存储和服务器之间传输海量数据块，SAN提供了数据备份的有效方式。
因此，传统上用于数据备份的网络带宽可以节约下来用于其他应用。
开放的、业界标准的光纤通道技术还使得SAN非常灵活。
SAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性。
改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。
此外，SAN可以更好地控制存储网络环境，适合那些基于交易的系统在性能和可用性方面的需求。
SAN利用高可靠和高性能的光纤通道协议来满足这种需要。
SAN的另一个长处是传送数据块到企业级数据密集型应用的能力。
在数据传送过程中，SAN在通信结点（尤其是服务器）上的处理费用开销更少，因为数据在传送时被分成更小的数据块。
因此，光纤通道SAN在传送大数据块时非常有效，这使得光纤通道协议非常适用于存储密集型环境。
今天，SAN已经渐渐与NAS环境相结合，以提供用于NAS设备的高性能海量存储。
事实上，许多SAN目前都用于NAS设备的后台，满足存储扩展性和备份的需要。
SAN带来的好处
SAN的一个好处是极大地提高了企业数据备份和恢复操作的可靠性和可扩展性。
基于SAN的操作能显著减少备份和恢复的时间，同时减少企业网络上的信息流量。
通过将SAN拓展到城域网基础设施上，SAN还可以与远程设备无缝地连接，从而提高容灾的能力。
SAN部署城域网基础设施以增加SAN设备间的距离，可达到150公里，而且几乎不会降低性能。
企业可以利用这一点，通过部署关键任务应用和用于关键应用服务器的远程数据复制来提高容灾能力。
备份和恢复设备是实现远程管理的需要。
另外，基于交易的数据库应用从SAN部署中获益颇多。
其无缝增加存储的能力可以减少数据备份的时间。
SAN存在的问题
近两年来，SAN这一概念已经渐入人心。
SAN可以取代基于服务器的存储模式，性能更加优越。
然而，时至今日，互操作性仍是实施过程中存在的主要问题。
SAN本身缺乏标准，尤其是在管理上更是如此。
虽然光纤通道（FibreChannel）技术标准的确存在，但各家厂商却有不同的解释。
于是，一些SAN厂商通过SNIA等组织来制定标准。
还有一些厂商则着手大力投资兴建互操作性实验室，在推出SAN之前进行测试。
2.3.3NAS连接
NAS指将存储设备与局域网（LAN）基础设施相连。
每台NAS设备都是带内部或外部存储设备的文件服务器。
与DAS和SAN不同，对于通用互联网文件系统（CIFS）或网络文件系统（NFS），客户机与NAS设备之间的通信发生在文件级别。
一台专用的NAS文件服务器可以为多个用户和应用提供存储。
如果所有文件都存储在一个地方，很快就将无法找到文件的位置；无法提供私密性和安全保护，防止非法访问；无法通过数据管理和备份提供安全性。
将文件放置在同一个磁盘驱动器的不同文件夹中可能无法提供足够的私密性和安全保护。
文件服务器能够将一个物理磁盘驱动器划分为多个逻辑驱动器，这称为存储分区。
由于逻辑磁盘驱动器分区只能被某些客户机访问，所有其它客户机无权访问，因而提高了数据安全性和私密性。
NAS设备指与网络相连的设备：
它适合以文件方式通过网络访问共享存储。
下面举一个将各种客户机和存储设备与网络相连的例子。
注意，客户机的现有网络可以是LAN、企业内部网或者互联网。
多数情况下，网络均为以太网，但也可以采用任何其它网络技术（例如令牌环、FDDI、无线等）。
NAS设备是真正的专用文件服务器，它们可以安装在通用计算机平台上，例如PC，也可以安装在专用平台上。
开发NAS的主要原因是使许多用户或客户机能够共同访问相同的存储设备和数据，从而有利于工作组、部门或机构内的数据共享和共享数据统一存储。
NAS适合需要文件服务/共享的应用，可以提供高性能访问、数据保护和故障恢复。
利用访问控制表（ACL）或其它机制，NAS还可以实现存储分区。
NAS配置包括：
●利用网络接口卡（NIC）与LAN相连的客户机系统或服务器
●LAN
●NAS存储设备
NAS解决方案的优点：
●整合――NAS允许多台客户机访问NAS设备上
升级会员 