深入了解IP存储.docx
《深入了解IP存储.docx》由会员分享，可在线阅读，更多相关《深入了解IP存储.docx（27页珍藏版）》请在冰豆网上搜索。
深入了解IP存储
深入了解IP存储
来源：
作者：
《网络世界》2007-10-08
一、IP存储详解
从用户观点看，存在两大问题。
第一个问题，如何将已经部署的分离SAN互联起来？
第二个问题，如何将来自运行在IP网络上的多台服务器的存储整合在一起？
解决第一个问题（即互联已经部署的SAN）的简单答案是光纤通道。
但是，当涉及到分布在不同园区和另一个网络上的SAN时，最佳的解决方案是具有较低性能和基于TCP的重试功能的FCIP与iFCP。
FCIP被提议为通过现有的IP网络连接光纤通道SAN“孤岛”的一种标准方法。
FCIP还可用来克服光纤通道目前存在的距离限制因素，能够跨越大于光纤通道支持的距离连接SAN孤岛。
FCIP具有实现纠错和检测的优点：
即如果IP网络错误率高的话，它就重试。
这是在一条低性能、高错误率的IP网络上连接SAN的理想途径。
iFCP是一项在TCP/IP网络上传送光纤通道传输流的标准。
作为网关的iFCP在使用户可以将光纤通道RAID阵列、交换机和服务器连接到IP存储网络上的同时，保护了基础设施的投资。
iFCP运行时将光纤通道数据封装在IP包中并将IP地址映射到不同的光纤通道设备上。
每一台光纤通道设备在IP网络上都有自己的身份标识，因此它可以单独地向IP网络中其他节点发送存储流和接收来自其他节点的存储流。
iFCP在网关终结光纤通道信令，然后在IP网络上传送存储传输流，突破了传统光纤通道距离只能达到6.2英里的限制。
第二个问题的答案是iSCSI。
iSCSI协议定义了在TCP/IP网络发送、接收block（数据块）级的存储数据的规则和方法。
发送端将SCSI命令和数据封装到TCP/IP包中再通过网络转发，接收端收到TCP/IP包之后，将其还原为SCSI命令和数据并执行，完成之后将返回的SCSI命令和数据再封装到TCP/IP包中再传送回发送端。
而整个过程在用户看来，使用远端的存储设备就像访问本地的SCSI设备一样简单。
支持iSCSI技术的服务器和存储设备能够直接连接到现有的IP交换机和路由器上，因此iSCSI技术具有易于安装、成本低廉、不受地理限制、良好的互操作性、管理方便等优势。
200多家开发iSCSI解决方案的公司的影响以及大量的已有IP网络，将使iSCSI能够对SAN产生真正的影响。
二、IP存储“三部曲”
IP存储解决方案应用可能会经历三个发展阶段。
阶段一:
SAN扩展器。
随着SAN技术在全球的开发，越来越需要长距离的SAN连接技术。
IP存储技术定位于将多种设备紧密连接，就像一个大企业多个站点间的数据共享以及远程数据镜像。
这种技术是利用FC到IP的桥接或路由器，将两个远程的SAN通过IP架构互联。
虽然iSCSI设备可以实现以上技术，但FCIP和iFCP对于此类应用更为适合，因为它们采用的是光纤通道协议（FCP）。
阶段二:
有限区域IP存储。
在第二个阶段的IP存储的开发主要集中在小型的低成本的产品，目前还没有真正意义的全球SAN环境，随之而来的技术是有限区域的、基于IP的SAN连接技术。
可能会出现类似于可安装到NAS设备中的iSCSI卡，因为这种技术和需求可使TOE设备弥补NAS技术的解决方案。
在这种配置中，一个单一的多功能设备可提供对块级或文件级数据的访问，这种结合了块级和文件级NAS设备可使以前的直接连接的存储环境轻松地传输到网络存储环境。
第二个阶段也会引入一些工作组级的、基于IP的SAN小型商业系统的解决方案，使得那些小型企业也可以享受到网络存储的益处，但使用这些新的网络存储技术也可能会遇到一些难以想象的棘手难题。
iSCSI协议是最适合这种环境的应用的，但基于iSCSI的SAN技术是不会取代FCSAN的，同时它可以使用户即享受网络存储带来的益处,也不会开销太大。
阶段三:
IPSAN。
完全的端到端的、基于IP的全球SAN存储将会随之出现，而iSCSI协议则是最为适合的。
基于iSCSI的IPSAN将由iSCSIHBA构成，它可释放出大量的TCP负载，保证本地iSCSI存储设备在IP架构上可自由通信。
一旦这些实现，一些IP的先进功能，如带宽集合、质量服务保证等都可能应用到SAN环境中。
上图显示了一个真正的全球IPSAN。
将IP作为底层进行SAN的传输，可实现地区分布式的配置。
如SAN可轻松地进行互联，实现灾难恢复、资源共享，以及建立远程SAN环境访问稳固的共享数据池。
三、IP存储仍需解决的问题
IP存储是一个新兴的技术，尽管其标准早已建立且应用，但将其真正广泛应用到存储环境中还需要解决几个关键技术点。
TCP负载空闲
由于IP无法确保提交到对方，而将TCP作为底层传输的三种IP存储协议则需要在拥挤的、远距离的IP空间中确保传输的可靠性。
由于IP包可以打乱次序传送，因此，TCP层需要重新修正次序，以提交到上一层的协议中（如SCSI）。
TCP完成这一任务的典型操作是使用重调顺序缓冲器，将数据包的顺序完全整理为正确方式，完成这一操作后，TCP层将数据发送到下一层。
这些处理都需要消耗主机的CPU资源，同时增加事务处理的延时，事实上，与典型的FC或SCSI块传输相比，需要更多的I/O处理，一种称之为TCP负载空闲引擎TCPOff-loadingEngine（TOE）的设备可将主机的处理器负载降低，随着新技术的应用，TOE将可以帮助解决这一问题。
性能
工作组和一些分析人士把相当多的注意力放在了确保IP存储协议可以非常快的运行上，因为目前硬盘驱动器的运行速度已经很快。
专家们预测IP存储产品将以高速运行。
然而，也有一些分析人员认为，IP存储令人心往的最大优势是IP的灵活性，而高速性能则排在第二位。
尽管IP技术很有可能得以应用，但如果对性能较为看重的话，不推荐使用标准的以太网卡。
如前所述，TOE可以减少服务器的处理负载，但由于TOE设备较新，其硬件成本及复杂程度都比标准网卡更高。
其广泛应用可能会由于性能价格比过高而受阻。
像那些增强的iHBA都需要进一步改进，已达到光纤通道的技术水平。
安全性
当存储设备通过IP架构进行远距离连接时，安全性变得愈加重要。
生产厂家必须明确产品的安全级别，并确保其安全性。
在IP存储产品广泛应用之前，这一问题是IETF需亟待解决的。
当标准得到批准时，明确要求IP存储协议的所有实施都必须包括可靠的安全性（实现加密数据完整性和保密性）。
如果用户不愿使用这些安全措施的话，他们不必使用，但是产品中必须具有启动安全技术的功能，只有这样厂商才能说他们的产品符合标准的要求。
相当多的工作组成员非常不喜欢这项要求：
他们认为这些协议的主要用武之地将是数据中心或其他一些受防火墙保护的领域。
但是，一旦人们将应用放在IP上，这个应用没有什么办法确定自己的使用环境，例如在防火墙后使用。
这是IP的一个重要特性。
IETF认为，如果将存储区域网（SAN）放在IP上是符合逻辑的（绝大多数人认可这点），那么利用IPSec保护这些SAN才有意义。
IETF的Internet工程指导小组（IESG）要求在三种IP存储协议中使用IPSec:
iSCSI、FCIP和iFCP。
负责IETFIP存储工作组传输领域的人员认为，窃听是IP协议存在的安全漏洞，而这正是IESG坚持加密能力的原因。
还有一些厂商认为，依靠IPSec解决IP存储安全问题并没有抓住问题的关键。
尽管IPSec可以保护在IP网络上传输的存储数据的安全，正如它保护IPVPN上传输的数据那样，但是它没有采取任何保护存储设备上数据的措施。
保护存储设备上的数据需要使用采用3DES或高级加密标准（AES）的加密芯片。
互联性
基于IP的技术并没有被所有厂家共同使用，虽然这个协议的标准早已被IETF公布，但并不能保证厂家X与厂家Y使用相同的协议或技术。
为了保证这些产品能够相互配合得更好，必须保证厂家之间采用相同的协议，使各厂家产品具有良好的互联性。
还有一个问题引起了大家的关心，那就是之所以有这么多的厂商热衷于iSCSI解决方案原因在于他们不必掌握复杂的光纤通道技术而直接进入高速增长的网络存储领域。
笔者以为，作为iSCSI解决方案的提供商，没有光纤通道领域的坚实基础是很难取得成功的。
现实总是残酷的，对于专注于此领域的小厂商来说也许会在成功以后被大型厂商所收购，然而现在正经历严峻考验。
四、存储厂商观点
不同的存储厂商，由于专注的领域不同，对IP存储的支持程度（或者是希望程度）有着一定的差别。
IBM与思科
iSCSI是由IBM下属的两大研发机构――加利福尼亚Almaden和以色列Haifa研究中心共同开发的，是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。
而iSCSI是IP存储各协议中发展最“成熟”的一个，因此，IBM对iSCSI的贡献是很突出的，自然对IP存储支持有佳。
思科在传统IP网络的地位无需多提，在IP网络拥有的丰富经验使得思科公司进军存储市场具有很大优势。
除了很早就推出了存储路由器，在一个月以前，思科推出了MDS9000系列多层导向器和光纤通道交换机，全面进入存储领域。
对于思科来说，若能够将传统IP网络与存储网络的优势结合起来自然会获得巨大的机会，而这个机会就是IP存储。
NetApp
NetApp原本是专注于NAS产品的厂商，后来又提供了SAN架构产品，并将两者有机地结合在其光纤网络存储（FAS）解决方案中。
如果IP存储能够得到广泛的应用，对于NetApp来说是个巨大的利好消息，NetApp认为，应用IP存储时，只是在其FAS解决方案增加支持，而不会像其他厂商那样需要分别在NAS和SAN产品增加对IP存储的支持。
HP与HDS
目前惠普已经推出了iSCSI路由器，但没有在中国发布。
随着市场的发展，惠普还会陆续推出iSCSI的产品。
在iSCSI的推动上，惠普声称会跟着市场的需求走，但不会太超前，iSCSI市场并不成熟，产品太超前，对企业来说是没有意义的。
HDS也表示，由于在可靠性方面还存在一些问题，暂时还没有推出支持iSCSI的产品。
博科通讯
博科认为，iSCSI可以在一定程度上回应把低端服务器连接到SAN的这样一个新市场。
博科将在SilkWormFAP（博科最近收购的Rhapsody的一个产品）上提供iSCSI及FCIP的桥接器功能。
博科正密切关注着存储市场的变化，以决定是否或何时将“iSCSI刀片”（iSCSI功能模块）集成到SAN光纤通道交换机里。
同时，博科也指出，光纤通道是一种为实现高性能、高可用、高可靠存储网络而研发的协议，它把并行SCSI技术和以太网技术的优点结合起来。
它以为光纤通道在存储网络方面有明显优势，已被广泛应用，适应了服务器到存储设备之间高流通量的苛刻要求。
在实现服务器与服务器之间或者客户端与服务器之间的连接上，IP网表现非常优秀，但在服务器与存储设备之间的连接方面，IP网难以做到低延迟、高性能、高可靠。
iSCSI可以通过软件实现，所以在服务器方面不需太多的设备成本，但需要耗费额外的CPU处理能力，较适合不太需要高性能的存储应用。
总之，博科认为iSCSI不适合、不应当配置于类似数据中心的关键存储应用上。
并行向左串行向右——构建磁盘网络世界
来源：
作者：
2005-12-07出处：
磁盘接口是磁盘与主机系统间的连接部件，不同的磁盘接口决定着连接速度，接口的优劣直接影响着程序运行快慢和系统性能好坏。
磁盘接口技术主要有两种，即并行和串行，按照目前的情况分析，“串行”大有取代“并行”之势。
我们接触到的磁盘接口技术有很多，在串行技术出现之前，从整体的角度上硬盘接口分为ATA、SCSI和光纤通道三种，ATA磁盘多用于个人产品中，也部分应用于服务器，SCSI硬盘则主要应用于服务器，而光纤通道只应用在高端服务器上，价格昂贵。
ATA和SCSI分别定位于低端、高端应用领域，它们也有一个共同点，那就是并行，因为它们都按照并行的方式来传输数据。
随着时间的推移，这种并行技术的不足逐渐显现：
尽管ATA和SCSI均是并行总线接口，但是它们之间却不兼容；ATA现有的传输速率已经逐渐不能满足用户的需求，SCSI磁盘价格昂贵；传输数据和信号的总线是复用的，如果要提高传输的速率，那么传输的数据和信号往往会产生干扰，从而导致错误。
于是串行技术应运而生，与并行技术不同，串行按照串行方式传输数据，它是一种完全崭新的总线架构。
去年SATA（SerialATA）磁盘开始大规模应用，为串行磁盘技术的革命运动拉开了序幕。
同ATA和SCSI相对应的是SATA和SAS（SerialAttachedSCSI）两种技术，它们克服了原先并行接口技术中的不足。
串行技术提高了性能、降低了价格，还采用兼容的架构，在低端（SATA）和高端（SAS）之间架起了沟通的桥梁。
SATA磁盘已经获得了广泛的应用，而SAS的情况却有所不同，其标准虽在几年前就已确定，但是产品却迟迟没有面世。
3月31日，迈拓公司推出SAS磁盘，串行技术正式吹响了向高端进军的号角。
记者预言，在不久的将来，磁盘世界将是串行一统天下。
现在，网络存储的概念已经深入人心，NAS和SAN、FC和IP之争都是细节问题，关键是大家都明白将磁盘阵列等存储设备直接连到网络上可以提高利用率和效能。
不过，对于磁盘阵列内部的状况，了解和关心的人就没有那么多了，但实际上，那些通常被我们当作“黑匣子”看待的钢筋铁骨，其“五脏六腑”的构造也直接影响着容量的利用率和性能的发挥。
拓扑：
从总线到星形
近二十年来，与ATA相比，SCSI一直以高端的形象自居。
然而，随着2003年SerialATA（以下简称SATA）Ⅱ工作组先后公布属于SATAⅡ第二阶段的PortMultiplier（端口倍增器）和PortSelector（端口选择器）规范，并行SCSI的优势已经不复存在。
请注意，SCSI和并行SCSI不是一个概念，两者之间不应划等号，如果非要划一个标志的话，也应该是大于号。
广义的SCSI是一大堆标准的集合，像并行SCSI接口（SCSIParallelInterface，SPI）、光纤通道协议（FibreChannelProtocal，FCP）和iSCSI（InternetSCSI）都包括在SCSI标准架构之中。
由于最初的SCSI标准（SCSI-1和SCSI-2）确实只有并行这一种实现方式，所以不加前缀的提起SCSI通常是指并行SCSI、SATA与SAS接口。
在串行接口大行其道的今天，并行接口的不是之处简直随便挑，譬如需要的信号线太多导致高频时信号同步困难，从而限制带宽和连接距离，换言之，就是发展空间有限。
同样是受制于信号线过多，并行SCSI只能选择共享传输介质（线缆）的总线型拓扑结构。
虽然宽（Wide，16位）SCSI理论上能够连接多达15个设备，但如果真这样做的话每个设备所能分配到的带宽将非常有限，而且总线的仲裁（避免低优先级的设备“饿死”）问题也会十分棘手。
因此，实际应用中上一个16位SCSI通道（一条总线）连接的硬盘数量通常不超过4个，从而在性能和连接能力之间取得平衡。
抛开连接器和软件协议都不兼容的表象，在功能上并行ATA可说是并行SCSI的子集——后者有的毛病前者都有，后者没有的缺点前者也有（精简所以不够完善）。
线缆长度不超过半米、同一通道只能连接2个设备（且为独占式访问）、接口带宽达到133MBps就已十分勉强等都是并行ATA明显不及并行SCSI之处。
正是由于并行ATA（ParallelATA，以下简称PATA）更早地碰到了瓶颈，ATA率先开始了彻底放弃并行、转投串行怀抱的革命。
2000年春季IDF上Intel公布了串行SATA接口的开发计划，并在2001年秋季IDF上联合APT、Dell、IBM、Seagate及Maxtor，正式发布了SATA1.0规范。
与连接器针脚多达40根的PATA相比，SATA仅有2对数据线（一对发送，一对接收，250mVLVD信号），加上3根地线也不过才7个接脚，连接器十分小巧，线缆也柔软易于弯曲，实现了每个设备独享全部带宽、没有总线仲裁/冲突开销的点对点连接。
串行接口必备的LVDS（低电压差分信号）技术将连接距离提高了一倍，1米的长度完全能够满足PC机内存储的要求；每个端口可连接的设备数目虽然从2个减少为1个，但同样面积所能容纳的端口数量却成倍增加，何况PATA在实用中每端口连接的硬盘通常也只有1个；点对点连接构成相对先进的星形拓扑，可以显著改善并发操作能力。
此外，SATA的带宽从150MBps（1.5Gbps，8b/10b编码）起步，后续将会提高到300MBps和600MBps。
不过，SATA1.0的先进架构只是全面超越了PATA，在并行SCSI面前却未必能占尽上风。
就以连接大量设备的能力来说，一个并行SCSI端口上挂接4块硬盘很稀松平常，SATA达到同样的水准却要耗费4个主机端口。
SATA的缔造者们显然也意识到了这个问题，于是他们在SATAⅡ中引入了PortMultiplier的概念。
PortMultiplier的作用是把一个活动主机连接多路复用至多个设备连接，它采用4位（bit）宽度的PM端口字段，其中控制端口占用一个地址，因此最多能输出15个设备连接——与并行SCSI相当。
PortMultiplier的上行端口只有1个，在带宽为150MBps的时候容易成为瓶颈，但如果上行端口支持300MBps的带宽，就与Ultra320SCSI十分接近了。
换句话说，PortMultiplier本身就是星形拓扑架构的体现，对网络略知一二的朋友都明白它比总线拓扑架构更为优秀。
遗憾的是，由于ATA的定位是“廉”（价）字当头，其软件（包括指令集）功能有限，PortMultiplier仅处于星形拓扑的初级阶段，只相当于一个SATA的Hub，而且还不是一个好的Hub——不允许级联。
兼容：
师夷长技以制夷
看到SATAⅡ不断地扩充功能，不免让人感叹，2001年冬季Compaq、IBM、LSILogic、Maxtor和Seagate未雨绸缪，宣布开发SerialAttachedSCSI（串行连接SCSI，简称SAS）的确是明智之举。
SAS吸纳了SATA的物理层（包括连接器、线缆）设计，增加了第二端口，同时还具备FC的某些特征。
与SATA相比，SAS在物理架构上的增强主要包括：
双端口SAS的数据帧基于FCP（FCProtocol），并在外围设备端添加了第二端口支持，形成符合高可用性要求的双端口（dualport）——这一点也类似于FC。
全双工并行ATA和SCSI都是发送和接收共用一组数据线，因此发送和接收不能同时进行，即所谓的半双工。
SATA数据线由两条传送方向相反的差分信号对（LVDS，共4根）组成，发送（Tx）和接收（Rx）各走一路，为全双工提供了物理上的可能。
不过，由于ATA协议是半双工的，因此SATA在一对信号线上传送数据的同时只是用另一对信号线返回流控信息，仍然是半双工；SCSI协议则是支持全双工的，SAS通过将一路数据所需的流控信息与反向传送的数据混合在一起，从而能在同样的数据线上实现全双工。
宽链接物理链接是SAS中的一个基础概念，一条物理链接包括两对差分信号线（Tx和Rx，即一条SATA线缆），传输方向相反。
两个SAS端口之间可以建立起由多个物理链接构成的widelink（宽链接），相应的端口也被称作wideport（宽端口），可以表示为N-widelink和N-wideport，N取值在1～4之间，代表物理链接的数量。
SAS支持宽链接的主要出发点是获得成倍的带宽，而设备端双端口的设计则是为了提供冗余链路，增强可用性。
带宽或许是考虑到第一批SAS产品问世时SATA很可能已推出3.0Gbps的第二代规格，SAS1.0/1.1采取了直接支持3.0Gbps并向下兼容1.5Gbps的策略。
虽然某些初期原型产品的确运行在1.5Gbps，但都是在FPGA和现货供应PHY（物理层）芯片基础上开发的，目前采用完全集成3GbpsPHY芯片和ASIC设计的设备已经出现，并逐渐被业内接受。
连接距离为了提高连接距离，SAS发送和接收信号的电压范围都比SATA大为提高。
在具体的连接距离指标上，最初宣称是10米，新的资料则是大于6米（外部线缆），似乎与信号速率从1.5Gbps提高到3.0Gbps有关。
需要指出的是SAS规范里面并没有严格限定线缆长度，而是靠发送水平和接收敏感度来考察，制造商通过检测线缆特性来判定其所能达到的距离——高质量线缆可以连接得更远，当然成本也更高。
现在SAS线缆连接距离的要求已经提高到8米，通过3个扩展器（Expander）之后，SAS的连接距离能够超过32米，与Ultra160/320SCSI的12米（15个设备）或25米（点对点）相比虽没有明显提高，但也足以应付机内存储设备连接和近距离DAS的要求了。
上述规划都很不错，可是第二端口怎么实现呢？
通过将原本分离的SATA端口和电源插头相连，并将SAS第二端口设置在连接处的背侧（插座则是对侧，见图），就得到了SAS连接器。
第二端口比这块跨接区域略宽，但也只有SATA端口（也即SAS第一端口）的2/3，因此其7个接脚及间距均明显变窄。
与SAS插头的“铁板一块”相对应，SAS插座也“全线贯通”（SATA插座在SAS第二端口的位置有一突起），这样既可以保证SATA设备插入SAS插座，又能避免误将SAS设备插入SATA插座。
升华：
交换和路由
与SATA一样，SAS也可以让主机端口与设备端口点对点直接相连，但不同的是，后者从设计之初就引入了类似于PortMultiplier的中间设备，以达成大量设备连接能力并实现更为复杂的拓扑结构。
这个中间设备叫做扩展器（Expander），不过与并行SCSI中的同名设备不是一个概念。
如果把SATA的PortMultiplier比做Hub，那么SAS的扩展器就是交换机（EdgeExpander，边沿扩展器）和路由器（FanoutExpander，扇出扩展器）。
扩展器利用可多达128个的PHY（发送器和接收器各一、能够接受1个物理链接的最小单元，譬如1个4宽度端口即由4个PHY组成）连接主机/设备或其他扩展器，组成星形拓扑架构。
SAS还引入了“域”的概念，扇出扩展器是SAS域的核心，一个SAS域只能有一个扇出扩展器，它可以随意连接边沿扩展器；一个边沿扩展器只能连接到一个扇出扩展器上，而在没有扇出扩展器的情况下最多仅允许两个边沿扩展器互连；在不超过数目上限的前提下，扩展器可以随意连接发起者/目标设备。
也就是说，在一个SAS域中，任意两点（主机或设备）之间最多可以有3个扩展器。
SAS制订初期的目标是每个扩展器可连接64个设备，一个SAS域最多4096个（64×64）设备；后来规范制订者们意识到没有必要把扩展器的端口数目限制在64个，于是便改为每个扩展器能够寻址128个PHY，整个SAS域形成一个物理连接数目可达16K（128×128＝16384）的点对点交换式拓扑架构。
扩展器强大的连接能力不仅是为设备数量服务的，它还可以用多达4个的物理链接组成宽链接来获得成倍的带宽。
以4宽度内部串行附属连接器为例，SATA只能通过4根相互间没有逻辑联系的线缆获得4个独立的SATA链接，SAS却可以得到一个4宽度链接（在一个扩展器上）、两个2宽度链接（在两个扩展器上）、四个1宽度链接（在四个独立的扩展器或设备上），甚至还能够是一个3宽度链接和一个1宽度链接……性能与灵活度都远胜于SATA。
不过，扩展器引入的复杂度也不尽是优点，譬如它将原本直接相连的两个设备分隔开就隐藏着潜在的风险。
为此，SAS在链路层引入了速率匹配（ratematching）的概念，即在高
升级会员 