IPSAN详解.docx

1、IPSAN详解华为赛门铁克HSCDA-Storage认证培训网络课程 -IP-SAN概述课程目标 了解什么是IP-SAN 掌握ISCSI协议技术原理 了解FCIP协议 了解IFCP协议1 IP-SAN存储基础11IP-SAN的诞生由于FC-SAN的高昂价格和自身的种种不足，使得SAN技术并不能得到真正意义上的普及，SAN更多的是被应用在高端存储市场。为了提高SAN的普及度，充分利用SAN本身所具备的架构优势，许多存储和网络设备开始考虑放弃使用异构的FC，而在应用广泛、构建费用低廉的IP网络上继续享受SAN架构所带来的存储性能优势。这样的市场需求直接导致了“Storage Over IP”的诞生

2、。12IP存储的优势因为采用目前应用广泛且相对比较成熟的IP技术，所以基于IP的存储网络构建也比较简单，所需要的时间也更短。此外，还可以充分利用目前在IP网络方面已经大量部署的设备和投资，且新购设备也不需要昂贵的光纤通道交换机，从而有效的降低了总体拥有成本，更好的保护了用户的投资。此外，由于IP技术的多年普及造就了众多的IP网络管理人员和技术人员，企业在部署IP存储之后无需再聘请专门的FC-SAN管理和技术人员，从而可以大大降低IP存储网络的维护和管理费用。另外，由于IP的广泛应用，IP-SAN允许数据存储发生在企业网络的任何地方而没有物理地理位置的限制，从而可以很方便的实现远程备份、镜像和灾

3、难恢复。尽管IP存储标准早已建立且应用，但是将其真正广泛应用到存储环境中还需要解决几个关键问题：块数据传输问题：FC存储协议具有高速、低延迟和距离短的特点，计算机在这个网络中是所有外部设备的控制者，因而计算机和存储设备是主从关系，适合传输大块的数据（Block Data）；而从网络协议上来看，IP协议具备速度低、延迟高和距离长的特点，比较适合传输大量的小块消息（Message）。从而，如何提高在IP网络中块数据的传输效率，是IP存储急需改进的方面。TCP负载空闲引擎：由于IP协议是无连接不可靠的传输协议，数据的可靠性和完整性是由TCP协议来提供的。而TCP为了完成数据的排序工作需要占用较多的主

4、机CPU资源导致事务处理延迟的增加。由此，一种叫做TCP负载空闲引擎（TCP Offloading Engine，TOE）的设备可降低主机处理器的负载，并且，该设备被期待来最终解决处理器负载的问题。但是目前TOE设备较新，其硬件成本和复杂程度都较高，所以其较高的价格可能会延迟其广泛部署。数据安全性：企业网络中最重要的还是数据，所以，SAN中保存的数据的安全性和可靠性应当受到格外的重视。当存储设备通过IP架构进行远程连接时，数据的安全性愈加重要。尽管IP协议可以配合IP Sec体系使用，但是也只能保护数据在网络传输过程的安全，它并没有采取任何措施来保证数据被保存在存储设备上的安全性。并且由于IP

5、网络是开放式网络，通过IP网络传输数据仍然存在众多安全漏洞，所以，如何提高数据在传输过程的安全性和在存储设备中的安全性，也是IP存储面临的严峻问题。互连性：基于IP存储的技术并没有被所有厂家共同使用，虽然该协议标准早已被IETF公布，但这并不能保证不同厂家之间使用相同的协议和版本。为了保证IP存储产品之间能更好的相互配合，还需要有能够被市场广泛认可的协议，以便各厂家能采用相同的协议制造产品并使得这些产品具备良好的互连性。IP存储技术实际上就是使用IP协议而不是光纤通道将服务器与存储设备连接起来的技术。IP存储是基于IP网络来实现数据块级别存储的方式，除了标准已获通过的iSCSI,还有FCIP、

6、iFCP等协议标准。而iSCSI发展是最快的，已经成为IP存储技术的一个典型代表。基于iSCSI的SAN的目的就是要使用本地iSCSI导向器（Initiator）和iSCSI目标（Target）之间来建立SAN。与光纤通道一样，IP存储是可交换的。而且，由于IP网络经过多年的发展已经相当成熟，不存在互操作性问题，而这正是FC-SAN最大的弱点。IP协议已经得到业内的广泛认可，实际上TCP/IP协议已经成为“事实上”的标准，所以有许多网络管理软件和服务产品可供选择，而这一点FC网络设备的可选择性就差了很多。不管是FC存储或者IP存储，最终传输的都是SCSI指令和数据，只是上层封装的形式不同而已。

7、在IP存储方案中，数据的传输是在IP网络块级进行的，使得服务器可以通过IP网络连接SCSI设备，并且像使用本地的设备一样，无需广播设备的地址或者位置。整个存储网络连接则是以IP和以太网为骨干，是以成熟的IP和以太网技术，替代了FC-SAN中的复杂的光纤通道技术。这样的存储解决方案同时具备了成熟性和开放性，并且IP存储技术得应用也避免了设计传统SAN方案时所必须面对的产品兼容性和连接性方面的问题，所以在设计存储系统的时候有了更大的选择空间。基于IP存储技术得新型SAN，兼备了FC-SAN的高性能和传统NAS的数据共享优势，为新的数据应用方式提供了更加先进的结构平台。需要注意的是，这里提到的利用F

8、CIP和iFCP构建的IP-SAN存储并不是指整个SAN存储系统都是采用IP技术构建，而是指不同的SAN之间的互联是采用IP通道进行的。各个SAN内部仍然采用FC协议进行数据通信，也就意味者IP-SAN并不是一个纯的IP网络，而是FC与IP技术的一种融合。但是iSCSI协议是一种纯粹的IP存储网络技术，它不包含任何的FC内容，iSCSI通过IP网络传输SCSI指令集，在IP网络上实现块级数据传输。通过SCSI控制卡的使用可以连接多个设备，形成自己的“网络”，但是这个“网络”仅局限于与所附加的主机进行通信，并不能在以太网上共享。那么，如果能够通过SCSI协议组成网络，并且能够直接挂载到以太网上，

9、作为网络节点和其它设备进行互联共享，那么SCSI就可以得到更为广泛的应用。所以，经过对SCSI的改进，就推出了iSCSI这个协议。基于iSCSI协议的IP-SAN是把用户的请求转换成SCSI代码，并将数据封装进IP包内在以太网中进行传输。iSCSI方案最早是由Cisco和IBM两家发起，并且由Adaptec、Cisco、HP、IBM、Quantum等公司共同倡导。它提供基于TCP传输，将数据驻留与SCSI设备的方法。iSCSI标准草案在2001年推出，并经过多次论证和修改，于2002年提交IETF，在2003年2月，iSCSI标准正式发布。iSCSI技术的重要贡献在于其对传统技术的继承和发展：

10、其一，SCSI（SmallComputerSystemInterface，小型计算机系统接口）技术是被磁盘、磁带等设备广泛采用的存储标准，从1986年诞生起到现在仍然保持着良好的发展势头；其二，沿用TCP/IP协议，TCP/IP在网络方面是最通用、最成熟的协议，且IP网络的基础建设非常完善。这两点为iSCSI的无限扩展提供了坚实的基础。 IP网络的普及性将使得数据可以通过LAN、WAN或者是通过Internet利用新型IP存储协议传输，iSCSI既是在这个思想的指导下进行研究和开发的。iSCSI是基于IP协议的技术标准，实现了SCSI和TCP/IP协议的融合，对众多的以太网用户而言，只需要极少

11、的投资，就可以方便、快捷地对信息和数据进行交互式传输和管理。在支持iSCSI的系统中，用户在一台SCSI存储设备上发出存数据或取数据的命令，操作系统对该请求进行处理，并将该请求转换成一条或者多条SCSI指令，然后再传给目标SCSI控制卡。指令和数据被封装（Encapsulation）起来，形成一个iSCSI包，然后该数据封装被传送给TCP/IP层，再由TCP/IP协议将iSCSI包封装成IP协议数据以适合在网络中传输。也可以对封装的SCSI命令进行加密处理，然后在不安全的网络上传送。数据包可以在局域网或Internet上传送。在接收存储控制器上，数据报重新被组合，然后存储控制器读取iSCSI包

12、中的SCSI控制命令和数据发送到相应的磁盘驱动器上，磁盘驱动器再执行初始计算机或应用所需求的功能。如果发送的是数据请求，那么将数据从磁盘驱动器中取出进行封装后发送给发出请求的计算机，而这整个过程对于用户来说都是透明的。尽管SCSI命令的执行和数据准备可以通过使用标准TCP/IP和现成的网络控制卡的软件来完成，但是在利用软件完成封装和解封装的情况下，在主机处理器上实现这些功能需要很多的CPU运算周期来处理数据和SCSI命令。如果将这些事务交给专门的设备处理，则可以将对系统性能的影响减少到最小程度，因此，发展在iSCSI标准下并执行SCSI命令和完成数据准备的专用iSCSI适配器是有必要的。iSC

13、SI 适配器结合了NIC和HBA的功能。这种适配器以块方式取得数据，利用 TCP/IP处理引擎在适配卡上完成数据分化和处理，然后通过IP网络送出IP数据包。这些功能的完成使用户可以在不降低服务器性能的基础上创建一个基于IP的SAN。 iSCSI协议位于TCP/IP协议和SCSI协议之间，可以起到连接这两种协议网络的作用。在物理层，iSCSI实现了对千兆以太网接口的支持，这使得所有支持iSCSI接口的系统都可以方便的直接连接到千兆以太网的路由器或者交换机上。iSCSI位于物理层和数据链路层之上，直接面向操作系统的标准SCSI命令集。在iSCSI通信中，具有一个发起I/O请求的启动设备（Initi

14、ator）和响应请求并执行实际I/O操作的目标设备（Target）。在启动设备和目标设备建立连接后，目标设备在操作中作为主设备控制整个工作过程。在一般情况下将主机总线适配器（HBA）作为启动设备，磁盘/磁带作为目标设备。iSCSI使用iSCSI Name来唯一鉴别启动设备和目标设备。地址会随着启动设备和目标设备的移动而改变，但是名字始终是不变的。建立连接时，启动设备发出一个请求，目标设备接收到请求后，确认启动设备发起的请求中所携带的iSCSI Name是否与目标设备绑定的iSCSI Name一致，如果一致，便建立通信连接。每个iSCSI节点只允许有一个iSCSI Name，一个iSCSI Na

15、me可以被用来建立一个启动设备到多个目标设备的连接，多个iSCSI Name可以被用来建立一个目标设备到多个启动设备的连接。支持iSCSI的服务器一般都有一块专用的iSCSI 主机总线适配器卡。所有的SCSI命令都被封装成iSCSI协议数据单元（Protocol Data Unit，PDU），iSCSI会利用TCP/IP协议栈的传输层协议TCP来提供的可靠传输机制，再加上TCP/IP包头后，所封装的命令就会被看作是普通的IP数据包再IP网络中进行传输。iSCSI为基于IP协议的PDU提供了一个在SCSI的命令结构内映象的机制，SCSI的命令及参数被填充在一定长度的数据块内进行传输。一个iSCS

16、I翻译器取得SCSI CDB（命令描述块），并将其映射为iSCSI PDU，在TCP连接上发送到一个目标iSCSI设备。翻译器通过连接ID识别一组映象SCSI连接的TCP连接。从启动设备和目标设备的角度来看，它们就像是一个普通的SCSI通信一样。启动设备或目标设备可以是一个iSCSI设备，能够用TCP直接在IP网中通信。在iSCSI启动器上用户发起了一个SCSI请求，操作系统将请求处理为一条或多条SCSI指令，由HBA卡对指令或数据进行封装形成一个iSCSI报文，然后传送给TCP/IP层，由TCP/IP协议把iSCSI报文封装成IP包并在网络中传输。当该报文到达目的端以后TCP/IP协议将数据

17、包进行解封装，形成一个iSCSI报文，再由目的SCSI卡将iSCSI包还原为SCSI指令，交由操作系统处理。SCSI协议的会话就是在一个网络上封包和解包的过程。在网络的一端，数据包被封装成包括TCP/IP头、iSCSI识别包和SCSI数据三部分内容。在传输网络另一端时，这三部分内容分别被有序的解开。启动设备可以通过下列方法发现目标设备。在启动设备上设置目标设备的地址。在启动设备上设置默认目标设备地址，启动设备可通过“Send Targets”命令从默认目标设备上获取iSCSI名字列表。发出服务定位协议(SLP)广播请求，等待目标设备回应。查询存储设备名字服务器，获取可访问的目标设备列表。iSC

18、SI有两种会话，分别是Discovery会话和Normal会话。Discovery会话仅用于iSCSI Target discovery而建立的会话，Target只能接收带有 Send Target关键字的Text Request报文和原因是“Close the session”的Logout Request报文，除此以外的其它报文都会被拒绝接收。而Normal会话是无限制会话，iSCSI无需执行Send Target命令发现请求，iSCSI Initiator直接使用iSCSI Target的名字来建立iSCSI会话，会话建立后可执行iSCSI完整功能，具有三个阶段：登录阶段完整功能阶段登出

19、阶段在建立iSCSI会话前会先建立TCP连接，TCP连接是通过三次握手工程来建立的。而Discovery会话的建立分为三个阶段，首先是Initiator和Target之间的登录参数协商阶段， Initiator发送Login Request报文请求登录，Target在收到请求信息后返回Login Response报文给Initiator，同意Initiator登录，从而完成初步的登录协商。在登录之后，传送数据之前还需要进行一次从参数的协商，这个过程被称为完整功能态下的参数协商。最后再由Initiator发送Sent Target命令请求报文Text Request，Target端收到请求报文以

20、后，查询到网络中存在的iSCSI信息后发送Text Response报文给Initiator，并返回一系列和它相连的iSCSI Target的信息，最终建立会话。iSCSI会话的各个阶段如下。 登录阶段：初始化登录阶段、安全认证阶段和操作协商 完整功能阶段 登出阶段iSCSI的登录阶段等同于FC端口登录过程。该过程用来在两个网络实体调节中调整各个参数并确认登录器的访问权限。如果iSCSI登录阶段成功完成，目标设备将确认启动设备的登录，否则登录将不确认，同时TCP连接中断。登录一旦确认，iSCSI会话将进入完整功能阶段。如果建立了多个TCP连接，iSCSI将要求每个命令/响应对应一个TCP连接。

21、但是，不同的数据传输可以在一个会话中通过不同的TCP连接。在数据传送端，启动器发送/接收最新的数据，而目标器在完成数据传输后发送确认响应。iSCSI注销命令用来完成一个会话，在出现连接错误的时候也会发送它，以实现连接中断处理。iSCSI登录是用来在启动设备和目标设备之间建立TCP连接的机制。登录的作用包括鉴别通信双方，协商会话参数，打开相关安全协议并且给属于该会话的连接作标志。登录过程完成后，iSCSI会话进入全功能态（Full Feature Phase），这时启动设备就能通过iSCSI协议访问目标设备里的各逻辑单元了。iSCSI会话拆除时，Initiator首先向Target发送Logou

22、t Request请求报文，Target接受到请求报文后返回相应的Logout Response报文，至此，iSCSI会话可以拆除。在拆除iSCSI会话后还需要拆除TCP连接，TCP连接的拆除是通过四次握手来完成的。iSCSI协议与FC及其他协议相比具有一定的优势，也正因为如此，得到用户广泛的认可。与光纤通道相比，在连接距离上比FC-SAN强，它可突破FC-SAN目前10公里的极限，扩展到整个WAN上。 另外，iSCSI更加经济，其成本的节约又体现在以下几个方面：因为使用的是传统的IP，用户又良好的使用基础，所以在培训方面的费用可大大降低，而且也不必设立单独的岗位。iSCSI可利用现有的、容易

23、理解的TCP/IP基础设施来构建SAN，网络部署成本也将大大降低。随着千兆以太网的应用，用户将可得到传输速率为1Gbps的存储网络，而不需改变现有的基础设施，在维护和管理方面同样可降低成本。相对其他协议来说，iSCSI技术具有如下优势。带宽高：随着技术的进步，IP网络的带宽的发展相当迅速，1Gbps的以太网早已大量占据市场，10Gbps以太网的应用也已开始启动。而且，该协议得到IBM、Cisco、Intel、Brocade和Adaptec等业界厂商的支持，发展前景良好。可用性强：在技术实施方面，iSCSI以稳健、有效的IP及以太网架构为骨干，使网络的可用性大大增强。功能强：完全解决了数据远程复

24、制(Data Replication)及灾难恢复(Disaster Recovery)的难题。安全性高：以往的FC-SAN及DAS大都是在管制的环境内，安全要求相对较低。iSCSI却将这种概念颠倒过来，让存储的数据在互联网内流通，令用户感到需要提升安全要求。而iSCSI已内建了支持IP Sec的机制，并且在芯片层面执行有关指令，确保了安全性。当然iSCSI也不是完美的，作为一种比较新的技术，它还是有很多地方有待改进。与FC-SAN的融合性问题：iSCSI封装的是SCSI协议，与其他的存储协议如FC协议不兼容，因此与目前流行的FC-SAN的融合问题还没有解决。硬件iSCSI适配卡较贵：如果想要让

25、整体效能有好的表现，那么就必须添置较贵的iSCSI HBA卡或稍贵的TOE HBA卡（TCP Offload Engine），整体成本会因而大幅攀升。无法兼顾效能及跨平台性：就效能而言，Initiator驱动程序最差、TOE居中、iSCSI HBA卡最佳。但是iSCSI HBA只能走iSCSI协议，而无法透过NFS或CIFS等协议与应用服务器沟通。但Initiator驱动程序及TOE则同时支持iSCSI、NFS及CIFS三种协议。iSCSI的出现具有重要意义。iSCSI在连通性上给存储应用带来了极大的优势，iSCSI-FC存储路由器和iSCSI转换器的转换端口将为FC-SAN和支持FC的存储网

26、络提供必要的IP接入能力。iSCSI设备的主机接口一般默认都是IP接口，可以直接与以太网络交换机和iSCSI交换机连接，形成一个存储区域网络。根据主机端HBA卡、网络交换机的不同，iSCSI设备与主机之间有三种连接方式。 以太网卡Initiator软件方式：采用通用以太网卡实现网络连接，主机CPU通过运行软件完成iSCSI层和TCP/IP协议栈的功能。由于采用标准网卡，因此这种方式的硬件成本最低。但主机的运行开销大大增加，造成主机系统性能下降。实验证明，档通信量增大时，主机CPU的利用率可达90以上。硬件TOE网卡Initiator软件方式：采用特定的智能网卡，iSCSI层的功能由主机来完成，

27、而TCP/IP协议栈的功能由网卡来完成。与纯软件方式相比，部分降低了主机的运行开销。iSCSI HBA卡实现方式：iSCSI层和TCP/IP协议栈的功能均由主机总线适配器来完成，对主机CPU的需求最少。以太网卡+initiator软件实现方式：服务器、工作站等主机设备使用标准的以太网卡，通过以太网线直接与以太网交换机连接，iSCSI存储也通过以太网线连接到以太网交换机上，或直接连接到主机的以太网卡上。在主机上安装Initiator软件以便将以太网卡虚拟为iSCSI卡，用以接收和发送iSCSI数据报文，从而实现主机和iSCSI设备之间的iSCSI协议和TCP/IP协议传输功能。由于采用普通的标准

28、以太网卡和以太网交换机，无需额外配置适配器，因此此种方式硬件成本最低。缺点是进行ISCSI包文和TCP/IP包文转换需要占用主机端的资源，使主机的运行开销增加而导致系统性能下降。不过在对于I/O和带宽性能要求较低的应用环境中基本能够满足数据访问要求。智能iSCSI网卡+initiator软件实现方式：智能以太网卡可以将网络数据流量的处理工作全部转到网卡上的集成硬件中进行，TCP/IP协议栈功能由TOE网卡完成，而iSCSI层的功能仍旧由主机来完成，由此，采用TOE网卡可以大幅度提高数据的传输速率。与纯软件的方式相比较而言，这种方式部分降低了主机系统的运行开销而又不会使网络构建成本过多增加，是一

29、种比较折衷的配置方案。iSCSI HBA卡连接方式：在主机上安装iSCSI HBA适配卡，从而实现主机与交换机之间、主机与存储设备之间的高效数据交换。iSCSI层和TCP/IP协议栈的功能均由主机总线适配器（HBA）来完成，对主机CPU的占用最少。这种方式数据传输性能最好，但是系统构建价格也最高。iSCSI存储设备和SCSI存储和FC存储一样，通过DAS解决方案，使用连接线缆与主机上的HBA卡连接，作为主机的直接连接存储设备来使用。SCSI存储设备的卷由服务器或NAS网关来管理和使用，网络中的工作站通过服务器或是NAS网关来访问iSCSI存储设备上的数据。整个系统的构建和安装简单方便，服务器和

30、NAS网关很容易实现数据在网络中的共享访问。但服务器和NAS网关直接影响整体存储网络系统的性能，所以，配置较低的服务器和NAS网关可能会成为整个系统的性能瓶颈。 使用iSCSI构建的IP-SAN和FC-SAN一样具备良好的扩展性和灵活性，可通过网络交换设备与多台主机连接。通过网络交换设备连接时，iSCSI存储上的LUN对于主机而言相当于裸设备，因此需要注意文件系统的管理问题。iSCSI设备上创建多个LUN，不同的LUN划分给不同的主机，使得各主机可以分别管理和访问自己的LUN这就相当于将网络中多个主机的本地磁盘集中放置在一个网络化的存储设备中，主机之间实现存储硬件设备的共享。 由于FC-SAN

31、自身架构的缺陷导致SAN存储应用无法广泛普及开来，所以在FC-SAN的基础上又衍生出了许多新的存储协议和标准以扩大SAN的应用范围。在高端存储应用中，FC-SAN被部署较多，但是FC技术本身的局限性导致了企业信息存储点的分散。FCIP就是为了将这些分散的存储点连接起来产生的一种新技术。FCIP（Fiber Channel over IP，基于IP协议的光纤通道）是基于IP协议的光纤通道方案，是由Brocade、Gadzoox、Lucent、McData以及Qlogic公司共同提出的。FCIP这一技术的核心，是把光纤通道协议的数据帧封装在IP数据包里，以便在覆盖广阔的TCP/IP网络中进行传递。

32、网络中的其它设备接收后，由专门设备进行解封装还原。FCIP协议实质上就是采用隧道技术的IP-SAN方案。采用FCIP技术可以实现利用目前的IP网络来连接两个异地的FC-SAN，以解决FC-SAN之间的互联问题。这一隧道传输技术是通过使用FCIP网关来实现的，通过光纤通道交换机的扩展端口连接到每个SAN上，所有发往远程站点的存储数据均通过公用的隧道。接收端的光纤通道交换机负责引导每个帧前往适当的光纤通道端点设备。FCIP协议是一种隧道协议（tunnel），IP地址和TCP连接只用在位于IP网络重点的FCIP网关设备上。FCIP能够为两个FC-SAN之间提供IP连接，但是不能为两个独立的FC存储设备提供IP连接，即FCIP不能用于利用IP协议做FC存储设备的端到端连接。FCIP协议利用IP网络中创建的“隧道”在两个FC-SAN网络之间实现FC协议的数据传输，将真正意义上的远程数据镜像和FC-SAN的灵活性以及IP网络的低成本和易用性结合在一起，降低了远程操作的成本和操作的复杂性。FCIP提供了在TCP/IP协议中封装FC协议数据帧的方