EMC存储基础知识白皮书精编版Word格式文档下载.docx
《EMC存储基础知识白皮书精编版Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《EMC存储基础知识白皮书精编版Word格式文档下载.docx（23页珍藏版）》请在冰豆网上搜索。
存储区域网络
1.3.1什么是SAN？
SAN（StorageAeraNetwork）存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。
当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。
1.3.2SAN的误区
SAN的发展历程较短，从90年代后期兴起，由于当时以太网的带宽有限，而FC协议在当时就可以支持1Gb的带宽，因此早期的SAN存储系统多数由FC存储设备构成，导致很多用户误以为SAN就是光纤通道设备，其实SAN代表的是一种专用于存储的网络架构，与协议和设备类型无关，随着千兆以太网的普及和万兆以太网的实现，人们对于SAN的理解将更为全面。
1.3.3SAN的组成
SAN由服务器，后端存储系统，SAN连接设备组成；
后端存储系统由SAN控制器和磁盘系统构成，控制器是后端存储系统的关键，它提供存储接入，数据操作及备份，数据共享、数据快照等数据安全管理，及系统管理等一系列功能。
后端存储系统为SAN解决方案提供了存储空间。
使用磁盘阵列和RAID策略为数据提供存储空间和安全保护措施。
连接设备包括交换机，HBA卡和各种介质的连接线。
SAN的优点：
◆设备整合，多台服务器可以通过存储网络同时访问后端存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用；
◆数据集中，不同应用和服务器的数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资源利用率；
◆高扩展性，存储网络架构使得服务器可以方便的接入现有SAN环境，较好的适应应用变化的需求；
总体拥有成本低，存储设备的整合和数据集中管理，大大降低了重复投资率和长期管理维护成本；
1.3.4FCSAN的问题
◆兼容性差，FC协议发展时间短，开发和产品化的大厂商较少，而且厂商之间各自遵循内部标准，导致不同厂商的FC产品之间兼容性和互操作差，即使同一厂商的不同版本不同型号的FC产品也存在类似的问题；
◆成本高昂，FCSAN的成本包括先期设备成本和长期维护成本，由于FC协议在成熟度和互联性上无法与以太网相比，导致FC协议只能局限于存储系统应用，无法实现大规模推广，这直接导致了FC产品价格的昂贵；
同样与FC-SAN相关的所有产品都身价高昂，无论是备份软件的FC-SAN模块，甚至SCSI硬盘简单更换连接口成为FC硬盘，都要翻上几倍的价钱；
另外兼容性差也导致了用户无法自己维护FC设备，必须购买昂贵的厂商服务，如果用户的环境中包括多种FC存储设备，用户每年花在FC-SAN的系统保修服务的费用占当年采购成本的15%左右。
如果再算上系统安装部署阶段的专业服务费用支出，以5年计算，整个服务费用支出与系统采购达到1:
1！
◆扩展能力差，FC-SAN高昂的成本和协议封闭，使得产品的开发、升级、扩容代价高昂。
从2000年以来，存储市场中最大的中端部分就一直5年不变地维持着前端两个存储控制器，后端两个（最多四个）光纤环路的结构。
不仅产品本身无法进行性能和处理能力扩展，产品型号向上的升级付出的代价几乎相当于购买一套新的设备；
◆异构化严重，各厂商按照自有标准开发各种功能，如快照、复制、镜像等，导致不同厂商存储设备之间功能无法互通，结果又出现的DAS方式的各种问题，重复投资、难以管理的局面
SAN的出现，从根本上是要建立一个开放、高性能、高可靠、高可扩展性的存储资源平台，从而能够应对快速的业务变化和数据增长，然而以上问题使得用户使用网络存储的目标产生了严重的偏离，很多用户甚至开始质疑为什么要放弃DAS而使用昂贵复杂的FC-SAN。
1.3.5IPSAN
IP网络是一个开放，高性能，高可扩展，可靠性高的网络平台。
◆IP网是国际互连网，企业内部网络的主要形式。
经过多年发展，IP网络实现了最高的可管理性和互操作性。
◆TCP/IP协议弹性强，适应网络的各种变化，无需停止服务即可实网络变更。
◆1G的以太网已经普及，2006年会扩展到10G。
FC在2008年才能到4G。
◆不同厂家的IP网设备兼容性好。
网络设备采购成本低廉。
◆以太网知识普及，以太网多年的发展培养了无数的网络管理人员。
IPSAN的基本想法是通过高速以太网络连接服务器和后端存储系统。
将SCSI指令和数据块经过高速以太网传输，继承以太网的优点，实现建立一个开放、高性能、高可靠性，高可扩展的存储资源平台。
IPSAN
将数据块和SCSI指令通过TCP/IP协议承载，通过千兆/万兆专用的以太网络连接应用服务器和存储设备，这样的解决方案称为IPSAN。
IPSAN遵循IETF的iSCSI标准，通过以太网实现对存储空间的块级访问，由于早先以太网速度，数据安全性以及系统级高容错要求等问题，这一标准经历了三年的认证过程，在包括IBM、HP、SUN、COMPAQ、DELL、Intel、Microsoft、EMC、HDS、Brocade等众多家厂商的努力，和万兆/千兆以太网10GBitEthernet支撑下，IPSAN/iSCSI已解决了网络瓶颈，数据安全和容错等问题，进入了实用阶段。
IPSAN继承了IP网络的优点：
◆实现弹性扩展的存储网络，能自适应应用的改变。
◆已经验证的传输设备保证运行的可靠性
◆以太网从1G向10G及更高速过渡，只需通过简单的升级便可得到极大的性能提升，并保护投资
◆IP跨长距离扩展能力，轻松实现远程数据复制和灾难恢复
◆大量熟悉的网络技术和管理的人才减少培训和人力成本
将以太网的经济性引入存储降低用户总体拥有成本。
1.4NAS：
网络附加存储
NAS（NetworkAttachedStorage—网络附加存储），是一种文件共享服务。
拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。
NAS包括存储器件（例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质）和专用服务器。
专用服务器上装有专门的操作系统，通常是简化的unix/linux操作系统，或者是一个特殊的win2000内核。
它为文件系统管理和访问做了专门的优化。
专用服务器利用NFS或CIFS，充当远程文件服务器，对外提供文件级的访问。
NAS的优点：
◆NAS可以即插即用。
◆NAS通过TCP/IP网络连接到应用服务器，因此可以基于已有的企业网络方便连接。
◆专用的操作系统支持不同的文件系统，提供不同操作系统的文件共享。
◆经过优化的文件系统提高了文件的访问效率，也支持相应的网络协议。
即使应用服务器不再工作了，仍然可以读出数据。
NAS的缺点：
1、NAS设备与客户机通过企业网进行连接，因此数据备份或存储过程中会占用网络的带宽。
这必然会影响企业内部网络上的其他网络应用。
共用网络带宽成为限制NAS性能的主要问题。
2、NAS的可扩展性受到设备大小的限制。
增加另一台NAS设备非常容易，但是要想将两个NAS设备的存储空间无缝合并并不容易，因为NAS设备通常具有独特的网络标识符，存储空间的扩大上有限。
3、NAS访问需要经过文件系统格式转换，所以是以文件一级来访问。
不适和Block级的应用，尤其是要求使用裸设备的数据库系统。
1.5SAN和NAS
SAN和NAS经常被视为两种竞争技术，实际上，二者能够很好地相互补充，以提供对不同类型数据的访问。
SAN针对海量、面向数据块的数据传输，而NAS则提供文件级的数据访问和共享服务。
尽管这两种技术类似，但严格意义上讲NAS其实只是一种文件服务。
NAS和SAN不仅各有应用场合，也相互结合，许多SAN部署于NAS后台，为NAS设备提供高性能海量存储空间。
NAS和SAN结合中出现了NAS网关这个部件。
NAS网关主要由专为提供文件服务而优化的操作系统和相关硬件组成，可以看作是一个专门的文件管理器。
NAS网关连接到后端上的SAN上，使的SAN的大容量存储空间可以为NAS所用。
因此，NAS网关后面的存储空间可以根据环境的需求扩展到非常大的容量。
“NAS网关”方案主要是在NAS一端增加了可与SAN相连的“接口”，系统对外只有一个用户接口。
NAS网关系统虽然在一定程度上解决了NAS与SAN系统的存储设备级的共享问题，但在文件级的共享问题上却与传统的NAS系统遇到了同样的可扩展性问题。
当一个文件系统负载很大时，NAS网关很可能成为系统的瓶颈。
第2章主要协议和相关技术
关键字：
SCSIFCiSCSI
2.1SCSI
SCSI是小型计算机系统接口（SmallComputerSystemInterface）的简称，于1979首次提出，是为小型机研制的一种接口技术，现在已完全普及到了小型机，高低端服务器以及普通PC上。
SCSI可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。
1、SCSI-1：
1979年提出，支持同步和异步SCSI外围设备；
支持7台8位的外围设备，最大数据传输速度为5MB/s。
2、SCSI-2：
1992年提出，也称为FastSCSI，数据传输率提高到20MB/s。
3、SCSI-3：
1995年提出，UltraSCSI（Fast-20）。
Ultra2SCSI（Fast-40）出现于1997年，最高传输速率可达80MB/s。
1998年9月，Ultra3SCSI（Utra160SCSI）正式发布，最高数据传输率为160MB/s。
Ultra320SCSI的最高数据传输率已经达到了320MB/s。
2.2FC（光纤通道）
FC光纤通道：
用于计算机设备之间数据传输，传输率达到2G（将来会达到4G）。
光纤通道用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。
协议基本架构：
FC-4
Upper
Layer
Protocol:
SCSI,HIPPI,SBCCS,802.2,ATM,VI,IP
FC-3
common
service
FC-2
Framing
Protocol
/Flow
Control
FC-1
Encode/Decode
FC-0
Media:
Optical
or
copper,100MB/sec
to
1.062GB/sec
协议层说明：
FC-0：
物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口
以及电缆指标
FC-1：
定义编码和解码的标准
FC-2：
定义了帧、流控制、和服务质量等
FC-3：
定义了常用服务，如数据加密和压缩
FC-4：
协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：
串行SCSI
协议，HBA
的驱动提供了FC-4
的接口函数，FC-4
支持多协议，如：
FCP-SCSI,FC-IP,FC-VI
协议简介：
FCP-SCSI：
FCP-SCSI:
是将SCSI并行接口转化为串行接口方式的协议，应用于存储系统和服务器之间的数据传输。
新的ANSI
T10
标准，支持SAN
上存储系统之间通过数据迁移应用来直接移动数据。
FCP-SCSI
提供200MB/s（全双工独占带宽）的传输速率，每连接最远达10
公里，最大16000000
个节点。
FCP-SCSI
使用帧传输取代块传输。
帧传输以大数据流传输方式传输短的小的事务数据。
2.3iSCSI
iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。
它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。
iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。
iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过。
iSCSI继承了两大最传统技术：
SCSI和TCP/IP协议。
这为iSCSI的发展奠定了坚实的基础。
基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。
相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。
iSCSI的数据包结构：
工作流程：
iSCSI系统由SCSI适配器发送一个SCSI命令。
命令封装到TCP/IP包中并送入到以太网络。
接收方从TCP/IP包中抽取SCSI命令并执行相关操作。
把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。
系统提取出数据或命令，并把它们传回SCSI子系统。
安全性描述：
iSCSI协议本身提供了QoS及安全特性。
可以限制initiator仅向target列表中的目标发登录请求，再由target确认并返回响应，之后
才允许通信；
通过IPSec将数据包加密之后传输，包括数据完整性、确定性及机密性检测等；
iSCSI的优势
（1）广泛分布的以太网为iSCSI的部署提供了基础。
（2）千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。
（3）以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。
（4）由于基于TCP/IP网络，完全解决数据远程复制（DataReplication）及灾难恢复（DisasterRecover）等传输距离上的难题。
（5）得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。
2.4iSCSI与光纤通道的比较
从传输层看，光纤通道的传输采用其FC协议，iSCSI采用TCP/IP协议。
FC协议与现有的以太网是完全异构的，两者不能相互接驳。
因此光纤通道是具有封闭性的，而且不仅与现有的企业内部网络（以太网）接入，也与其他不同厂商的光纤通道网络接入（由于厂家对FC标准的理解的异样，FC设备的兼容性是一个巨大的难题）。
因此，对于以后存储网络的扩展由于兼容性的问题而成为了难题。
而且，FC协议由于其协议特性，网络建完后，加入新的存储子网时，必须要重新配置整个网络，这也是FC网络扩展的障碍。
iSCSI基于的TCP/IP协议，它本身就运行于以太网之上，因此可以和现有的企业内部以太网无缝结合。
TCP/IP网络设备之间的兼容性已经无需讨论，迅猛发展的internent网上运行着全球无数家网络设备厂商提供的网络设备，这是一个最好的佐证。
从网络管理的角度看，运行FC协议的光网络，其技术难度相当之大。
其管理采用了专有的软件，因此需要专门的管理人员，且其培训费用高昂。
TCP/IP网络的知识通过这些年的普及，已有大量的网络管理人才，并且，由于支持TCP/IP的设备对协议的支持一致性好，即使是不同厂家的设备，其网络管理方法也是基本一致的。
FC运行于光网络之上，其速度是非常快的，现在已经达到了2G的带宽，这也是它的主要优势所在。
下一代的FC标准正在制定当中，其速度可以达到4G，
今天的千兆以太网已经在普及当中，这也是基于TCP/IP的iSCSI协议进入实用的保证。
得益于优秀的设计，以太网从诞生到现在，遍及了所有有网络的地方，到现在依然表现出非凡的生命力，在全球无数网络厂商的共同努力下，以太网的速度稳步提升，千兆网络已经实际应用，万兆网络呼之欲出，以太网的主要部件交换机路由器均已有万兆级别的产品。
随着产品的不断丰富，以及设备厂商间的剧烈竞争，其建设成本在不断下降，万兆网络的普及已日益临近。
当iSCSI以10Gb的高速传输数据时，基于iSCSI协议的存储技术将无可争议的成为网络存储的王者。
第3章文件系统相关知识
3.1什么是文件系统
文件系统定义了把文件存储于磁盘时所必须的数据结构及磁盘数据的管理方式。
我们知道，磁盘是由很多个扇区（Sector）组成的，如果扇区之间不建立任何的关系，写入其中的文件就无法访问，因为无法知道文件从哪个扇区开始，文件占多少个扇区，文件有什么属性。
为了访问磁盘中的数据，就必需在扇区之间建立联系，也就是需要一种逻辑上的数据存储结构。
建立这种逻辑结构就是文件系统要做的事情，在磁盘上建立文件系统的过程通常称为“格式化”。
以Windows平台下最常见的FAT文件系统为例。
FAT文件系统有两个重要的组成部分：
FAT表（FileAllocationTable）和数据存储区。
FAT表是FAT文件系统的名称来源，它定义了存储数据的簇（Cluster，由2的n次方个Sector组成，n值根据分区大小而定，需综合考虑数据存取效率和存储空间的利用率）之间的链接关系，这种链接关系是一个单向链表，指向0xFF表示结束。
依据一个簇编号所用bit数的不同，可分为FAT12、FAT16和FAT32文件系统。
数据区存储的数据包含文件目录项（DirectoryEntries）和文件数据。
文件目录项存储的是一个文件或目录的属性信息，包括文件名称（把目录也看成是文件）、读写属性、文件大小、创建时间、起始簇编号等，一个目录下的每个子目录和文件都对应一个表项记录。
文件目录项以固定32字节的长度存储，以树型结构管理，其中根目录的位置是确定的。
也就是说，根据分区根目录可以找到下级子目录和文件的起始簇编号，根据下级子目录又可以找到更下级目录或文件的起始簇编号。
可见，FAT表和文件目录项是为了文件的访问和管理而建立的。
应用程序要访问一个文件时，根据文件路径（逻辑分区号＋目录，如F:
\software）和文件名称（如setup.exe）可从文件目录项中获得存储文件数据的起始簇号，之后从FAT表查询这个簇号对应的链表，就可以获得该文件对应的全部簇编号。
从这些簇中读出全部数据，就得到一个完整的文件。
一般来说，文件系统是和操作系统紧密结合在一起的，不同的操作系统使用不同的文件系统，但有时为了兼容，不同操作系统也使用相同的文件系统。
3.2主流文件系统和特点
在Windows系列操作系统中，MS-DOS和Windows3.x使用FAT16文件系统，默认情况下Windows98也使用FAT16，Windows98和WindowsMe可以同时支持FAT16、FAT32两种文件系统，WindowsNT则支持FAT16、NTFS两种文件系统，Windows2000可以支持FAT16、FAT32、NTFS三种文件系统.每一种文件系统提供的功能与特点各不相同。
比如FAT32文件系统。
，采用32位的文件分配表，磁盘的管理能力大为增强。
但由于文件分配表的增大，性能相对来说有所下降。
此外，这个版本的文件系统不能向下兼容。
NTFS是随着WindowsNT操作系统而产生的，它的优点和FAT文件系统相比是有更好的安全性和稳定性，在使用中不易产生文件碎片，NTFS分区对用户权限作出了非常严格的限制，同时它还提供了容错结构日志，从而保护了系统的安全。
但NTFS分区格式的兼容性不好，Windows98/ME操作系统均不能直接访问该分区。
对于超过4GB以上的硬盘，使用NTFS分区，可以减少磁盘碎片的数量，大大提高硬盘的利用率；
NTFS可以支持的文件大小可以达到64GB，远远大于FAT32下的4GB；
支持长文件名，支持的最大分区为2TB。
在Linux系统中，每个分区都是一个文件系统，都有自己的目录层次结构。
Linux的最重要特征之一就是支持多种文件系统,并可以和许多其它种操作系统共存。
随着Linux的不断发展，它所支持的文件格式系统也在迅速扩充。
特别是Linux2.4内核正式推出后，出现了大量新的文件系统.Linux系统可以支持十多种文件系统类型包括：
JFS、ext、ext2、ext3、ISO9660、XFS、Minx、MSDOS、UMSDOS、VFAT、NTFS、HPFS、NFS、SMB、SysV、PROC等。
各主流操作系统和平台的文件系统名称和特点如下表所示
操作系统
文件系统
特点
Windows95、Windows98、OSR2、Windows98SE、WindowsMe、Windows2000和WindowsXP
Fat文件系统
FAT12/FAT16和FAT32
可以允许多种操作系统访问，如MS-DOS、Windows3.x、Windows9x、WindowsNT和OS/2等。
这一文件系统在使用时遵循8.3命名规则（即文件名最多为8个字符，扩展名为3个字符）。
最大的限制在于兼容性方面，Fat32不能保持向下兼容。
当分区小于512M时，Fat32不会发生作用。
单个文件不能大于4G。
WindowsNT/2000
NTFS文件系统
支持文件系统故障恢复，尤其是大存储媒体、长文件名。
分区大小可以达到2TB。
通过使用标准的事物处理日志和恢复技术来保证分区的一致性。
只能被WindowsNT/2000所识别，不能被FAT文件系统所存取
Windowslonghorn
Winfs
用以组织、搜索和共享多种多样的信息的存储平台。
WinFS被设计为在无结构文件和数据库数据之间建立起更好的互操作性，从而提供快捷的文件浏览和搜索功能
Linux
Ext2/ext3/XFS等文件系统
是一种日志式文件系统。
日志式文件系统的优越性在于：
由于文件系统都有快取层参与运作，如不使用时必须将文件系统卸下，以便将快取层的资料写回磁盘中。
因此每当系统要关机时，必须将其所有的文件系统全部卸下后才能进行关机
UNIX系统
NFS
网络文件系统，允许多台计算机之间共享文件系统，易于从所有这些计算机存放文件
Windows系列
CIFS
网络文件系统
升级会员 