大话存删减版笔记.docx

1、大话存删减版笔记大话存储 目录 大话存储 1第一章 存储系统的前世今生 61.1存储历史 61.2.1 信息 61.3用计算机来处理信息、保存数据 7第二章 计算机I/O 72.1 IO的通路总线 72.2 计算机内部通讯 72.2.1 IO总线可以看作网络么 82.2.2 CPU、内存和磁盘之间通过网络来通信 82.3 网中之网 9第三章 磁盘原理与技术详解 93.1磁盘结构 93.1.1 盘片上的数据组织 103.1.2 磁盘控制电路简介 103.1.3 磁盘的IO单位 113.2磁盘相关高层技术 113.3 几种可控磁头扫描方式 113.4 硬盘接口技术 113.5 SCSI硬盘接口 1

2、23.6磁盘控制器、驱动器控制电路和磁盘控制器驱动程序 133.7 内部传输速率和外部传输速率 133.8 133.9 磁盘的IOPS和传输带宽（吞吐量） 13第四章 详解七种RAID 14RAID 0：无差错控制的带区组 14RAID 1：镜象结构 14RAID2：带海明码校验 15RAID3：带奇偶校验码的并行传送 15RAID4：带奇偶校验码的独立磁盘结构 16RAID5：分布式奇偶校验的独立磁盘结构 16RAID6：带有两种分布存储的奇偶校验码的独立磁盘结构 17RAID7：优化的高速数据传送磁盘结构 17RAID10：高可靠性与高效磁盘结构 17第五章 RAID、虚拟磁盘、卷和文件系

3、统实战 18Windows Server 2003高级磁盘管理 18Linux下软RAID配置 19RAID卡 19磁盘阵列 21实现更高级的RAID 21RAID 50：被称为分布奇偶位阵列条带。 21RAID 53：称为高效数据传送磁盘结构。 21RAID 1.5 21虚拟磁盘 21同一道存在多种类型的RAID组 22操作系统如何看到逻辑磁盘 22卷管理层 22Linux下配置LVM实例 22卷管理软件的实现 22低级VM和高级VM 23文件系统中的io方式 24第六章 磁盘阵列 25外置磁盘柜 25结合RAID卡实现外置磁盘阵列 25独立的外部磁盘阵列 25双控制器的高安全性磁盘阵列 2

4、5连接多个扩展柜 26盘阵控制器的主机化 26第七章 系统与系统之间的语言 27OSI模型的七个层次 27与OSI功能相比： 27第八章Fibre Channel 协议详解 28传输层 29上三层 29小结 29FC 协议中的七种端口类型 29FC的优点 30第九章FC协议的巨大力量 31FC交换网络替代并行SCSI总线的必然性 31串行和并行 31后端升级换代为FC 31完整的盘阵解决方案 32PM8368和PM8378芯片 32SCSI Enclosure Service简介 33SBOD上的CPU 33SBOD上的RAM和ROM 33PATA、SATA和SAS磁盘怎么办 33中高端磁盘阵

5、列整体解析 33IBM DS4800 控制器简介 34EMC的CX及DMX系列盘阵介绍 35Symmetrix DMX-3 系统概述 36HDS公司USP系列盘阵介绍 36磁盘阵列配置实践 36第十章 NAS、SAN、和DAS 38NAS简介 38DAS 38第十一章 以太网和TCP/IP协议 40共享总线式以太网 40网桥式以太网 40交换式以太网 40第十二章IP SAN 44TCP/IP与FC 44ISCSI的诞生 44ISCSI的工作过程 44Iscsi磁盘阵列 44IP SAN 45增强以太网和TCP/IP的性能 46ISCSI配置实例 46第十三章 IP与FC融合的结果 47FC的

6、窘境 47协议融合的迫切性 47网络通讯的四级结构 47协议融合的三种方式 48Tunnel和map融合方式 48FC与IP协议的融合 48IFCP和FCIP的具体实现 48局部隔离/全局共享的存储网络 49多协议混杂的存储网络 49第一章 存储系统的前世今生1.1存储历史1 竹筒和纸张2 选数管3 穿孔卡4 穿孔纸袋5 磁带6 磁鼓存储器7硬盘驱动器8 软盘9光盘10 flash芯片和卡式存储11 硬盘阵列12 大型网络化硬盘阵列1.2信息、数据和数据存储1.2.1 信息1信息的本质物质和非物质都通过信息来表现，脱离信息“世界”什么都不是2 计算机如何看待自身3 什么是数据数据包含了信息，读

7、入数据，就产生可感知的具体信息。4数据存储1.3用计算机来处理信息、保存数据计算机存储领域所研究的就是怎样为计算机又快又高效地提供数据以便辅助其运行。网络存储将存储系统扩展到了网络上，使存储设备成为了网络上的一个节点，以供其他节点访问。第二章 计算机I/O2.1 IO的通路总线 IO是通过共享一条总线的方式来实现的，总线也是一条或多条物理上的导线，每个部件都接到这些导线上，导线上的电位每一时刻都相等，也就是说这条总线是共享的同一时刻只能由一个不就接收或发送。1、 PCI总线Pci总线是目前台式机与服务器所普遍使用的一种南桥与外设连接的总线技术。PCI总线的地址总线与数据总线是分时复用的。这样的

8、好处是，一方面可以节省接插件的管脚数，另一方面便于实现突发数据传输。2、 Pci总线的中断共享Pci总线可以实现中断共享，即不同的设备使用同一个中断而不发生冲突。硬件上采用电平方法软件上采用中断链路的方法2.2 计算机内部通讯网络是要通讯的所有节点连接起来，然后找到目标，发送数据。三元素：连、找、发。1、 连 网络系统首先要都连接起来，比如HUB总线，以太网交换等。2、 找 连接起来后，需要有区分机制，目前广泛使用的网络互联网协议TCP/IP中IP占主导地位。3、 发 这个层面相当于网络层实现的功能。2.2.1 IO总线可以看作网络么IO总线和以太网区别：CPU和内存足够快，他们之间单独用一条

9、总线连接。这个总线和慢速IO总线之间通过一个桥接芯片连接，也就是主板上的北桥芯片。这个芯片连接了CPU和IO总线。Cpu和北桥连接的总线叫做前端总线和系统总线。前端总线的条数叫做总线的位数。Cpu位数指寄存器的运算单元之间总线的条数。内存与北桥连接的总线叫做内存总线。由于北桥速度太快，而IO总线速度相对北桥显得太慢，所以北桥和IO总线之间往往加一个网桥，叫做南桥，南桥上集成了众多的外设控制器，比如磁盘控制器，USB控制器。IO总线分成数据总线、地址总线、和控制总线。寻址用地址总线，发送数据用数据总线，发送中断信号用控制总线。CPU和内存时一个冲突域，IO总线是一个冲突域，桥接芯片将这两个冲突域

10、桥接起来，就是一个网络2.2.2 CPU、内存和磁盘之间通过网络来通信所有网络都可用定义成连起来、找目标和发数据。任何网络必须具备这三个原始，连代表物理层，找就是编制比如IP等，发，指最上乘发出数据，CPU与硬盘交换的过程每个IO设备在启动时都有向内存中映射一个或多个地址，这个地址被称为IO端口。这些地址被北桥重定向到实际设备上。假如IDE磁盘控制器地址被映射到了地址0xA0,也就是十六进制A0，cpu根据程序机器代码，向这个地址发出多条指令来完成一个读操作，这就是找。接下来是发，cpu将IO地址放到系统总线上，北桥接收到之后，会等待CPU发送第一个针对这个外设的命令。然后CPU发送如下3条指

11、令。 1 指令中包含表示当前指令时读还是写的位，还包含其它，如操作完成时是否用中的来通知CPU处理，是否启用磁盘缓存。 2 指明应该读取的硬盘逻辑块号。 3 给出了读取出来的内容应该存放的内存中哪个地址中这3条指令被北桥依次发送给IO总线上的磁盘控制器来执行。控制器对磁盘发出的一系列指令时怎么定义的呢？他们形成两大体系，一个是ATA指令集，一个是SCSI指令集。2.3 网中之网计算机主板上的各个部件本身就形成了网络，而且通过网卡，还可以连接到外部网络。正所谓 CPU内存和磁盘 大家都在线上谈 待当看破三元素 网中有网天际来！第三章 磁盘原理与技术详解3.1磁盘结构磁盘大致有盘片、读写头、马达、

12、底座、电路板等几大项组合而成1盘片盘片的基板由金属或玻璃材质制成，为达到高密度高稳定性的要求，基板要求表面光滑平整不可有任何瑕疵。2磁头银盘的存储原理将数据用其控制电路通过影片读写头去改变磁盘表面上极细微的磁性例子蔟的N、S极性来存储、所以这几片磁盘相当重要。3 步进电机为了让磁头精确的定位到每个磁带，用普通马达的达不到这样的精度，必须用步进电机，利用精确的齿轮组或音圈，每次旋转可以仅仅使磁头进行微米移动。3.1.1 盘片上的数据组织 每个盘片的每个面都有一个读写磁头，磁头起初停在盘片的最内圈，即线速度最小的地方。启停区外就是数据区，在最外圈，离主轴远的地方时0磁道，磁盘数据的存放就是从最外圈

13、开始的。1、 盘面每个盘片有两个盘面，即上下盘面。2、 磁道磁盘在格式化时被划分成许多同心圆，这些同心圆轨迹叫磁道。3、 柱面所有盘面上的同一磁道，在竖直方向上构成一个圆柱，通常称为柱面4、 扇区1） 扇区头标将每个环形磁道等距离切割，形成等长度的圆弧，每个圆弧就是一个扇区。一个扇区有两个主要部分：存储数据地点的标识符合存储数据的数据段 扇区头标包括组成扇区三级地址的三个数字. 扇区所在的柱面（磁道） 磁头编号 扇区在磁道上的位置，即扇区号柱面，磁头和扇区三者简称CHS，所以扇区地址又称CHS地址。2） 扇区编号和交叉因子扇区号、扇区交叉因子、和磁头扭斜信息存在扇区头标中。3.1.2 磁盘控制

14、电路简介磁盘电路由14个部分组成Buffer memory 缓冲区存储器Interface controller 接口控制器Micro controller 微控制器PRML PARTIAL-Respons maxinmum likelibood read channel Timming ASIGServo demodulator伺服解调器Digital signal processor数字信号处理器Preamp预放大器Positioning driver定位驱动器VCM音圈电动机Magnetic media disk磁介质盘片Spindlemotor 主轴电机Spindle driver主轴

15、驱动器Read/write head读/写磁头3.1.3 磁盘的IO单位磁盘读写时都是以扇区为最小寻址单位的，也就是说不可能往某扇区的前半部分写入某某数据。对于磁盘来说，一次磁头的连续读或写叫做一次IOIO这个概念充分理解就是输入输出。3.2磁盘相关高层技术磁盘中的队列技术如果机械手臂按照顺序操作，中间会有很多无谓的操作，及其浪费，无序传输技术控制器发送一个指令要求读取某个扇区中内容，磁盘可以不从数据所在的初始扇区开始读，而是采取就近原则。3.3 几种可控磁头扫描方式1 FCFS 先后顺序执行寻道操作，在随机IO环境中严重影响IO效率2 SSTF 优先让磁头跳到离当前位置最近的一个IO磁道去读

16、写。3 SCAN回旋扫描模式，从一端到另一端，循环4 C-SCAN单向扫描模式，从内向外扫描，达到外圈后迅速返回内圈。5 LOOK和C-LOOK磁头不必到达终点后才打折返，只有完成最两端的IO即可折返。关于磁盘缓存磁盘缓存用来接收数据指令，可被用来预读。SCSI指令中有两个参数可以控制对磁盘缓存的使用DPO 作用禁止缓存中的数据页被换出FUA 这个参数强制盘片访问。影响磁盘性能的因素 转速，读数据时磁头不会动，全靠盘片的转动来对扇区中的数据感应给磁头，所有盘片越快，数据传输时间就越短。 寻道速度：随机IO时磁头需要频繁更换磁带，用于数据传输时间相对换道消耗时间来说是很少的 单碟容量，单碟容量越

17、高，证明相同空间内数据量越大。 接口速度，目前接口速度理论上已经满足了磁盘所能达到的最高外部传输速度。3.4 硬盘接口技术IDE硬盘接口IDE即电子集成驱动器，把控制电路和盘片、磁头等放在一个容器中的硬盘驱动器。IDE接口也称为PATA借口，即并行传输ATA1、7中ATA物理接口规范ATA-1 传输速率3.3MB 支持PIO模式和4中DMA摸索ATA-2 传输速率16MB 引进来LBA地址转换方式ATA-3 引入高速传输模式，速度仍未16MB 引荐了S.M.R.T自检测分析报告技术ATA-4 正式支持ULTral DMA数据传输模式传输速度达33.3MBATA- 5 也叫ATA66速率达到66

18、.6MB/sATA- 6 速度达到100MB/s提高了硬盘数据的完整性与数据传输速率ATA- 7 最高版本，也叫ATA133由于并行传输随着电路频率的提升，传输线路信号干扰越来越难解决，已达到技术极限。IDE数据传输模式PIO模式：通过cpu执行IO端口指令来进行数据读写的数据交换模式DMA模式：之间内存访问，不经过CPU就直接从内存取数据的数据交换模式。Ultra DMA模式：高级之间内存访问。DMA增强版本Sata硬盘接口SATA即串行传输ATA。相对于PATA模式的IDE即可来说SATA用串行线路传输数据，指令集不变1、SATA是2003年发布的1.0传输速度达到150MB/s数据可靠性

19、大幅提高。缺点是缺乏对于服务器和网络存储应用所需的一些先进特性的支持。2 SATA2 规范中添加了一些新特征 3Gb/s的传输速率 支持NCQ技术NCQ包含如下两部分内容一方面，硬盘本身必须有能力针对实体数据的扇区分布对命令缓冲区中的读写命令进行排序。另一方面，通信协议的支持也相当重要。端口选择器、端口复用器、服务器特性、接口和连接线的强化。3.5 SCSI硬盘接口SCSI和ATA事目前现行的两大主机与外设通信的协议规范，而且他们各自都有自己的物理接口定义。SCSI全称为small computer system interface，小型计算机接口，是一种较为特殊的接口总线。SCSI协议中的O

20、SI模型 SCSI协议的链路层OSI模型中链路层的功能就是用来将数据帧成功地传送到这条线路的对端。 SCSI协议的网络层1） SCSI总线编址机制2） SCSI寻址机制和几个阶段空闲阶段仲裁阶段选择阶段 SCSI协议的传输层OSI模型中的传输层的功能就是保障此端的数据成功地传送到彼端。与链路层不同的是，链路层只是保障线路两端数据的传送，出现错误，链路层不程序本身不会重新传送这个帧。 SCSI协议的会话层、表示层和应用层会话层、表示层和应用层是OSI模型中最上面的三层，是与底层网络通讯语言无关的，底层语言没有必要了解上层语言的含义。3.6磁盘控制器、驱动器控制电路和磁盘控制器驱动程序磁盘控制器磁

21、盘控制器的借口包括了物理接口，也就是硬盘接入到磁盘控制器上需要用的接口，除了物理接口规范外，还定义了一套指令系统，叫做逻辑接口。驱动器控制电路位于磁盘驱动器上，它专门负责直接驱动磁头臂运动来读写数据磁盘驱动程序Cpu必须执行磁盘控制器驱动程序才能产生将要发送给磁盘驱动器控制电路的指令，才能读写数据。3.7 内部传输速率和外部传输速率内部传输速率磁盘的内部传输速率指的是磁头读写磁盘时的最高速率。这个速率不包括寻道以及等待扇区旋转到磁头下所耗费时间的影响。磁头必须被打断去进行还道操作，整体传输速率会大大降低。外部传输速率磁头从盘片上将数据读出，然后存放到硬盘驱动器电路板上的缓存芯片内，再将数据从缓

22、存内取出，通过外部接口传送给主板上的硬盘控制器。3.8并行传输并行传输要求通信双方之间距离足够短。串行传输并行传输频率不可太过，由于电路震荡时，数据线之间产生很大干扰，造成数据出错，必须增加屏蔽线。并行传输效率高但是速度慢，串行传输正好相反。3.9 磁盘的IOPS和传输带宽（吞吐量）IOPS磁盘的IOPS，也就是每秒能进行多少次IO，每次IO根据写入数据的大小，这个值也不是固定的。同一块磁盘在读小块数据的时候是比较高的，而读写大块数据的时候是比较低的，因为读写花费时间变长了。传输带宽传输带宽是指硬盘或设备在传输数据的时候数据流的速度。具有高带宽规格的硬盘在传输大块连续数据时具有优势，具有高IO

23、PS的硬盘在传输小块不连续的数据时具有优势。第四章 详解七种RAIDRAID 0：无差错控制的带区组要实现RAID0必须要有两个以上硬盘驱动器，RAID0实现了带区组，数据并不是保存在一个硬盘上，而是分成数据块保存在不同驱动器上。因为将数据分布在不同驱动器上，所以数据吞吐率大大提高，驱动器的负载也比较平衡。如果刚好所需要的数据在不同的驱动器上效率最好。它不需要计算校验码，实现容易。它的缺点是它没有数据差错控制，如果一个驱动器中的数据发生错误，即使其它盘上的数据正确也无济于事了。不应该将它用于对数据稳定性要求高的场合。如果用户进行图象（包括动画）编辑和其它要求传输比较大的场合使用RAID0比较合

24、适。同时，RAID可以提高数据传输速率，比如所需读取的文件分布在两个硬盘上，这两个硬盘可以同时读取。那么原来读取同样文件的时间被缩短为1/2。在所有的级别中，RAID 0的速度是最快的。但是RAID 0没有冗余功能的，如果一个磁盘（物理）损坏，则所有的数据都无法使用。RAID 1：镜象结构 对于使用这种RAID1结构的设备来说，RAID控制器必须能够同时对两个盘进行读操作和对两个镜象盘进行写操作。通过下面的结构图您也可以看到必须有两个驱动器。因为是镜象结构在一组盘出现问题时，可以使用镜象，提高系统的容错能力。它比较容易设计和实现。每读一次盘只能读出一块数据，也就是说数据块传送速率与单独的盘的读

25、取速率相同。因为RAID1的校验十分完备，因此对系统的处理能力有很大的影响，通常的RAID功能由软件实现，而这样的实现方法在服务器负载比较重的时候会大大影响服务器效率。当您的系统需要极高的可靠性时，如进行数据统计，那么使用RAID1比较合适。而且RAID1技术支持“热替换”，即不断电的情况下对故障磁盘进行更换，更换完毕只要从镜像盘上恢复数据即可。当主硬盘损坏时，镜像硬盘就可以代替主硬盘工作。镜像硬盘相当于一个备份盘，可想而知，这种硬盘模式的安全性是非常高的，RAID 1的数据安全性在所有的RAID级别上来说是最好的。但是其磁盘的利用率却只有50%，是所有RAID级别中最低的。 RAID2：带海

26、明码校验从概念上讲，RAID 2 同RAID 3类似， 两者都是将数据条块化分布于不同的硬盘上， 条块单位为位或字节。然而RAID 2 使用一定的编码技术来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息，使得RAID 2技术实施更复杂。因此，在商业环境中很少使用。下图左边的各个磁盘上是数据的各个位，由一个数据不同的位运算得到的海明校验码可以保存另一组磁盘上，具体情况请见下图。由于海明码的特点，它可以在数据发生错误的情况下将错误校正，以保证输出的正确。它的数据传送速率相当高，如果希望达到比较理想的速度，那最好提高保存校验码ECC码的硬盘，对于控制器的设计来说，它又比RAID3，4

27、或5要简单。没有免费的午餐，这里也一样，要利用海明码，必须要付出数据冗余的代价。输出数据的速率与驱动器组中速度最慢的相等。 RAID3：带奇偶校验码的并行传送 这种校验码与RAID2不同，只能查错不能纠错。它访问数据时一次处理一个带区，这样可以提高读取和写入速度,它像RAID 0一样以并行的方式来存放数据，但速度没有RAID 0快。校验码在写入数据时产生并保存在另一个磁盘上。需要实现时用户必须要有三个以上的驱动器，写入速率与读出速率都很高，因为校验位比较少，因此计算时间相对而言比较少。用软件实现RAID控制将是十分困难的，控制器的实现也不是很容易。它主要用于图形（包括动画）等要求吞吐率比较高的

28、场合。不同于RAID 2，RAID 3使用单块磁盘存放奇偶校验信息。如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据。 如果奇偶盘失效，则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率，但对于随机数据，奇偶盘会成为写操作的瓶颈。 利用单独的校验盘来保护数据虽然没有镜像的安全性高，但是硬盘利用率得到了很大的提高，为n-1。RAID4：带奇偶校验码的独立磁盘结构 RAID4和RAID3很象，不同的是，它对数据的访问是按数据块进行的，也就是按磁盘进行的，每次是一个盘。在图上可以这么看，RAID3是一次一横条，而RAID4一次一竖条。它的特点的RAID3也挺象，不过在失败恢复时，

29、它的难度可要比RAID3大得多了，控制器的设计难度也要大许多，而且访问数据的效率不怎么好。RAID5：分布式奇偶校验的独立磁盘结构从它的示意图上可以看到，它的奇偶校验码存在于所有磁盘上，其中的p0代表第0带区的奇偶校验值，其它的意思也相同。RAID5的读出效率很高，写入效率一般，块式的集体访问效率不错。因为奇偶校验码在不同的磁盘上，所以提高了可靠性，允许单个磁盘出错。RAID 5也是以数据的校验位来保证数据的安全，但它不是以单独硬盘来存放数据的校验位，而是将数据段的校验位交互存放于各个硬盘上。这样，任何一个硬盘损坏，都可以根据其它硬盘上的校验位来重建损坏的数据。硬盘的利用率为n-1。 但是它对

30、数据传输的并行性解决不好，而且控制器的设计也相当困难。RAID 3 与RAID 5相比，重要的区别在于RAID 3每进行一次数据传输，需涉及到所有的阵列盘。而对于RAID 5来说，大部分数据传输只对一块磁盘操作，可进行并行操作。在RAID 5中有“写损失”，即每一次写操作，将产生四个实际的读/写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息。 RAID-5的话，优点是提供了冗余性（支持一块盘掉线后仍然正常运行），磁盘空间利用率较高（N-1/N），读写速度较快（N-1倍）。但当掉盘之后，运行效率大幅下降。 RAID6：带有两种分布存储的奇偶校验码的独立磁盘结构名字很长，但是如果看到图，大家立刻会明白是为什么，请注意p0代表第0带区的奇偶校验值，而pA代表数据块A的奇偶校验值。它是对RAID5的扩展，主要是用于要求数据绝对不能出错的场合。当然了，由于引入了第二种奇偶校验值，所以需要N+2个磁盘，同时对控制器的设计变得十分复杂，写入速度也不好，用于计算奇偶校验值和验证数据正确性所花费的时间比较多，造成了不必须的负载。我想除了军队没有人用得起这种东西。 RAID7：优化的高速数据传送磁盘结构RAID7所有的I/O传送均是同步进行的，可以分别控制，这样提高了系统的并行性，提高系统访问数据的速度；每个磁盘都带有高速缓冲存储器，实时