存储基础知识.docx
《存储基础知识.docx》由会员分享，可在线阅读，更多相关《存储基础知识.docx（48页珍藏版）》请在冰豆网上搜索。
存储基础知识
存储的介质及其存储原理?
1.磁存储介质
磁存储介质主要分为磁带存储和磁盘存储。
（1）磁带存储
磁带是所有存储媒体中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。
它互换性好、易于保存，近年来由于采用了具有高纠错能力的编码技术和即写即读的通道技术，大大提高了磁带存储的可靠性和读写速度。
磁带存储器则是以磁带为存储介质，由磁带机及其控制器组成的存储设备，是计算机的一种辅助存储器。
磁带机由磁带传动机构和磁头等组成，能驱动磁带相对磁头运动，用磁头进行电磁转换，在磁带上顺序地记录或读出数据。
磁带存储器是计算机外围设备之一。
磁带存储器以顺序方式存取数据。
存储数据的磁带可脱机保存和互换读出。
磁带存储器也称为顺序存取存储器（SequentialAccessMemory，简称SAM）即磁带上的文件依次存放。
磁带存储器存储容量很大，但查找速度慢，在微型计算机上一般用做后备存储装置，以便在硬盘发生故障时，恢复系统和数据。
根据读写磁带的工作原理可分为螺旋扫描技术、线性记录（数据流）技术、DLT技术以及比较先进的LTO技术：
螺旋扫描读写技术：
以螺旋扫描方式读写磁带上数据的磁带读写技术与录像机基本相似，磁带缠绕磁鼓的大部分，并水平低速前进，而磁鼓在磁带读写过程中反向高速旋转，安装在磁鼓表面的磁头在旋转过程中完成数据的存取读写工作。
其磁头在读写过程中与磁带保持15度倾角，磁道在磁带上以75度倾角平行排列。
采用这种读写技术在同样磁带面积上可以获得更多的数据通道，充分利用了磁带的有效存储空间，因而拥有较高的数据存取密度。
线性记录读写技术：
以线性记录方式读写磁带上数据的磁带读写技术与录音机基本相同，平行于磁头的高速运动磁带掠过静止的磁头，进行数据记录或读出操作。
这种技术可使驱动系统设计简单，读写速度较低，但由于数据在磁带上的记录轨迹与磁带两边平行，数据存储利用率较低。
为了有效提高磁带的利用率和读写速度，人们研制出了多磁头平行读写方式，提高了磁带的记录密度和传输速率，但驱动器的设计变得极为复杂，成本也随之增加。
数字线性磁带技术：
DLT是一种先进的存储技术标准，包括1/2英寸磁带、线性记录方式、专利磁带导入装置和特殊磁带盒等关键技术。
利用DLT技术的磁带机，在带长为1828英尺、带宽为1/2英寸的磁带上具有128个磁道，使单磁带未压缩容量可高达20GB，压缩后容量可增加一倍。
线性开放式磁带技术：
这是由IBM、HP、Seagate三大存储设备制造公司共同支持的高新磁带处理技术，它可以极大地提高磁带备份数据量。
LTO磁带可将磁带的容量提高到100GB，如果经过压缩可达到200GB。
LTO技术不仅可以增加磁带的信道密度，还能在磁头和伺服结构方面进行全面改进，LTO技术采用了先进的磁道伺服跟踪系统来有效地监视和控制磁头的精确定位，防止相邻磁道的误写问题，达到提高磁道密度的目的。
（2）磁盘存储
磁盘分为软盘和硬盘，软盘是一个圆形而柔软的塑料薄片，它的一面或两面覆盖着铁氧化物颗粒。
这些颗粒具有磁性，软盘本身并没有读写头，需要软盘驱动器来读取数据。
可将软盘想象成硬盘中的一个盘片，用同一个软盘驱动器可以访问许多不同的软盘，用完一张，换上另一张即可。
而硬盘与硬盘驱动器是一个紧密联系的整体，不可分割。
硬盘由一个或者多个铝制或者玻璃制的碟片组成。
碟片外覆盖有铁磁性材料。
硬盘组成：
硬盘所有盘片都固定在一个旋转轴上，这个轴是盘片主轴。
硬盘所有盘片之间是绝对平行的，在每个盘片的存储面上都有一个磁头，磁头与盘片之间的距离比头发丝的直径还小。
所有的磁头连在一个磁头控制器上，由磁头控制器负责各个磁头的运动。
磁头可沿盘片的半径方向动作，而盘片以每分钟数千转到上万转的速度在高速旋转，这样磁头就能对盘片上的指定位置进行数据的读写操作。
硬盘结构：
要了解硬盘工作原理，先了解硬盘的结构：
盘面、磁道、柱面和扇区。
盘面：
硬盘的每一个盘片都有两个盘面（side），每个盘面都会利用，都可以存储数据，称为有效盘片，也有极个别硬盘盘面数为单数。
每一个这样的有效盘面都有一个盘面号，又叫磁头号，因为每一个有效盘面都有一个对应的读写磁头，盘面号按顺序从上至下从“0”开始依次编号。
磁道：
磁盘在格式化时被划分成许多同心圆，这些同心圆轨迹叫做磁道。
磁道从外向内从0开始顺序编号。
数据以脉冲串的形式记录在这些轨迹中，这些同心圆不是连续记录数据，而是被划分成一段段的圆弧，这些圆弧的角速度一样。
由于径向长度不一样。
所以线速度不一样。
同样的转速下，外圈在同样时间段里划过的圆弧长度比内圈划过的圆弧长度大。
磁道是“看”不见的，只是盘面上以特殊形式磁化了的一些磁化区，在磁盘格式化时就已规划完毕。
柱面：
所有盘面上的同一磁道构成一个圆柱，通常称作柱面，每个圆柱上的磁头由上而下从“0”开始编号。
数据的读写按柱面进行，即磁头读/写数据时首先在同一柱面内从“0”磁头开始进行操作，依次向下在同一柱面的不同盘面即磁头上进行操作，只在同一柱面所有的磁头全部读/写完毕后磁头才转移到下一柱面，因为选取磁头只需通过电子切换即可，而选取柱面则必须通过机械切换。
电子切换相当快，比在机械上磁头向邻近磁道移动快得多，所以，数据的读/写按柱面进行，而不按盘面进行。
也就是说，一个磁道写满数据后，就在同一柱面的下一个盘面来写，一个柱面写满后，才移到下一个扇区开始写数据。
读数据也按照这种方式进行，这样就提高了硬盘的读/写效率。
扇区：
磁道的一段圆弧叫做一个扇区，扇区从“1”开始编号，每个扇区中的数据作为一个单元同时读出或写入。
扇区是硬盘上存储的物理单位，每个扇区包括512个字节的数据和一些其他信息。
一个扇区有两个主要部分：
存储数据地点的标识符和存储数据的数据段。
硬盘工作原理：
磁头靠近主轴接触的表面，即线速度最小的地方，是一个特殊的区域，它不存放任何数据，称为启停区或着陆区（LandingZone），启停区外就是数据区。
在最外圈，离主轴最远的地方是“0”磁道，硬盘数据的存放就是从最外圈开始的。
那么，磁头是如何找到“0”磁道的位置的呢？
在硬盘中还有一个叫“0”磁道检测器的构件，它是用来完成硬盘的初始定位。
“0”磁道是如此的重要，以致很多硬盘仅仅因为“0”磁道损坏就报废，这是非常可惜的。
早期的硬盘在每次关机之前需要运行一个被称为Parking的程序，其作用是让磁头回到启停区。
现代硬盘在设计上已摒弃了这个虽不复杂却很让人不愉快的小缺陷。
硬盘不工作时，磁头停留在启停区，当需要从硬盘读写数据时，磁盘开始旋转。
旋转速度达到额定的高速时，磁头就会因盘片旋转产生的气流而抬起，这时磁头才向盘片存放数据的区域移动。
盘片旋转产生的气流相当强，足以使磁头托起，并与盘面保持一个微小的距离。
这个距离越小，磁头读写数据的灵敏度就越高，当然对硬盘各部件的要求也越高。
早期设计的磁盘驱动器使磁头保持在盘面上方几微米处飞行。
稍后一些设计使磁头在盘面上的飞行高度降到约0.1μm～0.5μm，现在的水平已经达到0.005μm～0.01μm，这只是人类头发直径的千分之一。
气流既能使磁头脱离开盘面，又能使它保持在离盘面足够近的地方，非常紧密地跟随着磁盘表面呈起伏运动，使磁头飞行处于严格受控状态。
磁头必须飞行在盘面上方，而不是接触盘面，这种位置可避免擦伤磁性涂层，而更重要的是不让磁性涂层损伤磁头。
但是，磁头也不能离盘面太远，否则，就不能使盘面达到足够强的磁化，难以读出盘上的磁化翻转（磁极转换形式，是磁盘上实际记录数据的方式）。
硬盘驱动器磁头的飞行悬浮高度低、速度快，一旦有小的尘埃进入硬盘密封腔内，或者一旦磁头与盘体发生碰撞，就可能造成数据丢失，形成坏块，甚至造成磁头和盘体的损坏。
所以，硬盘系统的密封一定要可靠，在非专业条件下绝对不能开启硬盘密封腔，否则，灰尘进入后会加速硬盘的损坏。
另外，硬盘驱动器磁头的寻道伺服电机多采用音圈式旋转或直线运动步进电机，在伺服跟踪的调节下精确地跟踪盘片的磁道，所以，硬盘工作时不要有冲击碰撞，搬动时要小心轻放。
硬盘读写原理：
系统将文件存储到磁盘上时，按柱面、磁头、扇区的方式进行，即最先是第1磁道的第一磁头下（也就是第1盘面的第一磁道）的所有扇区，然后，是同一柱面的下一磁头，……，一个柱面存储满后就推进到下一个柱面，直到把文件内容全部写入磁盘。
（文件的记录在同一盘组上存放时，应先集中放在一个柱面上，然后再顺序存放在相邻的柱面上，对应同一柱面，则应该按盘面的次序顺序存放。
）
（从上到下，然后从外到内，数据的读写按柱面进行，而不按盘面进行）
系统也以相同的顺序读出数据。
读出数据时通过告诉磁盘控制器要读出扇区所在的柱面号、磁头号和扇区号（物理地址的三个组成部分）进行。
磁盘控制器则直接使磁头部件步进到相应的柱面，选通相应的磁头，等待要求的扇区移动到磁头下。
当需要从磁盘读取数据时，系统会将数据逻辑地址传给磁盘，磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址，即确定要读的数据在哪个磁道，哪个扇区。
为了读取这个扇区的数据，需要将磁头放到这个扇区上方，为了实现这一点：
1）首先必须找到柱面，即磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间，
2）然后目标扇区旋转到磁头下，即磁盘旋转将目标扇区旋转到磁头下。
这个过程耗费的时间叫做旋转时间。
即一次访盘请求（读/写）完成过程由三个动作组成：
1）寻道（时间）：
磁头移动定位到指定磁道
2）旋转延迟（时间）：
等待指定扇区从磁头下旋转经过
3）数据传输（时间）：
数据在磁盘与内存之间的实际传输
扇区到来时，磁盘控制器读出每个扇区的头标，把这些头标中的地址信息与期待检出的磁头和柱面号做比较（即寻道），然后，寻找要求的扇区号。
待磁盘控制器找到该扇区头标时，根据其任务是写扇区还是读扇区，来决定是转换写电路，还是读出数据和尾部记录。
找到扇区后，磁盘控制器必须在继续寻找下一个扇区之前对该扇区的信息进行后处理。
如果是读数据，控制器计算此数据的ECC码，然后，把ECC码与已记录的ECC码相比较。
如果是写数据，控制器计算出此数据的ECC码，与数据一起存储。
在控制器对此扇区中的数据进行必要处理期间，磁盘继续旋转。
磁存储原理：
磁头是实现读/写的关键元件。
写入时，将脉冲代码以磁化电流形式加入磁头线圈，使记录介质产生相应的磁化状态，即电磁转换。
读出时，磁层中的磁化翻转使磁头的读出线圈产生感应信号，即磁电转换。
写入数据：
电带着数据通过电磁转换将信息存储在磁盘中
读取数据：
磁电转换将磁盘中的信息读出来
2.光存储介质
无论是CD光盘、DVD光盘等光存储介质，采用的存储方式都与软盘、硬盘相同，是以二进制数据的形式来存储信息。
而要在这些光盘上面储存数据，需要借助激光把电脑转换后的二进制数据用数据模式刻在扁平、具有反射能力的盘片上。
而为了识别数据，光盘上定义激光刻出的小坑就代表二进制的“1”，而空白处则代表二进制的“0”。
DVD盘的记录凹坑比CD-ROM更小，且螺旋储存凹坑之间的距离也更小。
DVD存放数据信息的坑点非常小，而且非常紧密，最小凹坑长度仅为0.4μm，每个坑点间的距离只是CD-ROM的50%，并且轨距只有0.74μm。
CD光驱、DVD光驱等一系列光存储设备，主要的部分就是激光发生器和光监测器。
光驱上的激光发生器实际上就是一个激光二极管，可以产生对应波长的激光光束，然后经过一系列的处理后射到光盘上，然后经由光监测器捕捉反射回来的信号从而识别实际的数据。
如果光盘不反射激光则代表那里有一个小坑，那么电脑就知道它代表一个“1”；如果激光被反射回来，电脑就知道这个点是一个“0”。
然后电脑就可以将这些二进制代码转换成为原来的程序。
当光盘在光驱中做高速转动，激光头在电机的控制下前后移动，数据就这样源源不断的读取出来了。
光存储技术具有存储密度高、存储寿命长、非接触式读写和檫出、信息的信噪比高、信息位的价格低等优点。
3.半导体
半导体存储主要分为两类：
1.RAM和ROM
2.闪存
半导体存储器是一种以半导体电路作为存储媒体的存储器，内存储器就是由称为存储器芯片的半导体集成电路组成。
RAM和ROM都属于半导体存储器。
闪存：
闪存是电子可擦除只读存储器（EEPROM）的变种，闪存与EEPROM不同的是，EEPROM能在字节水平上进行删除和重写而不是整个芯片擦写，而闪存的大部分芯片需要块擦除。
闪存是以块为单位进行数据操作，闪存的写入操作必须在空白区域进行，如果目标区域已经有数据，必须先擦除后写入。
说到闪存就必须要提固态硬盘SSD了：
SSD主要由SSD控制器，FLASH存储阵列，板上DRA,（可选），以及跟HOST接口（诸如SATA，SAS，PCIe等）组成。
SSD主控通过若干个通道（channel）并行操作多块FLASH颗粒，类似RAID0，大大提高底层的带宽。
要提高底层带宽，可以增加底层并行的颗粒数目，也可以选择速度快的FLASH颗粒。
SSD的写入特点：
SSD擦除是以block为单位，而写入是以page为单位。
SSD读写实例：
初始状态BlockX的Page0和Page1分别存有数据α和β，BlockY则是空的。
现在要写入新的数据γ，并且修改数据α为α'。
写入的过程是这样的，先向blockX中的page2写入γ，并且把α'写入page3中，然后将page0标记为废弃（灰色），如图：
然后呢，将BlockX中的page123写入BlockY中对应位置，同时擦除BlockX。
这就是SSD的写入特点：
写入以Page为单位，擦除以Block为单位。
回到之前，以8通道为例，分析HOST读写SSD的过程。
主控通过8通道连接8个FLASHDIE，每个小方块表示一个Page（假设大小为4KB）。
HOST先写入4KB数据
再写入16KB数据。
HOST继续写入，整个Block都写满。
HOST是通过LBA（LogicalBlockAddress，逻辑地址块）访问SSD的，每个LBA代表着一个Sector（一般为512B大小），操作系统一般以4K为单位访问SSD，我们把HOST访问SSD的基本单元叫用户页（HostPage）。
而在SSD内部，SSD主控与FLASH之间是FLASHPage为基本单元访问FLASH的，我们称FLASHPage为物理页（PhysicalPage）。
HOST每写入一个HostPage,SSD主控会找一个PhysicalPage把Host数据写入，SSD内部同时记录了这样一条映射（Map）。
有了这样一个映射关系后，下次HOST需要读某个HostPage时，SSD就知道从FLASH的哪个位置把数据读取上来。
SSD内部维护了一张映射表（MapTable），HOST每写入一个HostPage，就会产生一个新的映射关系，这个映射关系会加入（第一次写）或者更改（覆盖写）MapTable；当读取某个HostPage时，SSD首先查找MapTable中该HostPage对应的PhysicalPage，然后再访问Flash读取相应的Host数据。
对绝大多数SSD，我们可以看到上面都有板载DRAM，其主要作用就是用来存储这张映射表。
继续之前的SSD写操作，当整个SSD写满后，从用户角度来看，如果想写入新的数据，则必须删除一些数据，然后腾出空间再写。
用户在删除和写入数据的过程中，会导致一些Block里面的数据变得无效或者变老。
Block中的数据变老或者无效，是指没有任何映射关系指向它们，用户不会访问到这些FLASH空间，它们被新的映射关系所取代。
比如有一个HostPageA，开始它存储在FLASH空间的X,映射关系为A->X。
后来，HOST重写了该HostPage，由于FLASH不能覆盖写，SSD内部必须寻找一个没有写过的位置写入新的数据，假设为Y，这个时候新的映射关系建立：
A->Y，之前的映射关系解除，位置X上的数据变老失效，我们把这些数据叫垃圾数据。
随着HOST的持续写入，FLASH存储空间慢慢变小，直到耗尽。
如果不及时清除这些垃圾数据，HOST就无法写入。
SSD内部都有垃圾回收机制，它的基本原理是把几个Block中的有效数据（非垃圾数据，上图中的绿色小方块表示的）集中搬到一个新的Block上面去，然后再把这几个Block擦除掉，这样就产生新的可用Block了。
Block中有效数据为A，B，C，Block上有效数据为D，F，E，G，红色方块为无效数据。
垃圾回收机制就是先找一个未写过的可用Blockz，然后把Blockx和Blocky的有效数据搬移到Blockz上面去，这样Blockx和Blocky上面就没有任何有效数据，可以擦除变成两个可用的Block。
当整个SSD写满之后，如果想写入新的数据，则必须删除一些数据，然后腾出空间再写。
一块刚买的SSD，你会发现写入速度很快，那是因为一开始总能找到可用的Block来进行写入。
但是，随着你对SSD的使用，你会发现它会变慢。
原因就在于SSD写满后，当你需要写入新的数据，往往需要做上述的垃圾回收：
把若干个Block上面的有效数据搬移到某个Block，然后擦掉原先的Block，然后再把你的Host数据写入。
这比最初单纯的找个可用的Block来写耗时多了，所以速度变慢也就可以理解了。
假设HOST要写入4KB数据（H），由于当前可用Block过少，SSD开始做垃圾回收。
从上图可以看出，对Blockx来说，它需要把PageA,B,C的数据读出并写入到Blockz，然后Blockx擦除用于HOST数据写入。
从Host角度，它只写了4KB数据，但从SSD内部来说，它实际写入了4个Page（PageA,B,C写入Blockz，4KB数据H写入到Blockx）。
这就是写放大。
当要写入一个4KB的数据时，最坏的情况是一个块里已经没有干净空间了，但有无效的数据可以擦除，所以主控就把所有的数据读到缓存，擦除块，缓存里更新整个块的数据，再把新数据写回去，这个操作带来的写入放大就是:
实际写4K的数据，造成了整个块（共512KB）的写入操作，那就是放大了128倍。
同时还带来了原本只需要简单一步写入4KB的操作变成：
闪存读取（512KB）→缓存改（4KB）→闪存擦除（512KB）→闪存写入（512KB），共四步操作，造成延迟大大增加，速度变慢。
所以说WA是影响SSD随机写入性能和寿命的关键因素。
SSD内部需要预留空间，这部分空间HOST是看不到的。
这部分预留空间，不仅仅用以做垃圾回收，事实上，SSD内部的一些系统数据，也需要预留空间来存储，比如映射表、SSD固件以及其他的一些SSD系统管理数据。
一个Block上有效的数据越少（垃圾数据越多），则回收速度越快。
1GB=1，000，000，000Byte，从底层FLASH的角度，1GB=1*1024*1024*1024Byte。
256GBFLASH为256*2^30Byte而一般说的256GBSSD容量为256*10^9Byte，所以有（256*2^30-256*10^9）/（256*10^9）=7.37%的OP，如果把256GBFLASH容量的SSD配成240GBOP为14.5%，OP越大，每个BLOCK平均有效数据率越小，因此OP越大，垃圾回收越快，写放大越小。
磨损平衡（WL，WearLeveling）：
写放大越小，意味着写入同样多的HOST数据，写入到FLASH中的数据越少，也就意味着FLASH损耗越小。
FLASH都是有一定寿命的，它是用P/E数（Program/EraseCount）来衡量的。
随着用户对SSD的使用，会形成一些Block有很高的PE数，而有些Block的PE数却很低，这不是我们想看到的，会影响flash的寿命。
我们希望所有Block的PE数应该差不多，Block被均衡使用。
SSD内部的WL机制可以保证这一点。
WL：
动态WL和静态WL。
动态WL：
就是在使用Block进行擦写操作的时候，优先挑选PE数低的；
静态WL：
就是把长期没有修改的老数据（如只读文件数据）从PE数较低的Block中搬出来，然后找个PE数较高的Block进行存放，这样，之前低PE数的Block就能拿出来使用。
静态WL下的闪存耐久度最好。
关于擦写次数：
ssd存储空间完全擦写完一次算一次p/e（寿命单位）比如你ssd容量250g那么要存储读写250g的东西以后算一次p/e
固态硬盘寿命计算公式：
寿命=
实际容量=硬盘容量*使用率（一般不低于95%）
实际写入=写入文件大小*写入放大率
存储方式、存储分类、存储相关协议及技术、存储的一些基础知识？
1.什么是存储？
存储是信息数据生存的地方，是信息的载体。
在存储业内，狭义上的存储指的是根据不同的业务，采用合适、安全、有效的技术方案将信息存放在具有冗余、保护、迁移等功能的物理媒介。
磁盘阵列和相关外围连接设备是存储中最重要的组成部分。
在大型数据中心中，
计算机通常使用专用的光纤通道交换机和协议与磁盘阵列相连，来处理高负荷的企业级事务。
目前提到存储更多的是指与存储相关的整体解决方案，而不再仅限于磁盘阵列。
从广义上讲，客户希望解决的存储问题需要考虑存储物理组成、基础结构、保护方式、综合管理，并结合服务器、数据库、应用、网络架构、客户实际的业务应用和人员能力为其提供整体的存储解决方案。
广义的存储，可以理解为一组为现代企业提供信息存取、保护、优化和利用的整体解决方案，是以数据为中心的信息架构的支柱。
2.三种常见存储方式：
DAS（DirectAttachedStorage，直接外挂存储）是存储方式的一种方案。
这种存储方案的服务器结构如同PC机架构，外部数据存储设备（如磁盘阵列、光盘机、磁带机等）都直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部分，同样服务器也担负着整个网络的数据存储职责。
直接连接存储DAS（DirectAttachedStorage）是对SCSI总线的进一步发展。
它对外利用SCSI总线通道和多个主机连接，解决了SCSI卡只能连接到一个主机上的缺陷。
对内利用SCSI总线通道或FC通道、IDE接口连接多个磁盘，并实现RAID技术，形成一个磁盘阵列，从而解决了数据容错、大存储空间的问题。
DAS是以服务器为中心的存储体系结构，难以满足现代存储应用大容量、高可靠、高可用、高性能、动态可扩展、易维护和开放性等多方面的需求。
解决这一问题的关键是将访问模式从以服务器为中心转化为以数据和网络为中心，实现扩展容量、增加性能和延伸距离，尤其是实现多个主机数据的共享，这推动了存储与计算的分离，即网络存储的发展。
NAS存储也通常被称为附加存储，顾名思义，就是存储设备通过标准的网络拓扑结构（例如以太网）添加到一群计算机上。
NAS是文件级的存储方法，它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。
如今用户采用NAS较多的功能是用来文档共享、图片共享、电影共享等等，而且随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。
NAS（附网存储系统）系统是用一个装有优化的文件系统和瘦操作系统的专用数据存储服务器，提供跨平台的文件共享功能。
NAS产品与客户之间的通讯采用NFS（NetworkFileSystem）协议、CIFS（CommonInt
升级会员 