深入浅出存储性能评估方法论.docx

1、深入浅出存储性能评估方法论深入浅出存储性能评估方法论无论是系统运维人员还是解决方案技术支持人员，关注系统的性能都是最重要的工作，本系列文章搜集整理了互联网资源，试图从基本概念开始对磁盘存储相关的各种概念进行综合归纳，让大家能够对IO性能相关的基本概念，IO性能的监控和调整有个比较全面的了解。在这一部分里我们先舍弃各种结构复杂的存储系统，直接研究一个单独的磁盘的性能问题，藉此了解各个衡量IO系统系能的各个指标以及之间的关系。读写IO(Read/WriteIO)操作磁盘是用来给我们存取数据用的，因此当说到IO操作的时候，就会存在两种相对应的操作，存数据时候对应的是写IO操作，取数据的时候对应的是是

2、读IO操作。当控制磁盘的控制器接到操作系统的读IO操作指令的时候，控制器就会给磁盘发出一个读数据的指令，并同时将要读取的数据块的地址传递给磁盘，然后磁盘会将读取到的数据传给控制器，并由控制器返回给操作系统，完成一个写IO的操作;同样的，一个写IO的操作也类似，控制器接到写的IO操作的指令和要写入的数据，并将其传递给磁盘，磁盘在数据写入完成之后将操作结果传递回控制器，再由控制器返回给操作系统，完成一个写IO的操作。单个IO操作指的就是完成一个写IO或者是读IO的操作。随机(Random)访问与连续(Sequential)访问随机访问指的是本次IO所给出的扇区地址和上次IO给出扇区地址相差比较大，

3、这样的话磁头在两次IO操作之间需要作比较大的移动动作才能重新开始读/写数据。相反的，如果当次IO给出的扇区地址与上次IO结束的扇区地址一致或者是接近的话，那磁头就能很快的开始这次IO操作，这样的多个IO操作称为连续访问。因此尽管相邻的两次IO操作在同一时刻发出，但如果它们的请求的扇区地址相差很大的话也只能称为随机访问，而非连续访问。顺序IO(QueueMode)/并发IO(BurstMode)磁盘控制器可能会一次对磁盘组发出一连串的IO命令，如果磁盘组一次只能执行一个IO命令时称为顺序IO;当磁盘组能同时执行多个IO命令时，称为并发IO。并发IO只能发生在由多个磁盘组成的磁盘组上，单块磁盘只能

4、一次处理一个IO命令。单个IO的大小(IOSize)熟悉数据库的人都会有这么一个概念，那就是数据库存储有个基本的块大小(BlockSize)，不管是SQLServer还是Oracle，默认的块大小都是8KB，就是数据库每次读写都是以8k为单位的。那么对于数据库应用发出的固定8k大小的单次读写到了写磁盘这个层面会是怎么样的呢，就是对于读写磁盘来说单个IO操作操作数据的大小是多少呢，是不是也是一个固定的值?答案是不确定。首先操作系统为了提高IO的性能而引入了文件系统缓存(FileSystemCache)，系统会根据请求数据的情况将多个来自IO的请求先放在缓存里面，然后再一次性的提交给磁盘，也就是说

5、对于数据库发出的多个8K数据块的读操作有可能放在一个磁盘读IO里就处理了。还有对于有些存储系统也是提供了缓存(Cache)的，接收到操作系统的IO请求之后也是会将多个操作系统的IO请求合并成一个来处理。不管是操作系统层面的缓存还是磁盘控制器层面的缓存，目的都只有一个，提高数据读写的效率。因此每次单独的IO操作大小都是不一样的，它主要取决于系统对于数据读写效率的判断。当一次IO操作大小比较小的时候我们成为小的IO操作，比如说1K，4K，8K这样的;当一次IO操作的数据量比较的的时候称为大IO操作，比如说32K，64K甚至更大。在我们说到块大小(BlockSize)的时候通常我们会接触到多个类似的

6、概念，像我们上面提到的那个在数据库里面的数据最小的管理单位，Oralce称之为块(Block)，大小一般为8K，SQLServer称之为页(Page)，一般大小也为8k。在文件系统里面我们也能碰到一个文件系统的块，在现在很多的Linux系统中都是4K(通过/usr/bin/time-v可以看到)，它的作用其实跟数据库里面的块/页是一样的，都是为了方便数据的管理。但是说到单次IO的大小，跟这些块的大小都是没有直接关系的，在英文里单次IO大小通常被称为是IOChunkSize，不会说成是IOBlockSize的。IOPS(IOperSecond)IOPS即IO系统每秒所执行IO操作的次数，是一个重

7、要的用来衡量系统IO能力的一个参数。对于单个磁盘组成的IO系统来说，计算它的IOPS不是一件很难的事情，只要我们知道了系统完成一次IO所需要的时间的话我们就能推算出系统IOPS来。现在我们就来推算一下磁盘的IOPS，假设磁盘的转速(RotationalSpeed)为15KRPM，平均寻道时间为5ms，最大传输速率为40MB/s(这里将读写速度视为一样，实际会差别比较大)。对于磁盘来说一个完整的IO操作是这样进行的：当控制器对磁盘发出一个IO操作命令的时候，磁盘的驱动臂(ActuatorArm)带读写磁头(Head)离开着陆区(LandingZone，位于内圈没有数据的区域)，移动到要操作的初始

8、数据块所在的磁道(Track)的正上方，这个过程被称为寻址(Seeking)，对应消耗的时间被称为寻址时间(SeekTime);但是找到对应磁道还不能马上读取数据，这时候磁头要等到磁盘盘片(Platter)旋转到初始数据块所在的扇区(Sector)落在读写磁头正上方的之后才能开始读取数据，在这个等待盘片旋转到可操作扇区的过程中消耗的时间称为旋转延时(RotationalDelay);接下来就随着盘片的旋转，磁头不断的读/写相应的数据块，直到完成这次IO所需要操作的全部数据，这个过程称为数据传送(DataTransfer)，对应的时间称为传送时间(TransferTime)。完成这三个步骤之后一

9、次IO操作也就完成了。在我们看硬盘厂商的宣传单的时候我们经常能看到3个参数，分别是平均寻址时间、盘片旋转速度以及最大传送速度，这三个参数就可以提供给我们计算上述三个步骤的时间。第一个寻址时间Tseek，考虑到被读写的数据可能在磁盘的任意一个磁道，既有可能在磁盘的最内圈(寻址时间最短)，也可能在磁盘的最外圈(寻址时间最长)，所以在计算中我们只考虑平均寻址时间，也就是磁盘参数中标明的那个平均寻址时间，寻道时间Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短，I/O操作越快，目前磁盘的平均寻道时间一般在315ms。第二个旋转延时，和寻址一样，当磁头定位到磁道之后有可能正好在要读写

10、扇区之上，这时候是不需要额外额延时就可以立刻读写到数据，但是最坏的情况确实要磁盘旋转整整一圈之后磁头才能读取到数据，所以这里我们也考虑的是平均旋转延时，旋转延迟取决于磁盘转速，通常使用磁盘旋转一周所需时间的1/2表示。比如，7200rpm的磁盘平均旋转延迟大约为60*1000/7200/2=4.17ms，而转速为15000rpm的磁盘其平均旋转延迟约为2ms。第三个传送时间Ttransfer，是指完成传输所请求的数据所需要的时间，它取决于数据传输率，其值等于数据大小除以数据传输率。这个时间就是IOSize/MaxTransferRate。目前IDE/ATA能达到133MB/s，SATAII可达

11、到300MB/s的接口数据传输率，数据传输时间通常远小于前两部分时间。因此理论上可以计算出磁盘的最大IOPS，即IOPS=1000ms/(Tseek+Troatation)，忽略数据传输时间。假设磁盘平均物理寻道时间为3ms,磁盘转速为7200,10K,15Krpm，则磁盘IOPS理论最大值分别为：IOPS=1000/(3+60000/7200/2)=140IOPS=1000/(3+60000/10000/2)=167IOPS=1000/(3+60000/15000/2)=200需要注意的是，上述计算中磁盘平均寻道时间的取值对计算结果的有较大的影响；同时为了提升磁盘的IO速度，所有的磁盘都会带

12、有缓存，此外，机械硬盘性能还受到IO模型、磁盘数据密度、盘片直径、数据物理分布等因素的影响。并且随着技术的发展，传统机械硬盘引入了硬盘cache、TCQ/NCQ排序等技术对读写进行加速。因此在较大压力下，机械硬盘的实际最高性能是大于理论计算值的。对于SSD盘，性能的差异主要在于存储单元架构的不同。SLC（单阶存储单元）优于MLC（多阶存储单元）。同种架构下，以e开头的企业版性能优于不以e开头的普通版。简单来说，eSLCSLCeMLCMLC。磁盘RAID组IOPS通常我们在使用存储的时候，都是把多个磁盘建成一个Raid，那么这个由多个磁盘构成的RAID的IOPS就跟我们采用的RAID级别有很大关

13、系，比如对于RAID5，一旦条带上的任意磁盘的数据发生改变，都会重新计算校验位。无论是那种RAID级别，磁盘的读取性能都是所有磁盘之和。所以可以得出下面的读取IOPS：readIOPS=disk_IOPS/(1-disk_buffer_read_hit_ratio)*disk_num但是不同RAID级别，磁盘的写性能则会由于不同类型的数据冗余影响实际写的数量，这种由于冗余数据带来的额外开销称为写惩罚penalty，RAID0无RAID惩罚、RAID1/10写惩罚是2、RAID5是4、RAID6是6。writeIOPS=disk_IOPS/(1-disk_buffer_write_hit_rat

14、io)*disk_num/penalty假设组成RAID的单个磁盘的随机读写的IOPS为140，读写缓存命中率都为10%，组成阵列的磁盘个数为4。这样RAID的读IOPS：readIOPS=disk_IOPS/(1-disk_buffer_read_hit_ratio)*disk_num=140/(1-10%)*4=622所以可以得出下面写入IOPS：RAID总IOPS=写入IOPS+读IOPS。磁盘阵列IOPS磁盘阵列为了进一步提升性能，在其控制器上一般都会再加上cache缓存，有的还有第二级的缓存（FlashMemory/Disks），这样一来整个阵列和其中某个RIAD的IOPS就变得难以

15、计算。很多厂商公布的那些非常高的IOPS数据实际上是将被测存储系统配置了尽量多的小容量、高转速磁盘且每个磁盘装载数据量不多、设置为RAID10时测出的100%顺序读(SequentialRead)IOPS的最大值。而且很多厂商在公布上述100%顺序读(SequentialRead)IOPS时还隐去了“100%顺序读”字样，笼统地称为IOPS。但多数用户实际使用的环境既有顺序读写、也有随机读写操作；传输数据块尺寸大小都有；为了有效利用存储系统的存储容量，很多用户都采用RAID5，而且尽量使用大容量磁盘来减少磁盘数量，以少占存储系统的宝贵槽位空间。因此厂商测试环境得到的100%顺序读(Sequen

16、tialRead)IOPS指标完全不能代表该存储产品在用户实际应用环境下的性能。这就是厂商公布的IOPS很高，而产品在用户实际使用环境中性能却很差的原因。幸运的是我们还有SPC和SPC-1IOPS可以信任和参考。SPC的全称是StoragePerformanceCouncil，它的成员由几乎全部的国外存储厂商和部分大学、研究机构组成，SPC是一个非赢利的组织，其使命是定义、标准化存储系统的基准测试，并提升存储系统基准测试的知名度、扩展其影响，使之成为计算机行业最具权威性的存储性能测试结果，使计算机用户可以不受现存混乱的各种存储性能测试结果的影响。目前SPC的SPC-1基准测试主要是针对随机I/

17、O应用环境的，SPC-2基准测试主要是针对顺序I/O应用环境的。SPC-1基准测试很好地模拟了OLTP、数据库和e-mail等真实应用环境，使SPC-1基准测试结果具有很高权威性和可比性。各存储厂商的SPC-1基准测试报告中列明了进行测试的存储系统配置。但是要注意的是，这些测试结果我们不应该直接使用，因为测试的配置和我们时间项目中的配置肯定不同，而且SPC-1/2也是个系统最大性能值。所以其最重要的意义在于它使我们知道这种磁盘阵列在某种配置下，阵列的实测IOPS跟我们通过上述IOPS中介绍的方法计算出来的总IOPS理论值之间的比例，这个比例（我称为提升因子）代表了阵列中的缓存对IO起到的提升作

18、用。换句话说，以后我们在对阵列中RAID的IOPS理论计算中可以乘上这个比例。有些厂商也直接告诉你这个因子，比如说NETAPP就宣称采用PAM缓存卡可降低75%的读IO，WAFL写优化可降低50%的写IO等等，这里的1/(1-75)%和1/(1-50%)就可以看作提升因子，只不过可信度有多少就不知道了。桌面虚拟化阵列IOPS在实际运行中每个桌面VM有不同的工作状态，一般而言每中工作状态对存储子系统都有不同的要求，工作（轻量:4-8IOPS、普通:8-15IOPS、重量:15-30IOPS）、空闲:4IOPS、登出:12IOPS、Offline:0IOPS。那么在桌面虚拟化环境下，我们如何评估一

19、个存储系统能否满足我们的使用要求呢。我认为可以从两个方面考虑：1、整个系统IOPS总需求与总供给：比如我们总共需要提供给研发用户5000台重量级VM，每台VM峰值IOPS需求是30，那么总需求就是150000；每个磁盘阵列提供的IOPS大约为SPC-1测试值SPC-1测试配置的磁盘数量/实际项目中配置的磁盘数量，总IOPS供给=磁盘阵列提供的IOPS磁盘阵列数量。这样我们就能计算出整个存储配置能否满足项目的需求。2、每个存储资源（一个LUN，一般对应存储阵列上的由多个磁盘组成的一个RAID）的IOPS需求与供给：根据最佳实践，每个存储资源上放置25-30台重量级VM，按照25台计算，因此需求是

20、2530=750IOPS；而对应的RAID的供给可以根据总IOPS提升因子计算得到性能需求。这样我们就可以判断具体某一个存储资源的磁盘配置能否满足项目的需要。传输速度(TransferRate)/吞吐率(Throughput)现在我们要说的传输速度(或吞吐率)不是磁盘上所表明的最大传输速度或者说理想传输速度，而是磁盘在实际使用的时候从磁盘系统总线上流过的数据量。有了IOPS数据之后我们是很容易就能计算出对应的传输速度的（TransferRate）=IOPS*IOSize，可以看出实际上的传输速度是很小的，对总线的利用率也是非常的小。这里一定要明确一个概念，那就是尽管上面我们使用IOPS来计算传

21、输速度，但是实际上传输速度和IOPS是没有直接关系，在没有缓存的情况下它们共同的决定因素都是对磁盘系统的访问方式以及单个IO的大小。对磁盘进行随机访问时候我们可以利用IOPS来衡量一个磁盘系统的性能，此时的传输速度不会太大；但是当对磁盘进行连续访问时，此时的IOPS已经没有了参考的价值，这个时候限制实际传输速度却是磁盘的最大传输速度。因此在实际的应用当中，只会用IOPS来衡量小IO的随机读写的性能，而当要衡量大IO连续读写的性能的时候就要采用传输速度而不能是IOPS了。IO响应时间(IOResponseTime)IO响应时间也被称为IO延时(IOLatency)，IO响应时间就是从操作系统内核

22、发出的一个读或者写的IO命令到操作系统内核接收到IO回应的时间，注意不要和单个IO时间混淆了，单个IO时间仅仅指的是IO操作在磁盘内部处理的时间，而IO响应时间还要包括IO操作在IO等待队列中所花费的等待时间。随着系统实际IOPS越接近理论的最大值，IO的响应时间会成非线性的增长，越是接近最大值，响应时间就变得越大，而且会比预期超出很多。一般来说在实际的应用中有一个70%的指导值，也就是说在IO读写的队列中，当队列大小小于最大IOPS的70%的时候，IO的响应时间增加会很小，相对来说让人比较能接受的，一旦超过70%，响应时间就会戏剧性的暴增，所以当一个系统的IO压力超出最大可承受压力的70%的时候就是必须要考虑调整或升级了。