软件性能测试过程详解与案例剖析.docx

1、软件性能测试过程详解与案例剖析软件性能测试过程详解与案例剖析第1章性能测试基本概念1.1软件性能从用户的角度，软件性能就是软件对用户操作的响应时间。从管理员的角度，软件性能首先表现在响应时间上。还包括资源利用率、可扩展性、系 统容量（并发等）和系统稳定性等。为了保证系统的稳定运行和持续的良好性能。 对于开发人员而言，最想知道“如何通过调整设计和代码实现， 或是如何通过调整系统设置等方法提高软件的性能表现”和“如何发现并解决软件设计和开发过程中产生的由于过多用户访 问引起的缺陷”，也就是性能瓶颈和大量用户访问时的缺陷。关注的是系统架构、数据库设 计、代码和设计。所以在性能测试时，既要关注响应时间

2、，还要关注软件可扩展性、并发能力等指标，还 要为性能问题定位。1.2术语1、 响应时间系统响应时间为应用系统从发出请求开始到客户端接收到响应所消耗的时间。 合理的响应时间取决于实际用户的需求。2、 并发用户数有两种理解，一种是同一时间段访问系统的用户数量， 一种是服务器所能承受的压力 （同时发出请求的客户）。在性能测试中我们更关注前者，业务并发用户数。公式c=nL/T,计算平均并发用户数，还可用 c=n/10 还做简单的估计。n为每天访问系统的用户数。还可以通过分析服务器的日志来了解用户的使用状态。3、 吞吐量单位时间系统处理的客户请求的数量，请求数 /秒，页面数/秒，访问数/天，业务数/小时

3、，字节数/天。可用于衡量是否达到了预期设计目标，协助分析性能瓶颈。4、 性能计数器描述服务器或操作系统性能的一些数据指标。 例如，存数、进程时间。用于监控和分析。常与资源利用率进行横向对比，例如 cpu占用率68%。5、 思考时间（休眠时间）用户在进行操作时，每个请求之间的间隔时间。1.3方法1、 SEI负载测试计划过程关注于负载测试计划的方法，目标是产生清晰、易理解、可验证的负载测试计划。关注 目标、用户、用例、生产环境、测试环境和测试场景。2、 RBI方法rapid bootie neck ide ntify, 用于快速识别系统性能瓶颈的方法。3、 性能下降曲线分析法描述性能随用户数量增长

4、而出现下降趋势的曲线。4、 LoadRunner 的性能测试过程包括计划测试、测试设计、创建 VU(virtual user)脚本、创建测试场景、运行测试场景、分析结果。5、 Segue提供的性能测试过程先确定性能基线，然后设定可接受的性能目标，用不同的并发用户数等重复测试。适合 性能调优和性能优化，通过不断的 try-check 过程，逐渐找到可能导致性能瓶颈的地方并对其优化。6、 PTGM模型performa nee testi ng general model 。分为测试前期准备、测试工具引入、测试计划、测试设计与开发、测试执行和管理以及测试分析。第2章性能测试的应用领域2.1性能测试的

5、方法1、 性能测试 (performanee testing)模拟生产运行的业务压力量和使用场景组合，测试系统的性能是否满足生产性能的要 求。2、 负载测试(load test in g)通过在系统上不断增加压力，直到性能指标超过预定或某种资源的使用达到饱和。 找到系统的处理极限。3、 压力测试(stress testing)测试系统在一定饱和状态下，系统能够处理的会话能力，以及系统是否会出现错误。常 用于测试系统的稳定性。4、 配置测试(eonfiguration testing)通过对被测软件的软/硬件环境的调整，了解各种不同环境对系统性能的影响的程度， 从而找到系统各项资源的最优分配原则

6、。5、 并发测试(coneurrency testing)模拟用户的并发访问， 测试多用户并发访问同一个应用、 同一个模块或者数据记录时是否存在死锁或者其他性能问题。关注存是否有太多临时对象、超过设计生命周期的对象、数据库死锁、经常出现长事务、 是否出现线程/进程同步失败、资源争用导致死锁、未处理异常导致死锁。6、 可靠性测试(reliability testing)通过给系统加载一定的业务压力的情况下， 让应用系统持续运行一段时间， 测试系统在这种条件下能否稳定运行。7、 实效恢复测试(failover testing)针对冗余备份和负载均衡的系统。 检验如果系统局部发生故障， 用户是否能够

7、继续使用系统，如果这种情况发生，用户将受多大程度影响。2.2应用领域分析1、能力验证performa nee test in g,reliability testi ng,stress test in g,failover test ing2、 能力规划load testi ng,con figurati on test in g,stress test ing3、 性能调优con figurati ong testi ng,load testi ng,stress test in g,failover test ing4、 缺陷发现con curre ncy test in g,stress

8、 testi ng,failover testi ng第3章性能计数器及性能分析方法用来衡量被测系统当前的状况和进行性能测试结果分析。可在操作系统级、应用服务 器级和数据库级别上查看和记录性能计数器的数值。3.1操作系统计数器及分析1、 WindowsMemory:available mbytes,pages/sec,pages read/sec,page faults/sec,cac he bytes Process:%processor time,page faults/sec,work set,private bytes Proc essor:%processor time,%user

9、time,%privileged time,%dpc timePhysical Disk:%disk time,average disk queue len gth,average disk read/write queue len gth,disk reads(writes)/sec,average disk sec/read,average disk sec/tra n sfer Network In terface:bytes total/secSystem:%total processor time,file data operati on /sec,processor queue l

10、ength2、 unix3、 存分析方法用于分析系统有无遇到存瓶颈，是否需要通过增加存等手段提高系统性能表现。 首先 查 看 memory/available mbytes ； 注 意pages/sec,pages read/sec,page faults/sec( 反映进行磁盘交换 的频率)； 根据physical disk 分析。4、 处理器分析方法先看system%Total processor time, 然后看每个cpu的指标，最后分析。5、 磁盘I/O分析方法计算每个磁盘的 I/O 数；然后与 processorprivileged time 合并分析；最后根据disk sec/t

11、ra nsfer 分析。6、 进程分析方法察看%processor time ，反映进程消耗的处理其时间； 然后查看每个进程产生的页面失效，对于产生最多页面失效的进程要重点分析； 了解进程的process/private bytes, 看是否存在存泄露。7、 网络分析方法network in terfacebytes total/sec 为发送和接收字节的速率，与当前带宽进行比较。3.2应用服务器计数器1、IIS2、 J2EE应用服务器计数器weblogicJVM:heap size;heap freeJDBC connection pool:wait ing for connection c

12、urre nt coun t;c onnection total coun t;max capacity;active connections curre nt countexecute queue:execute thread curre nt idle coun t;pe nding request oldest ti me;serviced request oldest time;serviced request total coun t;pe nding request cur rent count;3、 数据库计数器第4章性能测试工具原理4.1性能测试工具模型性能测试工具只能帮助您实

13、施性能测试，并不能帮助您完成性能测试的需求； 性能测试工具能够根据您的要求以各种方式提供报表，这些报表是分析的基础。性能测试工具一般包括虚拟用户脚本产生器；压力产生器；用户代理；压力调度和控 制系统；压力结果分析工具。4.2性能测试脚本录制时的协议类型对于j2ee,建议选择http/https 协议。4.3性能测试工具的选择与评估工具支持被测系统运行的平台吗？支持被测系统使用的协议吗？能够支持我们的特殊要求？能够提供对我们关心的服务器、应用服务器或是数据库类型计数器的监控吗？ 工具使用的脚本语言功能完善吗？常用的包括 Loadrunner 禾口 silk performer 。第5章性能测试的

14、组织5.1人员构成经理、测试设计、测试开发、测试执行、测试分析、支持5.2过程模型基于ATLM和TMap模型。1、 前期准备保证系统稳定、建立合适的测试团队、测试工具需求确认。2、 测试工具引入选择；培训；应用过程。3、 测试计划测试目的（应用领域，测试目标）；用户活动剖析与业务建模（系统日志与用户调查 分析）；确定性能目标；制定计划。4、 测试设计与开发测试环境设计；测试场景设计；测试用例设计；脚本和辅助工具开发活动。5、 测试执行与管理建立测试环境；部署测试脚本和测试场景；执行测试和记录结果。6、 测试分析根据测试的目的和目标给出测试结论。第8章案例三某通信企业的web业务系统性能测试8.

15、1背景该系统用于管理企业的备品和备件， 包括网络设备的库存管理、 库存流转、备品备件的查询统计。测试的主要目的是验证系统的性能是否达到用户要求。8.2项目特点采用J2ee,tomcat,struts+ejb+hibernate 。一台unix服务器用作数据库服务器，一台unix服务器用作应用服务器。性能体现主要是响应时间。协议为 http/https 。8.3测试过程1、 前期准备5人：一个数据库工程师、一个性能测试设计和分析人员、三名性能测试开发和实施 人员。 工具需要支持 Http/https 协议，监控unix/windows 服务器的主要性能计数器值,支持oracle数据库计数器值监控

16、，支持 tomcat应用服务器的jvm存使用状况监控。2、 测试工具引入选择LoadRunnder ； tomacat 的jvm自行开发工具来实现。3、 测试计划（1 ）测试目的：验证系统是否达到预期性能指标（2）用户活动剖析与业务建模：得到典型用户活动分析表，并发用户数和吞吐量用户活动分析表业务名称实际使用用户数量业务发生数（笔/天）备件信息2001500库存流转-申请单2004000库存流转-审批1004000库存流转-借用1503000库存流转-还库1503000库存流转-报废100200查询统计-备件查询2005000查询统计-申请单查询1002000导入备件Excel文件208050

17、0平均每天该系统的用户为 600 ;平均每个用户每天使用 4小时；平均每个用户进行个业务操作；所以并发用户数：600*4/8=300吞吐量：300*500/(4*60*60)=10, 浏览数 / 秒(3)确定性能目标：得到性能需求描述详细描述在典型数据量，页面响 数据规模备件500000条记录,应时间不超过10秒 半年流转数据750000条记录系统能够稳定运行 压力条件：高于实际系统运行压力 1倍 系统稳定判定条件：测试中，各进程存没有明显变化测试中，响应时间和业务能力没有明显变化持续测试时间72小时典型规模的excel备 文件规模20M，包含记录50000条件文件导入时间性能在10秒的响应时

18、间下， 以响应时间10秒作为负载测试的结束条件,能承受的用户数 获得系统能承受的最大用户数量在典型用户数量下，cpu平均使用率不高于 75%，存使用率不高于 75% ；在稳定性测试的压力条件下， cpu使用率不高于95%，存使用率不高于 90%。(4)制定时间计划。子项目名称 子项目起止时间 里程碑成果 参与者测试环境和场景设计 2005.3.1-2005.3.2 测试环境文档、测试场景文档测试用例设计和脚本开发 2005.3.3-2005.3.10 测试用例文档、测试脚本测试环境构建 2005.3.3-2005.3.5 测试环境、测试环境描述文档测试工具和场景部署 2005.3.11-200

19、5.3.12 测试工具部署说明、场景部署说明执行性能测试 2005.3.13-2005.3.15 测试结果记录稳定性测试 2005.3.16-2005.3.20 测试结果记录测试结果分析和报告编写 2005.3.21-2005.3.23 测试报告4、测试设计与开发(1)测试环境设计由于本测试主要与于验证系统在实际环境中的性能能力， 因此尽可能选择接近实际环境的配置。测试环境设备 硬件配置 软件配置数据库服务器 SUN V880服务器(1台) Solaris 84CPU 8GB 存 磁盘阵列 Oracle 9.2.0.1服务器性能计数器脚本应用服务器 SUN V880服务器(1台) Solari

20、s 84CPU 8GB 存磁盘阵列 Tomcat 5服务器端应用服务器性能计数器脚本性能测试 Con sole PC 机（1 台） Win dowsXP+SP1CPU2.4GHZ 512MB 存 LoadRu nner Con troller40GB 硬盘 LoadRu nner An alysisMicrosoft Office负载产生设备 PC机（5台） WindowsXP+SP1CPU2.4GHZ 512MB 存 LoadRu nner Age nt40GB 硬盘基础数据量在需求中已有描述(2)测试场景设计设计并发用户数300,每个VU操作之间的时间间隔为 30秒典型测试场景场景名称场景

21、业务及分配比例 测试指标性能计数器系统用户分配：应用备件信息100典型申请单100页面数据库服务器常用性能计数器 响应应用服务器cpu使用率 时间 应用服务器存使用率场景1 备件查询100 小于应用服务器JVM可用存用户增长模式： 10秒响应时间ramp up, 每15秒增加4个迭代时间间隔30秒运行时间30分钟系统用户分配：页面数据库服务器常用性能计数器应用申请单100响应应用服务器cpu使用率典型审批100时间应用服务器存使用率场景2 还库50小于应用服务器JVM可用存报废1010秒响应时间用户增长模式：ramp up, 每15秒增加4个迭代时间间隔30秒运行时间30分钟系统用户分配：页面

22、数据库服务器常用性能计数器应用申请单100响应应用服务器cpu使用率典型审批100时间应用服务器存使用率场景3 备件查询100小于应用服务器JVM可用存报废10 10秒响应时间用户增长模式：ramp up, 每15秒增加4个迭代时间间隔30秒运行时间30分钟稳定用户分配：页面数据库服务器常用性能计数器性测典型场景3用户数 响应 应用服务器cpu使用率试场的两倍时间 应用服务器存使用率景备件查询100小于应用服务器JVM可用存运行时间72小时10秒响应时间数据用户分配：页面数据库服务器常用性能计数器导入导入Excel文件10 响应 应用服务器cpu使用率场景申请单100时间 应用服务器存使用率审

23、批100小于应用服务器JVM可用存用户增长模式：10秒响应时间ramp up, 每15秒增加4个迭代时间间隔30秒运行时间30分钟(3)测试用例设计将用户业务操作形成更详细的用例步骤。 审批业务:用例编号：TC_xxxx_xxx-1用例条件：用户已经登录，具有审批的权限 用户步骤和验证方法:1、 用户单击“库存流转”，进入库存流转页面 验证：页面出现库存流转提示字符串2、 用户在页面左侧树试图上单击“审批” ，进入审批页面验证：页面上出现审批单：列表提示字符串单击审批按钮,3、 用户在页面给出的等待审批的申请单列表中选择最上方的一个， 进入审批页面验证：给出选中审批单信息，页面上出现被选中审批单的编号4、 用户输入审批信息，单击通过按钮 验证：页面上出现审批通过提示字符串(4)脚本和辅助工具开发活动。5、 测试执行与管理建立测试环境；部署测试脚本和测试场景；执行测试和记录结果。6、 测试分析根据测试的目的和目标给出测试结论。