ESS5验证系统性能测试方案V11.docx

1、ESS5验证系统性能测试方案V11ESS5验证系统性能测试方案神州泰岳顶策科技（北京）有限公司2012年6月文档信息文档标题ESS5验证系统性能测试方案版 本 号v1.1版本日期2012.4.17打印日期文 件 名ESS5验证系统性能测试方案V1.1.doc归档目录管理人员审批信息姓名部门/角色意见日期修改历史版本日期修改说明修改人V1.02012.3.28C杨志伟V1.12012.4.17修改李永裕所提意见王超目录目录 11. 概述 11.1 引言 11.2 测试目的 11.3 术语简介 11.4 测试范围 11.5 测试指标 12. 测试资源 22.1 拓扑图 22.2 测试环境 22.3

2、 测试组织结构 32.5 测试工具准备 32.5.1 负载发起工具 32.5.2 Linux监控工具 32.6 测试脚本准备 43. 测试准则 43.1启动准则 43.2 结束准则 43.2 暂停/再启动准则 44. 测试/监控策略 54.1 测试发起策略 54.1.1 单交易测试场景 54.1.2 混合测试场景 54.1.3 稳定性测试场景 54.2 测试执行策略 54.3 Linux监控 55 .模型 55.1 业务模型 55.2 测试模型 65.2.1 单交易测试场景 65.2.2 混合测试 75.2.3 稳定性测试 76 .测试输出及计划 76.1 过程性输出 76.2 结果输出 86

3、.3 测试计划 87 .测试风险分析 81. 概述1.1 引言该方案主要针对ESS5验证系统从测试范围、资源、测试准则、测试监控策略、业务/测试模型、测试过程和结果输出、风险评估等几方面做一介绍。1.2 测试目的主要验证ESS系统对事务的处理能力、事务响应时间；其次验证ESS系统服务器各项系统资源占用是否满足要求。1.3 术语简介 TPS：每秒处理事务数 ART：平均事务响应时间 Throughput：网络吞吐量Nmon监控术语：监控工具指标类型指标名称指标描述NmonCPUCPU占CPU百分比CPU-Wait%CPU 等待IO时间百分比MemoryMemory-%Used内存占用率Memor

4、y-%Free内存空闲率DiskDisk-Busy磁盘IO繁忙率NetWorketh0-readeth0网卡读eth0- writeeth0网卡写eth0-totaleth0总数1.4 测试范围ESS验证系统(Socket协议)：1002、1003、1004，正确口令90%、错误口令10%1.5 测试指标大类指标备注混合测试系统处理能力（TPS）=1000笔/秒平均响应时间=0.5秒.最大响应时间=99%稳定性测试稳定运行时间60分钟交易成功率=99%系统资源CPU使用率=80%内存使用率=80%磁盘繁忙率=60%2. 测试资源2.1 拓扑图2.2 测试环境架构层次服务器名称CPU/个Mem主

5、机类型操作系统版本Socket ServiceEss5192.168.1.25248GLinuxCentOS5.6Load Generator1192.168.1.13422GPCWindows xpSp3Agent1192.168.1.22222GPCWindows xpSp3Agent2192.168.1.12522GPCWindows xpSp32.3 测试组织结构为保证本次ESS5验证系统性能测试的顺利进行，本次测试需要引入如下人员，各小组组织结构及人员职责如下：组织职责人员项目PMO组1、项目管理李永裕ESS5性能测试组1、提供并维护测试脚本调试所用的测试环境，2、提供并维护系统版本

6、性能测试环境；杨志伟李明王超实施任务组1、完成系统版本性能测试的测试模型分析、测试设计；2、完成系统版本性能测试的脚本开发；3、对测试数据进行参数化处理；4、制定系统版本性能测试的测试计划、测试用例；5、监控方案、执行、记录、分析；6、完成系统版本性能测试的测试执行、测试结果数据收集；7、编写系统性能测试结果分析并提交测试报告；杨志伟李明王超2.5 测试工具准备2.5.1 负载发起工具根据测试协议进行LoadRunner9.5软件Controller、Generator安装，本次测试涉及LR协议为WinSocket协议。2.5.2 Linux监控工具Nmon是一种在AIX与各种Linux操作系

7、统上的广泛使用的监控与分析工具，相对于系统资源上的一些工具来说，Nmon所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系统资源的使用情况，并且输出结果文件中，然后通过nmon_analyzer工具产生数据文件，与图形化结果。2.6 测试脚本准备ESS5验证系统是基于Socket协议，编写的性能测试脚本，按照实际业务需要参数化、动态关联、判断等。脚本验证：使用VuGen逐一在测试环境中执行所有脚本，确认脚本能够在测试环境中顺利运行，收到预期的回复，同时对测试数据进行验证和判断。3. 测试准则3.1启动准则 ESS5验证系统业务模型建立完毕。 环境准备完毕，包括： ESS5验证系统测试环

8、境设备安装调试完毕。 ESS5验证系统测试数据已经准备完毕。 ESS5验证系统应用服务器安装成功，待测试版本已正确部署。 测试客户端机器到位，系统软件、应用软件、测试工具安装完毕。 网络配置正确，连接通畅，可以满足压力测试需求。 计划审核、批准完毕，项目组确认。3.2 结束准则按计划日期完成各项测试任务并提交测试报告，或者经特殊批准延长或缩短测试周期后完成测试任务并提交测试报告。3.2 暂停/再启动准则暂停准则： 测试任务、方案、计划等发生重大变更 环境受到干扰，比如服务器被临时征用，或服务器的其它使用会对测试结果造成干扰 其它不可抗非人为因素等再启动准则： 测试中发现问题得以解决4. 测试/

9、监控策略4.1 测试发起策略4.1.1 单交易测试场景分别进行单交易基准测试、单交易负载测试获取系统交易的基本处理特性，发现系统瓶颈，检查系统是否存在并发问题。4.1.2 混合测试场景通过对于单交易基准和单交易负载中获得的基础测试数据，按照测试模型下的业务比例关系，配置具体的混合测试模型场景。4.1.3 稳定性测试场景系统不间断稳定运行60分钟。通过监控工具监控对系统的持续监控记录，综合LR的分析结果，判断系统长时间运行下的处理性能，是否符合稳定性的要求。4.2 测试执行策略对性能测试用例按照测试优先级别进行分类，首先保证高优先级用例执行，所有高优先级用例执行完成后根据时间安排中优先级和低优先

10、级用例执行；用例执行顺序为：基准测试、单交易负载测试、混合场景测试、稳定性测试，最后按照优先级先后次序执行。4.3 Linux监控本次性能测试对ESS5验证系统Linux服务器的监控，采用Nmon采集Cpu、MEM、disk io、NetWork等各项参数并配合Loadrunner自身监控。 5 .模型5.1 业务模型根据与项目PMO确认，根据ESS5验证系统业务特点，选取典型交易的业务配比关系如下：业务名称业务要求验证（认证）写日志不写日志业务名称业务要求交易码交易比例验证（认证）T:正确口令T_100230%T_100330%T_100430%F:错误口令F_10023%F_10033%F

11、_10044%5.2 测试模型5.2.1 单交易测试场景5.2.1.1 单交易基准测试场景名称交易码并发数/个执行时长(Min)日志状态T_1002_LogT_100211写日志T_1003_LogT_100311T_1004_LogT_100411场景名称交易码并发数/个执行时长(Min)日志状态T_1002_NLogT_100211不写日志T_1003_NLogT_100311T_1004_NLogT_1004115.2.1.2 单交易负载测试场景名称交易码并发数执行时长(Min)日志状态T_1002_Log_50T_10025010写日志T_1002_Log_10010010T_1003

12、_Log_50T_10035010T_1003_Log_10010010T_1004_Log_50T_10045010T_1004_Log_10010010场景名称交易码并发数执行时长(Min)日志状态T_1002_NLog_50T_10025010不写日志T_1002_NLog_10010010T_1003_NLog_50T_10035010T_1003_NLog_10010010T_1004_NLog_50T_10045010T_1004_NLog_100100105.2.2 混合测试Mix_Log场景名称交易码交易比例预期TPS口令执行时长 (Min)日志状态 Mix_LogT_1002

13、30%300正确口令10写日志T_100330%300T_100430%300F_10023%20错误口令F_10033%20F_10044%305.2.3 稳定性测试Stable_Log场景名称交易码交易比例预期TPS口令执行时长 (Min)日志状态 Stable_LogT_100230%300正确口令60写日志T_100330%300T_100430%300F_10023%20错误口令F_10033%20F_10044%306 .测试输出及计划6.1 过程性输出 ESS5验证系统性能测试方案V1.0 测试脚本（LoadRunner Vuser Scripts 形式） 测试场景（LoadRu

14、nner Scenarios *.lrs形式） 测试结果采集数据（Html形式或LoadRunner Analysis Files形式） ESS5验证系统服务器：.Nmon监控文件结果收集说明：所有过程性输出均需经过项目组确认。所有过程性输出由指定的专用机器存储。6.2 结果输出 ESS5验证系统性能测试报告6.3 测试计划任务名称时间备注测试前期准备2012/03/282012/03/28测试相关详细信息调研测试方案2012/03/292012/03/29已完成脚本开发、数据准备2012/03/302012/04/01测试脚本编写与调试，测试场景设计与调试测试执行2012/04/022012/04/16在测试环境依据测试案例执行测试测试结果整理及测试报告编写2012/04/172012/04/18分析测试数据，撰写测试报告7 .测试风险分析风险编号风险描述风险发生可能性（高、中、低）风险对测试或项目的影响（高、中、低）责任人规避方法1环境紧张，不能按计划完成准备。高高项目组尽量调配资源，也可选用类似设备替代2测试中发现系统性能问题，需要较长时间的修改、调优时间。高中ESS5测试组尽量将其他可测项完成。