ESS5验证系统性能测试方案V11.docx
《ESS5验证系统性能测试方案V11.docx》由会员分享，可在线阅读，更多相关《ESS5验证系统性能测试方案V11.docx（15页珍藏版）》请在冰豆网上搜索。
ESS5验证系统性能测试方案V11
ESS5验证系统
性能测试方案
神州泰岳顶策科技（北京）有限公司
2012年6月
文档信息
文档标题
ESS5验证系统性能测试方案
版本号
v1.1
版本日期
2012.4.17
打印日期
文件名
ESS5验证系统性能测试方案V1.1.doc
归档目录
管理人员
审批信息
姓名
部门/角色
意见
日期
修改历史
版本
日期
修改说明
修改人
V1.0
2012.3.28
C
杨志伟
V1.1
2012.4.17
修改李永裕所提意见
王超
目录
目录1
1.概述1
1.1引言1
1.2测试目的1
1.3术语简介1
1.4测试范围1
1.5测试指标1
2.测试资源2
2.1拓扑图2
2.2测试环境2
2.3测试组织结构3
2.5测试工具准备3
2.5.1负载发起工具3
2.5.2Linux监控工具3
2.6测试脚本准备4
3.测试准则4
3.1启动准则4
3.2结束准则4
3.2暂停/再启动准则4
4.测试/监控策略5
4.1测试发起策略5
4.1.1单交易测试场景5
4.1.2混合测试场景5
4.1.3稳定性测试场景5
4.2测试执行策略5
4.3Linux监控5
5.模型5
5.1业务模型5
5.2测试模型6
5.2.1单交易测试场景6
5.2.2混合测试7
5.2.3稳定性测试7
6.测试输出及计划7
6.1过程性输出7
6.2结果输出8
6.3测试计划8
7.测试风险分析8
1.概述
1.1引言
该方案主要针对ESS5验证系统从测试范围、资源、测试准则、测试监控策略、业务/测试模型、测试过程和结果输出、风险评估等几方面做一介绍。
1.2测试目的
主要验证ESS系统对事务的处理能力、事务响应时间；其次验证ESS系统服务器各项系统资源占用是否满足要求。
1.3术语简介
ØTPS：
每秒处理事务数
ØART：
平均事务响应时间
ØThroughput：
网络吞吐量
Nmon监控术语：
监控工具
指标类型
指标名称
指标描述
Nmon
CPU
CPU
占CPU百分比
CPU-Wait%
CPU等待IO时间百分比
Memory
Memory-%Used
内存占用率
Memory-%Free
内存空闲率
Disk
Disk-Busy
磁盘IO繁忙率
NetWork
eth0-read
eth0网卡读
eth0-write
eth0网卡写
eth0-total
eth0总数
1.4测试范围
ESS验证系统（Socket协议）：
1002、1003、1004，正确口令90%、错误口令10%
1.5测试指标
大类
指标
备注
混合测试
系统处理能力（TPS）
>=1000笔/秒
平均响应时间
<=0.5秒.
最大响应时间
<=1秒
交易成功率
>=99%
稳定性测试
稳定运行时间
60分钟
交易成功率
>=99%
系统资源
CPU使用率
<=80%
内存使用率
<=80%
磁盘繁忙率
<=60%
2.测试资源
2.1拓扑图
2.2测试环境
架构层次
服务器名称
CPU/个
Mem
主机类型
操作系统
版本
SocketService
Ess5
192.168.1.252
4
8G
Linux
CentOS
5.6
LoadGenerator1
192.168.1.134
2
2G
PC
Windowsxp
Sp3
Agent1
192.168.1.222
2
2G
PC
Windowsxp
Sp3
Agent2
192.168.1.125
2
2G
PC
Windowsxp
Sp3
2.3测试组织结构
为保证本次ESS5验证系统性能测试的顺利进行，本次测试需要引入如下人员，各小组组织结构及人员职责如下：
组织
职责
人员
项目PMO组
1、项目管理
李永裕
ESS5性能测试组
1、提供并维护测试脚本调试所用的测试环境，
2、提供并维护系统版本性能测试环境；
杨志伟
李明
王超
实施任务组
1、完成系统版本性能测试的测试模型分析、测试设计；
2、完成系统版本性能测试的脚本开发；
3、对测试数据进行参数化处理；
4、制定系统版本性能测试的测试计划、测试用例；
5、监控方案、执行、记录、分析；
6、完成系统版本性能测试的测试执行、测试结果数据收集；
7、编写系统性能测试结果分析并提交测试报告；
杨志伟
李明
王超
2.5测试工具准备
2.5.1负载发起工具
根据测试协议进行LoadRunner9.5软件Controller、Generator安装，本次测试涉及LR协议为WinSocket协议。
2.5.2Linux监控工具
Nmon是一种在AIX与各种Linux操作系统上的广泛使用的监控与分析工具，相对于系统资源上的一些工具来说，Nmon所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系统资源的使用情况，并且输出结果文件中，然后通过nmon_analyzer工具产生数据文件，与图形化结果。
2.6测试脚本准备
ESS5验证系统是基于Socket协议，编写的性能测试脚本，按照实际业务需要参数化、动态关联、判断等。
脚本验证：
使用VuGen逐一在测试环境中执行所有脚本，确认脚本能够在测试环境中顺利运行，收到预期的回复，同时对测试数据进行验证和判断。
3.测试准则
3.1启动准则
ØESS5验证系统业务模型建立完毕。
Ø环境准备完毕，包括：
●ESS5验证系统测试环境设备安装调试完毕。
●ESS5验证系统测试数据已经准备完毕。
●ESS5验证系统应用服务器安装成功，待测试版本已正确部署。
●测试客户端机器到位，系统软件、应用软件、测试工具安装完毕。
●网络配置正确，连接通畅，可以满足压力测试需求。
●计划审核、批准完毕，项目组确认。
3.2结束准则
按计划日期完成各项测试任务并提交测试报告，或者经特殊批准延长或缩短测试周期后完成测试任务并提交测试报告。
3.2暂停/再启动准则
暂停准则：
Ø测试任务、方案、计划等发生重大变更
Ø环境受到干扰，比如服务器被临时征用，或服务器的其它使用会对测试结果造成干扰
Ø其它不可抗非人为因素等
再启动准则：
Ø测试中发现问题得以解决
4.测试/监控策略
4.1测试发起策略
4.1.1单交易测试场景
分别进行单交易基准测试、单交易负载测试获取系统交易的基本处理特性，发现系统瓶颈，检查系统是否存在并发问题。
4.1.2混合测试场景
通过对于单交易基准和单交易负载中获得的基础测试数据，按照测试模型下的业务比例关系，配置具体的混合测试模型场景。
4.1.3稳定性测试场景
系统不间断稳定运行60分钟。
通过监控工具监控对系统的持续监控记录，综合LR的分析结果，判断系统长时间运行下的处理性能，是否符合稳定性的要求。
4.2测试执行策略
对性能测试用例按照测试优先级别进行分类，首先保证高优先级用例执行，所有高优先级用例执行完成后根据时间安排中优先级和低优先级用例执行；
用例执行顺序为：
基准测试、单交易负载测试、混合场景测试、稳定性测试，最后按照优先级先后次序执行。
4.3Linux监控
本次性能测试对ESS5验证系统Linux服务器的监控，采用Nmon采集Cpu、MEM、diskio、NetWork等各项参数并配合Loadrunner自身监控。
5.模型
5.1业务模型
根据与项目PMO确认，根据ESS5验证系统业务特点，选取典型交易的业务配比关系如下：
业务名称
业务要求
验证（认证）
写日志
不写日志
业务名称
业务要求
交易码
交易比例
验证（认证）
T:
正确口令
T_1002
30%
T_1003
30%
T_1004
30%
F:
错误口令
F_1002
3%
F_1003
3%
F_1004
4%
5.2测试模型
5.2.1单交易测试场景
5.2.1.1单交易基准测试
场景名称
交易码
并发数/个
执行时长（Min）
日志状态
T_1002_Log
T_1002
1
1
写日志
T_1003_Log
T_1003
1
1
T_1004_Log
T_1004
1
1
场景名称
交易码
并发数/个
执行时长（Min）
日志状态
T_1002_NLog
T_1002
1
1
不写日志
T_1003_NLog
T_1003
1
1
T_1004_NLog
T_1004
1
1
5.2.1.2单交易负载测试
场景名称
交易码
并发数
执行时长（Min）
日志状态
T_1002_Log_50
T_1002
50
10
写日志
T_1002_Log_100
100
10
T_1003_Log_50
T_1003
50
10
T_1003_Log_100
100
10
T_1004_Log_50
T_1004
50
10
T_1004_Log_100
100
10
场景名称
交易码
并发数
执行时长（Min）
日志状态
T_1002_NLog_50
T_1002
50
10
不写日志
T_1002_NLog_100
100
10
T_1003_NLog_50
T_1003
50
10
T_1003_NLog_100
100
10
T_1004_NLog_50
T_1004
50
10
T_1004_NLog_100
100
10
5.2.2混合测试
Mix_Log
场景名称
交易码
交易比例
预期TPS
口令
执行时长（Min）
日志状态
Mix_Log
T_1002
30%
300
正确口令
10
写日志
T_1003
30%
300
T_1004
30%
300
F_1002
3%
20
错误口令
F_1003
3%
20
F_1004
4%
30
5.2.3稳定性测试
Stable_Log
场景名称
交易码
交易比例
预期TPS
口令
执行时长（Min）
日志状态
Stable_Log
T_1002
30%
300
正确口令
60
写日志
T_1003
30%
300
T_1004
30%
300
F_1002
3%
20
错误口令
F_1003
3%
20
F_1004
4%
30
6.测试输出及计划
6.1过程性输出
Ø《ESS5验证系统性能测试方案V1.0》
Ø测试脚本（LoadRunnerVuserScripts形式）
Ø测试场景（LoadRunnerScenarios*.lrs形式）
Ø测试结果采集数据（Html形式或LoadRunnerAnalysisFiles形式）
ØESS5验证系统服务器：
.Nmon监控文件结果收集
说明：
所有过程性输出均需经过项目组确认。
所有过程性输出由指定的专用机器存储。
6.2结果输出
Ø《ESS5验证系统性能测试报告》
6.3测试计划
任务名称
时间
备注
测试前期准备
2012/03/28～2012/03/28
测试相关详细信息调研
测试方案
2012/03/29～2012/03/29
已完成
脚本开发、数据准备
2012/03/30～2012/04/01
测试脚本编写与调试，测试场景设计与调试
测试执行
2012/04/02～2012/04/16
在测试环境依据测试案例执行测试
测试结果整理及测试报告编写
2012/04/17～2012/04/18
分析测试数据，撰写测试报告
7.测试风险分析
风险编号
风险描述
风险发生可能性（高、中、低）
风险对测试或项目的影响（高、中、低）
责任人
规避方法
1
环境紧张，不能按计划完成准备。
高
高
项目组
尽量调配资源，也可选用类似设备替代
2
测试中发现系统性能问题，需要较长时间的修改、调优时间。
高
中
ESS5测试组
尽量将其他可测项完成。
升级会员 