第三方应用性能测试报告模板.docx
《第三方应用性能测试报告模板.docx》由会员分享,可在线阅读,更多相关《第三方应用性能测试报告模板.docx(17页珍藏版)》请在冰豆网上搜索。
第三方应用性能测试报告模板
淘宝(中国)软件有限公司
XX项目
性能测试报告
版本:
1.0
编写人:
编写时间:
文档修订控制
序号
版本号
修订日期
修订概述
修订人
审批人
备注
1
1.0
2011-8-25
新增
高振华
名词解释
名词
解释
Peak值
即峰值,指一天中pv数达到的最咼峰
VU
虚拟用户
TPS
每秒事务数
ResponseTime
响应时间
ServerResource
Linux服务器资源使用情况,包括CPU、load、memory、I/O等
CPU
该文档中特指linux服务器的cpu利用率
Load
该文档中特指linux服务器
响应时间标准差
该标准差根据数理统计的概念得来,标准差越大,说明响应时间波动越大,系统越不稳定
测试通过标准
名词
解释
TPS
符合预期
ResponseTime
页面响应时间小于0.5s,接口小于0.1s
ServerResource
Linux服务器资源使用情况,包括CPU、load、memory、I/O等
CPU
该文档中特指linux服务器的cpu利用率
Load
该文档中特指linux服务器
响应时间标准差
该标准差根据数理统计的概念得来,标准差越大,说明响应时间波动越大,系统越不稳定
日志错误概率
要求小于万分之一
1•概述5
2•人力资源5
3.测试需求分析6
3.1性能测试范围6
3.2性能测试需求分析6
3.3性能测试的目标6
4性能测试方案7
4.1测试类型7
4.2性能测试网络拓扑图8
4.3测试方案描述8
4.3.1测试场景8
4.3.2测试数据和测试环境9
4.3.2.1测试数据的准备9
4.3.2.2测试环境的准备9
4.3.2.3日志等级设置10
4.3.2.4需要屏蔽的内容10
4.3.3测试脚本10
4.3.4测试工具10
5.性能监控10
5.1数据库监控10
5.2应用监控11
6.性能测试步骤11
7.性能测试结果12
7.1各性能点性能测试结果12
7.1.1性能测试12
7.2调优后性能点测试结果(未调优则不必写)12
7.2.1性能测试12
7.3稳定性测试结果13
7.3.1稳定性测试13
8.测试结果分析13
9.测试中的问题14
10.风险评估14
1.概述
本文档主要描述淘宝网促销平台项目性能测试报告。
主要涉及的内容包括:
测试需求分析
性能测试方案
性能测试步骤
性能测试结果
测试结果分析
测试中遇到的问题及解决方法
2.人力资源
角色
人力资源
具体职责
其它
PM
xx
负责提供性能点、申请性能测试资源、评审性能测试方案、提交性能测试代码、配合SCM部署环境、配合DBA和性能测试工程师准备性能测试数据、配合性能测试、组织性能调优工作、判断性能测试是否通过
PD
xx
负责提供性能点、判断性能测试是否通过
开发工程师
xx
由PM指派,负责协助性能测试、性能调优
DBA
xx
负责创建性能测试表、冋步表字段和索引、审核SQL语句、准备性能测试数据、监控性能测试数据库、判断性能测试是否通过
SCM
xx
负责部署性能测试环境、维护性能测试环境
性能测试工程师
xx
负责审核性能测试资源申请、安排性能测试服务器、制定性能测试计戈V、分析性能测试需求、编写性能测试设计方案、组织性能测试设计方案评审、提交SCM搭建性能测试环境、准备性能测试数据、验证性能测试环境、开发性能测试脚本、执行性能测试、监控性能测试
服务器资源、监控程序所占内存、分析性能测试结果、判断性能测试是否通过、配合性能调优、反馈性能测试总体结果、维护性能基线和知识沉淀
功能测试工程师
xx
性能测试支持
OPS
xx
负责协助性能分析,例如JVM的深入问题、jdk、apachejboss、webx非常专业的问题
3.测试需求分析
3.1性能测试范围
本次性能测试包括以下x个性能点:
性能点1:
….
性能点2:
….
观察其CPU、load、内存和响应时间及TPS的表现。
3.2性能测试需求分析
性能点1
线上服务器总数量:
x台
PV量:
xx万/天
响应时间:
xx秒
测试类型:
页面测试性能点2
线上服务器总数量:
x台
PV量:
xx万/天
响应时间:
xx秒测试类型:
页面测试
性能测试环境
服务器总数量:
x台
PV量:
x万/台/天
响应时间:
xx秒
Loadrunner客户端:
x台
3.3性能测试的目标
根据淘宝性能测试折算模型,得出性能测试目标:
性能点1,
每秒PV平均值=(80%*总PV)/(24*60*60*(240/480))/服务器数量=pv/s每秒PV峰值=(1.2*1.6*总PV)/(24*60*60)/服务器数量=pv/s
(1)性能测试目标,预计期望的PV以及TPS值如下表3-1所示:
性能点1性能测试目标
响应时间(s)
性能测试场景
PV(万/台)
期望TPS
平均TPS
峰值TPS
性能点1
(2)负载测试目标,预计期望的PV以及TPS值如下表3-2所示:
性能点1稳定性测试目标
响应时间(s)
性能测试场景
PV(万/台)
期望TPS
平均TPS
峰值TPS
性能点1
(3)压力测试目标,预计期望的PV以及TPS值如下表3-3所示:
性能点2性能测试目标
响应时间(s)
性能测试场景
PV(万/台)
期望TPS
平均TPS
峰值TPS
性能点1
(4)稳定性测试目标,预计期望的PV以及TPS值如下表3-4所示:
性能点2稳定性测试目标
响应时间(s)
性能测试场景
PV(万/台)
期望TPS
平均TPS
峰值TPS
性能点1
4性能测试方案
4.1测试类型
淘宝网测试类型如下表4-1所示:
序号
测试类型
目的
是否执行
备注
1
性能测试
测试被测系统是否满足预期性能目标
CPU:
<75%和
Load:
<4(4核)
应用进程所占内
存:
<40%
服务器Memory:
<75%
2
负载测试
测试被测试系统,在服务器安全氾围内的取大负载值
CPU:
<75%和
Load:
<4(4核)
应用进程所占内
存:
<40%
服务器Memory:
<75%
3
压力测试
测试被测试系统,在超过服务器安全范围所能承受的最大压力值
CPU:
<75%和
Load:
<4(4核)
应用进程所占内
存:
<40%
服务器Memory:
<75%
4
稳定性测试
测试被测系统在长时间的压力下的稳定性
CPU:
<75%和
Load:
<4(4核)
应用进程所占内
存:
<40%
服务器Memory:
<75%
表4-1
4.2性能测试网络拓扑图
性能测试网络拓扑图如图4-1所示:
Xxx
图4-1
4.3测试方案描述
4.3.1测试场景
性能测试执行策略如下表4-2所示:
PHP页面性能测试
第一种:
系统页面性能测试
测试场景
CPU
TPS
Response
Time
server
Resource
备注
性能点1
有cache
无cache
性能点2
下载静态资源
无下载静态资源
…
第二种:
系统接口性能测试
测试场景
前置条件
TPS
Response
Time
server
Resource
备注
性能点1
性能点2
…
…
表4-2
432测试数据和测试环境
4.321测试数据的准备
1.基础数据
性能测试基础数据规划如下表4-3所示:
性能测试数据
数据源
表名
数据量
xxx
2.业务数据
此处填写业务数据构造方法。
角色配合:
符合业务逻辑的测试数据由开发提供,基础数据由性能测试人员负责构
造
4.322测试环境的准备
性能测试服务器如下表4-4所示:
应用名称
服务器IP
OS
CPU
Memory
应用服务器
数据库服务器
角色配合:
该环境主要由第3方开发负责搭建
角色配合:
性能测试team提供服务器并且搭建性能测试环境,验证服务和配置是否正常,性能测试人员验证环境搭建是否成功,由PM配合。
4.323日志等级设置
相关应用日志登记,设置antx.properties文件的**.loggingLevel=warn或者error等高
等级级别
4.324需要屏蔽的内容
需要屏蔽访问淘宝线上环境的代码和脚本,防止对线上造成压力。
4.3.3测试脚本
使用loadrunner8.1的http协议进行测试,性能测试脚本规划如下表所示:
骨口.序号
测试场景
脚本名称
事物名称
1
2
角色配合:
性能测试脚本编写,主要由性能测试工程师负责。
4.3.4测试工具
比如:
Loadrunner8.1
5.性能监控
5.1数据库监控
由DBA负责。
主要监控I/O、CPUload、缓存命中率、SQL语句执行时间、索引、Oracle或
Mysql专业化的性能分析、评估开置的线程数(数据池连接数)到生产线上是否有问题。
并由DBA评估出性能测试环境,和生产环境下,数据库服务器的配比情况。
数据库IP
CPU
load
memory
I/O
SQL平均
执行时间
每秒完成事务数量
SQL性能概析
DBA负责监控,其中,数据库服务器
角色配合:
性能测试工程师在执行测试过程中,通知的I/O、CPUload也可由性能测试工程师监控。
5.2应用监控
由性能测试工程师负责。
CPUload、服务器memory、进程所占总内存。
角色配合:
由性能测试工程师在测试过程中进行监控。
6.性能测试步骤
7.性能测试结果
7.1各性能点性能测试结果
7.1.1性能测试
测试场景设计:
测试结果:
性能点
性能测试场景
Vuser
TPS
事务失
败率
响应时间(s)
CPU资源
Load
备注
期望
TPS
实际
TPS
期望响
应时间
实际响
应时间
期望
值
实际
值
期望
值
实际
值
^1
性能点
有缓存
无缓存
2性能点
下载静态资
不下载静态资源
性能
点3
混合场景
结论:
从以上测试结果来看:
XXXXXXXXXXXX
7.2调优后性能点测试结果(未调优则不必写)
7.2.1性能测试
测试结果:
性能点
性能测试场景
Vuser
TPS
事
务
失
响应时间(s)
CPU资源
Load
备注
期望
TPS
实际
TPS
期望响
应时间
实际响应
期望
值
实际
值
期
望
实际
值
败
率
时间
值
性能点1
结论:
XXXXXXXXXXXX
TPS趋势图:
比如
XXXX
TPS结论
流量趋势图:
XXXX
7.3稳定性测试结果
7.3.1稳定性测试
测试场景设计:
执行24小时的稳定性测试,观察性能趋势是否稳定测试结果:
性能点
性能测试场景
Vuser
TPS
事务失败率
响应时间(s)
CPU资源
Load
备注
期望
TPS
实际
TPS
期望响
应时间
实际
响应
时间
期望
值
实际
值
期
望
值
实际
值
性能点1
测试结论:
XXX
TPS趋势图:
比如
XXXX
TPS结论
流量趋势图:
XXXX
.测试结果分析
详见各个性能测试结果中的“测试结果分析”
9.测试中的问题
XXX
10.风险评估
XXX