大数据性能测试方案V10DOC.docx
《大数据性能测试方案V10DOC.docx》由会员分享,可在线阅读,更多相关《大数据性能测试方案V10DOC.docx(25页珍藏版)》请在冰豆网上搜索。
![大数据性能测试方案V10DOC.docx](https://file1.bdocx.com/fileroot1/2023-2/25/0443528a-a6a9-4361-934c-7d741739d7b0/0443528a-a6a9-4361-934c-7d741739d7b01.gif)
大数据性能测试方案V10DOC
编号:
密级:
XXX大数据平台
性能测试方案
[V1-1.0]
拟制人:
审核人:
批准人:
[2016年01月08日]
文件变更记录
*A-增加M-修订D-删除
版本号
日期
变更类型
(A*M*D)
修改人
摘要
审核人
备注
V1.0
2016-01-08
A
新建性能测试方案
1引言
1.1编写目的
本测试方案将对XXX大数据平台的测试方案、测试范围,测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。
1.2测试目标
本次性能测试的目标是检测《XXX大数据平台》在服务器上运行时,了解该服务器的各项性能情况。
1.3读者对象
本方案的预期读者是:
项目负责人、测试人员、运维人员和其他相关人员。
1.4术语定义
术语
定义
性能测试
通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试
场景
用于根据性能要求定义在每一个测试会话进行期间发生的事件
事务
表示要度量的最终指定的某个特定业务
2环境搭建
2.1测试硬件环境
服务器名
数量
期望到位阶段
备注
服务器
1
开发提测前
2.2软件环境
资源名称
配置
3测试范围
3.1测试功能点
编号
测试点
对应算法
备注
1
Hadoop读取
2
Hadoop写入
3
Hadoop导入
4
Hadoop导出
5
Spark读取
6
Spark写入
7
Spark导入
8
Spark导出
3.2测试类型
类型
定义
备注
基准测试
单事物单用户测试,目的是对选择的单用户在无压力情况下(无额外进程运行并占用系统资源)情况下,获取系统处理单请求的情况
负载测试
通过逐步增加系统负载,测试系统性能的变化
稳定性测试
通过给系统加载一定业务压力,运行7*24小时,以此检测系统是否稳定运行。
3.3性能需求
名称
指标
备注
CPU
使用率不高于80%
内存
使用率不高于80%
I/O
使用率不高于80%
响应时间
Network
使用率不高于80%
3.4准备工作
1.测试功能点全部通过功能测试,确保功能上没有问题;
2.测试环境服务器已搭建,被测项目已部署;
3.准备测试客户机;
4.准备好测试数据;
5.创建测试场景,并配置好每个场景的设置;
6.测试过程中保存好测试数据和分析结果,并规范对执行结果进行命名
3.5测试流程
4.测试策略
4.1基准测试
4.1.1Hadoop/Spark读取算法的基准测试
场景1:
数据容量100G时,进行读取算法的基准测试
用例名称
数据量100G,读取功能的基准测试
算法
读取
验证功能
Hadoop/Spark的读取测试
测试目的
对比Hadoop/Spark的读取算法,进行数据容量100G读取操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量100G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的读取代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景2:
数据容量500G时,进行读取算法的基准测试
用例名称
数据量500G,读取功能的基准测试
算法
读取
验证功能
Hadoop/Spark的读取测试
测试目的
对比Hadoop/Spark的读取算法,进行数据容量500G读取操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量500G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的读取代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景3:
数据容量1T时,进行读取算法的基准测试
用例名称
数据量1T,读取功能的基准测试
算法
读取
验证功能
Hadoop/Spark的读取测试
测试目的
对比Hadoop/Spark的读取算法,进行数据容量1T读取操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量1T
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的读取代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
4.1.2Hadoop/Spark写入算法的基准测试
场景1:
数据容量100G时,进行写入算法的基准测试
用例名称
数据量100G,写入功能的基准测试
算法
写入
验证功能
Hadoop/Spark的写入测试
测试目的
对比Hadoop/Spark的写入算法,进行数据容量100G写入操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量100G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的写入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景2:
数据容量500G时,进行写入算法的基准测试
用例名称
数据量500G,写入功能的基准测试
算法
写入
验证功能
Hadoop/Spark的写入测试
测试目的
对比Hadoop/Spark的写入算法,进行数据容量500G写入操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量500G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的写入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景3:
数据容量1T时,进行写入算法的基准测试
用例名称
数据量1T,写入功能的基准测试
算法
写入
验证功能
Hadoop/Spark的写入测试
测试目的
对比Hadoop/Spark的写入算法,进行数据容量1T写入操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量1T
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的写入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
4.1.3Hadoop/Spark导入算法的基准测试
场景1:
数据容量100G时,进行导入算法,查看服务器的相关性能指标
用例名称
数据量100G,导入功能的基准测试
算法
导入
验证功能
Hadoop/Spark的导入测试
测试目的
对比Hadoop/Spark的导入算法,进行数据容量100G导入操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量100G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的导入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景2:
数据容量500G时,进行导入算法,查看服务器的相关性能指标
用例名称
数据量500G,导入功能的基准测试
算法
导入
验证功能
Hadoop/Spark的导入测试
测试目的
对比Hadoop/Spark的导入算法,进行数据容量500G导入操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量500G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的导入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景3:
数据容量1T时,进行导入算法,查看服务器的相关性能指标
用例名称
数据量1T,导入功能的基准测试
算法
导入
验证功能
Hadoop/Spark的导入测试
测试目的
对比Hadoop/Spark的导入算法,进行数据容量1T导入操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量1T
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的导入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
4.1.4Hadoop/Spark导出算法的基准测试
场景1:
数据容量100G时,进行导出算法,查看服务器的相关性能指标
用例名称
数据量100G,导出功能的基准测试
算法
导出
验证功能
Hadoop/Spark的导出测试
测试目的
对比Hadoop/Spark的导出算法,进行数据容量100G导出操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量100G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的导出代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景2:
数据容量500G时,进行导出算法,查看服务器的相关性能指标
用例名称
数据量500G,导出功能的基准测试
算法
导出算法
验证功能
Hadoop/Spark的导出测试
测试目的
对比Hadoop/Spark的导出算法,进行数据容量500G导出操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量500G
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的导出代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景3:
数据容量1T时,进行导出算法,查看服务器的相关性能指标
用例名称
数据量1T,导出功能的基准测试
算法
导出
验证功能
Hadoop/Spark的导出测试
测试目的
对比Hadoop/Spark的导出算法,进行数据容量1T导出操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量1T
2.对redpower服务器进行资源监控
3.客户端执行Hadoop/Spark的导出代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
4.2负载测试
4.2.1Hadoop/Spark并行读取/写入算法的负载测试
场景1:
数据容量100G时,并行读取/写入算法的混合测试场景
用例名称
数据量100G,并行读取/写入的负载测试
算法
读取/写入
验证功能
Hadoop/Spark并行读取/写入测试
测试目的
对比Hadoop/Spark的并行读取/写入,进行数据容量100G操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量100G
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的读取/写入算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景2:
数据容量500G时,并行读取/写入算法的混合测试场景
用例名称
数据量500G,并行读取/写入的负载测试
算法
读取/写入
验证功能
Hadoop/Spark并行读取/写入测试
测试目的
对比Hadoop/Spark的并行读取/写入,进行数据容量500G操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量500G
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的读取/写入算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景3:
数据容量1T时,并行读取/写入算法的混合测试场景
用例名称
数据量1T,并行读取/写入的负载测试
算法
读取/写入
验证功能
Hadoop/Spark并行读取/写入测试
测试目的
对比Hadoop/Spark的并行读取/写入,进行数据容量1T操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量1T
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的读取/写入算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
4.2.2Hadoop/Spark并行导入/导出算法的负载测试
场景1:
数据容量100G时,并行导入/导出算法的混合场景测试
用例名称
数据量100G,并行导入/导出的负载测试
算法
导入/导出
验证功能
Hadoop/Spark并行导入/导出测试
测试目的
对比Hadoop/Spark的并行导入/导出,进行数据容量100G操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量100G
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的导入/导出算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景2:
数据容量500G时,并行读取/写入算法的混合场景测试
用例名称
数据量500G,并行导入/导出的负载测试
算法
导入/导出
验证功能
Hadoop/Spark并行导入/导出测试
测试目的
对比Hadoop/Spark的并行导入/导出,进行数据容量500G操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量500G
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的导入/导出算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景3:
数据容量1T时,并行读取/写入算法的混合场景测试
用例名称
数据量1T,并行导入/导出的负载测试
算法
导入/导出
验证功能
Hadoop/Spark并行导入/导出测试
测试目的
对比Hadoop/Spark的并行导入/导出,进行数据容量1T操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量1T
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的导入/导出算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
4.3稳定性测试
4.3.1Hadoop/Spark并行读取/写入/导入/导出算法,7*24小时稳定性测试
场景1:
数据容量100G时,并行读取/写入/导入/导出稳定性测试
用例名称
数据量100G,并行读取/写入/导入/导出稳定性测试
算法
读取/写入/导入/导出
验证功能
Hadoop/Spark并行读取/写入/导入/导出稳定性测试
测试目的
对比Hadoop/Spark的并行读取/写入/导入/导出,进行数据容量100G操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量100G
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法,运行时长7*24小时
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景2:
数据容量500G时,并行读取/写入/导入/导出稳定性测试
用例名称
数据量500G,并行读取/写入/导入/导出稳定性测试
算法
读取/写入/导入/导出
验证功能
Hadoop/Spark并行读取/写入/导入/导出稳定性测试
测试目的
对比Hadoop/Spark的并行读取/写入/导入/导出,进行数据容量500G操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量500G
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法,运行时长7*24小时
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
场景3:
数据容量1T时,并行读取/写入/导入/导出稳定性测试
用例名称
数据量1T,并行读取/写入/导入/导出稳定性测试
算法
读取/写入/导入/导出
验证功能
Hadoop/Spark并行读取/写入/导入/导出稳定性测试
测试目的
对比Hadoop/Spark的并行读取/写入/导入/导出,进行数据容量1T操作时,redpower服务器运行情况
前置条件
操作步骤
1.准备数据容量1T
2.对redpower服务器进行资源监控
3.客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法,运行时长7*24小时
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop
Spark
Spark
5测试交付项
测试阶段
提交文档
文档要求
测试方案
《XXX大数据平台-性能测试方案》
1、测试经理制定项目的测试计划
测试设计及实现
《XXX大数据平台-性能测试用例》
1、测试人员编写项目所有测试用例
2、评审通过后导入到禅道中,并上传至SVN服务器
测试报告
《XXX大数据平台-性能测试报告》
1、主导测试完成测试报告
2、包括性能指标分析图
6测试执行准则
6.1测试启动
在开始进行测试时必需满足的条件。
这些条件涉及:
1.《开发提测checklist》内容符合要求,已提交至测试部门。
2.系统功能测试已通过。
3.性能测试方案、测试流程、测试进度的制订已完成,并经过严格评审。
4.性能测试所需的资源已经到位。
5.测试组人员配置合理,测试人员的工作技能符合测试要求。
6.性能测试所需的软、硬件和操作系统等测试环境准备完毕。
6.2测试执行
1.根据测试方案相关测试环境的内容,检查测试环境(包括硬件及软件),确保测试环境符合要求。
2.对于测试用例的描述信息,按测试意图对每一个测试用例设计操作流程中重要环节的动作、输入数据和预期的反映(注:
此流程可不必详细到每一个具体的步骤,但应确保测试执行人员可以据此信息顺利执行,而不必询问测试用例的开发人员)。
3.执行测试活动,并记录执行日期,对于每个测试用例还应记录关键操作步骤、输入数据以及任何与测试人员预期结果不符的系统响应。
4.每个测试用例执行完毕后,视具体情况对系统进行备份或根据备份数据对系统进行恢复。
6.3测试完成
1.达到性能要求。
即在指定的负载下,系统的性能指标达到测试标准