软件测试在某企业的实际应用制造企业软件测试质量分析.docx
《软件测试在某企业的实际应用制造企业软件测试质量分析.docx》由会员分享，可在线阅读，更多相关《软件测试在某企业的实际应用制造企业软件测试质量分析.docx（23页珍藏版）》请在冰豆网上搜索。
软件测试在某企业的实际应用制造企业软件测试质量分析
软件测试在某企业的实际应用
某制造企业软件测试质量分析
目录
软件测试在某企业的实际应用1
某制造企业软件测试质量分析1
某制造企业软件测试质量分析1
1简介2
2测试内容3
3测试进度4
4功能测试6
4.1BUG级别及状态定义6
4.2BUG整体情况统计7
4.3BUG修复情况8
4.4遗留BUG情况说明9
5性能测试10
5.1场景执行情况10
5.2业务平均响应时间11
5.3系统资源情况13
6文档测试14
6.1文档测试基本定义14
6.2文档测试结果15
6.3文档测试BUG分布情况15
7建议16
8测试结论17
某制造企业软件测试质量分析
[摘要]本文从实际的项目视角出发，基于公司IndiOffice产品，对一个实际的ＯＡ系统项目的相关内容进行功能测试、性能测试、安全测试、文档测试，并对测试出来的内容进行适当的修改建议。
其中功能测试方面深入到具体系统的业务细节如公司发文、公司收文等，对其进行各功能模块的详细测试以及相关的流程测试；性能测试方面进行了压力测试、容错测试、稳定性测试，并进行了单一场景和混合场景的多方面测试；安全测试方面，对服务器进行了安全漏洞扫描、安全静态检查；在文档测试方面，对项目过程中按ＩＳＯ９０００进行了相应测试，确保系统质量。
[关键词]IndiOffice、办公自动化、公司发文、公司收文、OA系统
1简介
编写背景
某企业办公自动化系统（以下简称“办公自动化系统”、“OA系统”）是在局域网上运行的，用于处理、传输和发布公司公文等信息的管理信息系统。
在该系统处于上线试运行前的验收阶段，慧点科技公司对该系统进行了验收测试工作。
测试过程中进行了功能测试、文档测试、性能测试和安全测试等四类测试。
本文对这四类测试进行了概要的总结。
测试目的
1．从最终用户角度，检验某企业OA系统是否符合各种功能和技术需求，为用户接收OA系统提供决策依据。
2．通过验收测试，尽可能发现并协助排除系统中可能存在的缺陷。
测试类型
功能测试（包括流程测试）、性能测试、安全测试、文档测试
测试类型定义
1．验收测试
确定系统是否符合其验收准则，是客户确定是否接收此系统的正式测试。
2．功能测试
在与真实环境相似的模拟环境上，测试系统是否逐项满足了业务需求，屏幕显示及打印是否规范、准确，系统使用是否方便、界面是否友好等。
测试要确保业务需求书中的功能均被实现，没有遗漏的情况发生。
本次的功能测试中包括典型流程的测试。
3．性能测试
以真实的业务为依据，选择有代表性的、关键的业务操作设计测试用例，以评价系统的当前性能；通过模拟大量用户的重复执行测试，可以确认性能瓶颈并优化和调整应用，目的在于寻找到瓶颈问题。
通过性能测试，可以得到与并发用户数相关联的系统性能指标数据。
4．文档测试
为保证系统的一致性和可维护性，对开发过程产生的所有文档的完整性、规范性，以及与需求的一致性等方面进行审查。
5．安全测试
主要通过多种安全检查工具以及一系列安全标准要求来验证系统或应用软件的安全防护能力，并及时发现系统中存在的安全隐患，根据发现的安全隐患建议客户采取相应的措施。
2测试内容
测试类型
测试方法
功能点
备注
功能测试
功能测试
包括个人办公、公文管理、综合办公、模块管理、应用管理等模块
办公自动化系统
流程测试
公司发文、公司收文、签报等公文和文件流转流程；会议室预定、车辆、办公用品管理、通用审批等日常事务处理流程；以及信息发布流程等
办公自动化系统
测试类型
测试方法
测试场景
备注
性能测试
压力测试
容量测试
单场景：
打开OA公文
OA系统生产环境
混合场景：
新建会议预定、打开待办文件、新建公文、打开通知公告、检索
OA系统生产环境
稳定性测试
混合场景：
新建会议预定、打开待办文件、新建公文、打开通知公告、检索
OA系统生产环境
测试类型
测试方法
测试范围
备注
安全测试
安全漏洞扫描
OA系统服务器、邮件服务器
安全静态检查
OA系统服务器、邮件服务器、应用软件（domino）
测试类型
文档类型
文档名称
文档规模（页）
文档测试
需求规格说明书
某企业办公系统需求说明书
114
安装配置手册
Indi.OfficeV5办公自动化系统实施安装配置手册
73
使用手册
Indi.OfficeV5系统管理员手册
57
Indi.OfficeV5办公自动化系统公文流转使用手册
93
3测试进度
序号
任务名称
工期
开始时间
完成时间
资源
备注
1
测试前期准备阶段
6.5工作日
ＸＸＸＸ
ＹＹＹＹ
1.1
前期调研，确定人员和工作方式
5工作日
ＸＸＸＸ
ＹＹＹＹ
Ａ、Ｂ
1.2
建立工作环境
1.5工作日
ＸＸＸＸ
ＹＹＹＹ
配置管理组
2
测试需求分析阶段
4.5工作日
ＸＸＸＸ
ＹＹＹＹ
2.1
项目组接受业务培训，了解用户需求，收集客户文档
0.5工作日
ＸＸＸＸ
ＹＹＹＹ
开发方,客户,项目组全体
2.2
熟悉业务和系统，细化需求
3工作日
ＸＸＸＸ
ＹＹＹＹ
项目组全体
2.3
提交功能点列表
1工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
3
测试计划制定阶段
7.5工作日
ＸＸＸＸ
ＹＹＹＹ
3.1
制定项目整体计划
1工作日
ＸＸＸＸ
ＹＹＹＹ
Ａ
3.2
制定功能测试方案
1工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
3.3
制定安全和可恢复测试方案
1工作日
ＸＸＸＸ
ＹＹＹＹ
非功能组
可恢复测试延期执行
3.4
性能测试典型业务选择
1工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
3.5
制定性能测试方案
2工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
3.6
内部评审
1工作日
ＸＸＸＸ
ＹＹＹＹ
功能组,性能组,非功能组
3.7
计划评审
0.5工作日
ＸＸＸＸ
ＹＹＹＹ
客户,项目组全体
4
功能测试阶段
13工作日
ＸＸＸＸ
ＹＹＹＹ
4.1
测试设计阶段
6工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
4.1.1
设计功能测试用例
6工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
4.1.2
测试用例评审
1工作日
ＸＸＸＸ
ＹＹＹＹ
客户,功能组
4.2
第一轮功能测试执行阶段
6.5工作日
ＸＸＸＸ
ＹＹＹＹ
4.2.1
接收测试阶段
0.5工作日
ＸＸＸＸ
ＹＹＹＹ
开发方,项目组全体
4.2.2
执行功能测试
5工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
4.2.3
第一轮功能测试总结
1工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
里程碑
0工作日
ＸＸＸＸ
ＹＹＹＹ
4.3
功能测试回归阶段
6工作日
ＸＸＸＸ
ＹＹＹＹ
4.3.1
测试用例维护
2工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
4.3.2
执行回归测试
1.5工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
4.3.3
执行外网邮件遗留问题测试
2.5工作日
ＸＸＸＸ
ＹＹＹＹ
测试工程师
4.4
功能测试总结阶段
3工作日
ＸＸＸＸ
ＹＹＹＹ
4.4.1
总结功能测试报告
2工作日
ＸＸＸＸ
ＹＹＹＹ
功能组,文档组
4.4.2
评审功能测试报告
0.5工作日
ＸＸＸＸ
ＹＹＹＹ
项目组
4.4.3
外网邮件遗留问题测试后文档补充
0.5工作日
ＸＸＸＸ
ＹＹＹＹ
项目组
5
文档审查阶段
4工作日
ＸＸＸＸ
ＹＹＹＹ
5.1
执行文档审查
3工作日
ＸＸＸＸ
ＹＹＹＹ
功能组
5.2
总结、提交文档审查报告
1工作日
ＸＸＸＸ
ＹＹＹＹ
功能组,文档组
6
性能测试阶段
9.5工作日
ＸＸＸＸ
ＹＹＹＹ
6.1
测试环境搭建阶段
1工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
6.2
测试准备阶段
1工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
6.3
脚本录制和调试
1工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
6.4
场景设计
1工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
6.5
性能测试执行（压力、容量）
1工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
6.6
性能测试执行（稳定性）
1工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
6.7
编写性能测试报告
3工作日
ＸＸＸＸ
ＹＹＹＹ
性能组
6.7
评审性能测试报告
0.5工作日
ＸＸＸＸ
ＹＹＹＹ
项目组
7
安全测试阶段
3.5工作日
ＸＸＸＸ
ＹＹＹＹ
7.1
执行安全测试（漏洞扫描、静态检查）
2工作日
ＸＸＸＸ
ＹＹＹＹ
非功能组
7.2
编写安全测试报告
1工作日
ＸＸＸＸ
ＹＹＹＹ
非功能组
7.3
评审安全测试报告
0.5工作日
ＸＸＸＸ
ＹＹＹＹ
项目组
4功能测试
4.1BUG级别及状态定义
BUG级别定义
级别
名称
描述
一级
致命性BUG
具有严重破坏性，使得系统功能遗漏、引起系统崩溃、数据丢失。
二级
严重性BUG
规定的内容没有实现或者实现与设计不符。
三级
告警性BUG
与需求不符合，但是不影响业务正常运行。
四级
建议性BUG
满足需求，但存在设计或者实现上的不合理之处，不影响业务正常运行。
BUG状态定义
名称
操作者
描述
新建
测试人员
当测试人员新发现BUG时，将其置为新建。
打开
开发人员
开发人员确认的BUG，将其置为打开。
已关闭
测试人员
测试人员确认BUG已经修改，将其置为已关闭。
待验证
开发人员
开发人员确认已经修改的BUG，将其置为待验证。
待复现
测试人员
由测试人员提出，但无法再现的BUG，将其置为待复现。
重开
测试人员
开发人员确认已经修改的BUG，经测试人员回归测试BUG仍然存在，将其置为重开。
拒绝
开发人员
由测试人员提出，但开发人员认为不是BUG的问题，经测试人员、开发人员和客户方共同商讨确认后，将其置为拒绝。
延期
测试人员
测试人员和开发人员、客户方共同商讨，综合考虑后在该阶段不处理需要延期的BUG，将其置为延期。
4.2BUG整体情况统计
功能模块
测试用例数
所发现所有BUG的状态
有效BUG
打开
待复现
待验证
拒绝
延期
已关闭
重开
BUG数小计
致命性
严重性
告警性
建议性
有效BUG数小计
公共信息
99
0
0
0
0
0
0
0
0
0
0
0
0
0
公文管理
88
0
0
1
0
1
6
0
8
0
2
2
0
4
流程-公共信息
16
0
0
0
0
0
0
0
0
0
0
0
0
0
流程-公文管理
37
0
0
0
0
0
0
0
0
0
0
0
0
0
流程-综合办公
22
0
0
0
0
0
2
0
2
0
1
1
0
2
通用功能
32
0
1
0
0
0
5
0
6
0
4
1
0
5
首页面
116
0
0
0
0
0
0
0
0
0
0
0
0
0
系统管理
163
0
0
1
0
0
4
0
5
0
2
2
1
5
总计
1046
0
1
2
0
1
17
0
21
0
9
6
1
16
注：
1.上表中数值单位为个；
2.有效BUG是指除“拒绝”和“待复现”外的BUG，遗留问题包括“打开”、“待验证”、“重开”、“延期”四个状态。
Ø有效BUG问题级别分布图
Ø所有发现的BUG问题状态分布图
4.3BUG修复情况
功能模块
问题总数
已修正
未修正
个人邮箱
0
0
0
公共信息
0
0
0
公文管理
8
7
1
流程-公共信息
0
0
0
流程-公文管理
0
0
0
流程-综合办公
2
2
0
通用功能
6
6
0
首页面
0
0
0
系统管理
5
5
0
总计
21
20
1
4.4遗留BUG情况说明
OA系统验收测试结束后遗留BUG总数是1个。
Ø延期BUG处理方式
缺陷ID
测试类别
功能模块
子系统
摘要
处理方式（开发方建议）
454
公文管理
发文
套打错误提交后重新套打的解决思路
5性能测试
5.1场景执行情况
测试类型
业务选取
测试时间
场景
执行脚本
并发用户数
并发策略
执行结果
思考时间
时间间隔
同步点设置
成功
失败
混合业务
混合业务
（2012-6-23）22:
03:
53至23:
00:
47
（2012-6-27）11:
15:
06至15:
15:
17
内网混合_50
内网混合_10
1打开待办文件
2新建会议预定
3新建发文
4打开通知公告
5检索
1打开待办文件
50
3
无
无
无
无
无
无
50
0
4247
0
2新建会议预定
1
无
无
无
737
0
稳定性测试
3新建公文
1
无
无
无
680
0
4打开通知公告
3
无
无
无
5535
0
5检索
2
无
无
无
4358
0
5.2业务平均响应时间
（以下为各测试场景下业务的评价响应时间曲线）
Ø执行混合场景用户压力测试时两个响应时间较长的业务梯度及响应曲线：
用户数（单位：
个）
5
10
15
20
25
30
35
40
45
50
检索
19.266
39.386
59.266
68.922
73.998
79.125
81.074
85.984
86.984
86.032
打开通知公告
22.899
59.668
77.199
79.762
80.936
80.172
81.053
80.984
81.26
81.198
Ø“检索”业务平均响应时间曲线
Ø“打开通知公告”业务平均响应时间曲线
5.3系统资源情况
Ø混合场景稳定性测试
通过定时对服务器资源监测，服务器CPU，磁盘，内存总体运行良好。
但是在每天用户上班时间（服务器并发量大）服务器内存占用变大，服务器性能降低。
建议升级内存。
6文档测试
6.1文档测试基本定义
文档测试基本定义
阶段
1级
2级
3级
4级
需求说明书
需求遗漏
需求描述错误；存在二义性。
文档字面错误
冗述或过于简单
设计文档
遗漏需求
逻辑错误，或描述不清，
存在二义性。
文档字面错误
冗述或过于简单
用户手册
功能遗漏
操作描述方法错误或
描述不清
文档字面错误
冗述或过于简单
安装配置手册
主要安装步骤或配置遗漏
操作描述方法错误或
描述不清
文档字面错误
冗述或过于简单
文档测试检查点
文档完备性
文档内容充分性
文字明确性
文档描述的正确性，联机帮助文档中链接的正确性
易读性
检查文档和文档的一致性
检查程序和文档的一致性
检查文档间的可追溯性
检查文档是否符合指定的相应模板和规范
6.2文档测试结果
文档类型
1级
2级
3级
4级
<总计>
安装配置手册
0
0
1
34
35
管理员手册
1
0
1
4
6
设计说明书
0
0
2
1
3
使用手册
3
14
35
6
58
需求规格说明书
4
1
9
2
16
<总计>
8
15
48
47
118
6.3文档测试BUG分布情况
图7-1文档测试BUG分布图
7建议
功能测试
根据OA系统的验收测试结果，建议在被测系统的后续开发和维护过程中不断加强对系统的GUI规范，操作易用性、设计合理性和安全性方面的完善：
如界面风格统一性问题，包括界面的文字、功能按钮、选择列表、提示信息等要素，使系统更加美观，易用；还存在删除、退出操作时没有询问提示等易用性方面的问题；系统登录密码，邮箱密码没有输错次数限制将在后续开发中实现；另外，对系统中可输入字符的编辑框做必要的控制，如字符的长度、格式、非法字符也等可进一步增强系统的健壮性。
性能测试
通过压力、容量和稳定性测试，系统性能指标基本可满足目前系统的使用。
但由于在混合场景的稳定性测试时发现系统有CPU较高的情况，故建议在系统的实际运行中注意监控系统的资源利用情况。
当出现资源利用率较高，或者系统的实际用户数较大幅增加的情况时，考虑对系统进行软件的调优，
调优从以下方面建议：
1、修改性能测试过程中发现的存在问题的页面组件。
2、建议调整OA系统http线程数配置，减少此进程的CPU占用率。
若软件方面调优后系统的性能指标仍不能满足系统发展的需求，建议增加CPU数量。
另外，在调整软硬件后进行需要进行相应的测试工作以检查系统的性能情况。
安全测试
建议完善主机管理工作部分内容，如：
补丁更新机制，形成相应的管理制度，也可以在内网部署升级服务器，并安排专门的人员来管理；建立内网连接服务器端口开放制度及策略，并安排专门的人员来管理。
文档测试
建议进一步完善文档，为系统今后的维护工作打好基础；需求规格说明书较实际系统滞后，建议进一步更新；安装配置手册写的比较简单，建议进一步完善。
8测试结论
功能测试
经过两个轮次的功能及典型流程测试、后续的所有遗留BUG回归测试，共发现功能和流程的有效BUG的总数为166个，通过测试发现，系统的致命性BUG很少，严重性BUG共44个，占有效BUG总数的近35%。
经过开发人员的修改，“已关闭”的BUG总数为161个，占有效BUG总数的97%，修复率比较高，这部分BUG的修改使得系统功能得到了进一步的完善。
目前系统遗留BUG总数为5个,状态全部是“延期”。
其中两个遗留BUG涉及的功能点在目前的系统中已经不存在，不会给系统带来任何潜在的危害；另两个遗留BUG是关于系统的安全问题的，中国投资有限公司已经专门立项解决这两个问题；最后两个遗留BUG属于功能小瑕疵，这两个问题的存在并不影响系统的正常使用，并且已经提交到开发方产品部门解决。
整个验收测试结束后，系统的易用性、健壮性、功能安全等方面均有一定程度的提高。
性能测试
OA系统生产环境：
本次生产环境测试针对“打开OA公文”业务进行性能测试，并对被测服务器的资源情况进行全程监控，通过测试，单点登录场景用户并发数可以达到100个，内网场景的业务稳定点在50个并发用户。
通过对目前系统用户数及未来可能的发展趋势的估算，这两个业务的性能指标基本可以满足一定时间系统用户的需求。
打开公文的CPU的资源利用率维持在10%左右，资源情况良好。
打开公文的CPU的资源利用率维持在10%左右，资源情况良好。
OA系统内测环境：
在OA系统的测试环境上，测试人员针对打开通知公告、发文检索、打开待办文件、新建发文及新建会议预定五个典型业务进行了混合场景的压力和稳定性测试。
通过压力测试得到混合场景的并发点为15个用户，该时业务均可正常实现，但有两个业务的平均响应时间较长，大约在一分钟左右。
在稳定性测试中对10个用户的混合场景进行了长时间负载的测试，测试结果表明被测业务的性能指标基本可以满足目前系统用户的需求。
网络性能、磁盘资源等性能状况良好，但CPU的资源利用率一直很高，基本上全部被HTTP的进程占取。
建议在系统的实际运行中注意监控系统的资源利用情况，当出现资源利用率较高，或者系统的实际用户数较大幅增加的情况时，考虑对系统进行软件的调优或硬件设备的增加，并进行相应的测试工作。
安全测试
安全静态检查测试中共发现系统已经更新了最新的补丁，且Domino系统也更新了IBM最新的补丁。
安全漏洞扫描发现系统目前有一些需要关闭的端口还没有关闭，而有一些开发方提供的需要开放的端口，目前处于关闭状态
注：
测试结束后，需要系统集成商对端口和补丁进行了设置或更新。
文档测试
文档编写不够完整，各文档有不同程度的遗漏、描述错误、图文不符、文文不一致，以及一些描述不清或错别字的问题。
需求规格说明书较实际系统滞后，安装配置手册写的比较简单，可操作性较差，用户手册有一些遗漏和描述错误的地方。
附：
参考书籍：
1、RonPatton《软件测试》机械工业出版社2002
2、张克东等《软件工程与软件测试自动化教程》电子工业出版社2002
3、Dustin,E.《软件自动化测试：
引入、管理与实施》电子工业出版社2003
4、JamesA.Whittaker《实用软件测试指南》电子工业出版社2003
5、Zadrozny《J2EE性能测试》电子工业出版社2003
6、Jones,C.《软件评估、基准测试与最佳实践》机械工业出版社2003
7、EdwardKit《软件测试过程改进》机械工业出版社2003
8、HungQ.Nguyen《Web应用测试》电子工业出版社2003
9、RobertV.Binder《面向对象系统测试模型视图与工具（影印版）》
10、Rakitin,S.K.《软件验证与确认的最佳管理办法》电子工业出版社2002
11、麦格雷戈《面向对象的软件测试》机械工业出版社2002
参考网络资料
升级会员 