1、客户端软件验收测试介入规范 Version 软件验收测试标准版本号:修改日期:版本修改记录版本作者评审变更描述日期0.10.20.3目 录1.前言41.1.文档范围41.2.目标42.验收测试介入标准43.验收标准43.1.缺陷严重级别定义43.2.各缺陷级别的现象举例53.3.验收通过标准64.验收测试内容65.附件65.1.缺陷分析报告模版65.2.测试用例模版71. 前言1.1. 文档范围 本文档定义了软件的验收测试标准。包括验收测试需要的交付件、缺陷级别定义、验收通过标准和验收测试内容等。1.2. 目标为软件验收测试提供指导。验收测试结果只对PM判断是否上线起参考作用,不对最终的软件质
2、量进行跟踪负责。2. 验收测试介入标准乙方应在双方约定时间内提供以下交付件,供做软件验收测试和评估。无法提供以下材料,不进入验收测试。其他说明:被退回次数超过3次(含)将不再接收验收测试。表1 交付件说明序号项目名称递交日期备注1.系统设计文档已提交(2009.11)评审修改完成的系统设计文档2.测试用例集2009.12.25软件测试用例、测试用例执行记录。用例3.缺陷列表2009.12.25验收测试前的缺陷分析报告BUG列表(含遗留bug)。4.测试报告2009.12.25验收测试版本的软件测试报告参考附件模板测试报告模板5.软件测试这里需要提供测试软件。开发那边是否还有别的需要,不在这里列
3、举。2009.12.25服务器端软件以及客户端软件(除种植系统)6.客户端开发提供realease note2009.12.25说明本次测试版本号(更新功能、bug列表) 3. 验收标准3.1. 验收退回标准退回情况分为两种:第一种,测试根据乙方提供测试用例,挑选主流程业务的测试用例,建立“预测试用例集”(类似于冒烟测试用例集,一个系统基本取两到三个用例),预测试用例集中有一条用例执行不通过,本次提交测试退回。第二种:不达到验收测试标准(参见3.2章),验收测试不通过,给予退回。下次提交测试时间:退回之日(不含退回日)起五个工作日后提交新的验收版本。3.2. 验收通过标准测试按提供的测试用例集
4、和自由测试方式进行验收测试,测试覆盖率达到70%以上,要求验收测试发现的缺陷数量不大于表4的数据。缺陷来源不局限于用例集。表4 验收通过标准阶段BlockerMajorNormal验收测试0520如果验收测试结果不符合表4要求,测试给予本次验收测试的结果为Fail。3.3. 缺陷严重级别定义缺陷严重级别分为3级,各个级别定义如表2。表 2 缺陷严重级别描述级别名称详细描述Blocker 致命缺陷 程序无法运行的错误 测试无法执行的错误Major 严重缺陷 链接错误 前后模块不一致 需求问题 实现与需求不符 出现调试代码 功能性错误 程序性能低下 程序引起的安全问题Normal一般缺陷 页面格式
5、错误 文案错误 图片错误 兼容性错误 校检错误 关联性错误 配置问题 功能易用程度低 合理建议 遗留问题 暂时无法实现技术问题3.4. 各缺陷级别的现象举例为了更合理的定义缺陷级别,表3列举各级别的现象描述。表3中罗列的缺陷描述不能表达所有的缺陷现象,因此仅作为参考,如果有表3之外的缺陷现象发生,按照表2定义的级别描述来确定其严重级别。表3 各缺陷级别的现象举例级别常见缺陷现象Blockerl 灾难性的缺陷,会对系统造成致命影响,例如系统崩溃、应用程序死掉、应用程序异常退出、通讯意外中断或系统进入死循环、死机、黑屏、数据丢失、用户无法登录等情况。如果此级别的问题存在,用户是绝对不能接受的。l
6、基本功能无法实现或遗漏,如某一应用程序启动不了或关键功能无法运行,关键数据错失较多。l 性能问题,如操作实时失败、数据库读写效率低l 无法正常安装。l 升级脚本错误,使升级失败。l 内存使用错误,如内存泄漏、内存溢出、数组越界等。l 进程资源不能释放。l 正常情况下基本功能无法工作,例如不能登录、不能搜索商品、商品不能交易等l 对现有应用系统造成恶略影响Majorl 基本功能存在部分问题或次要功能无法实现或遗漏。l 程序抛出异常信息没有处理,如空指针、通讯异常等。l 安装后文件不全、文件错误造成基本功能无法实现l 前后台版本不兼容。l 客户端功能实现与需求不符l 测试中发现死机、重启、黑屏等,
7、但概率较低l 主要界面显示有明显的错误Normall 对系统造成重要影响,存在的缺陷会影响到用户的使用,但不会对主要功能造成威胁。例如产品非主要功能实现不完全或不合理、实现了超出需求范围的功能、缺陷引起操作失败、产生非预期的结果等。如果此级别的问题存在,用户会不满并有可能进行投诉,但在一定条件下用户会容许此类问题的存在l 主要界面显示不合理或者显示错误l 按键设置不合理,或者主要功能的操作不便利l 次要的功能实现不完全l 对系统影响很小,不涉及主要功能的一些界面问题,例如涉及某些次要界面的操作便利性,告警消息显示不正确等。一般来说,用户会容许此类少量问题的存在。l 次要界面显示不合理或者不友好l 和用户手册不一致,但更符合用户操作习惯l 性能稍低,例如快速输入时界面显示的字符滞后l 为了适应更多数用户的使用习惯,可以改善和增强的地方l 建议意见l 遗留的小概率问题4. 验收测试内容验收测试内容依据需要提供依据标准。5. 附件5.1. 测试报告模版5.2. 预测试用例集合 Page 7 of 7
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1