CRM系统软件测试报告.docx

1、CRM系统软件测试报告CRM系统软件测试总结报告1引言1.1编写目的编写该测试总结报告主要有以下几个目的1 通过对测试结果的分析,得到对软件质量的评价2 分析测试的过程,产品,资源,信息,为以后制定测试计划提供参考3 评估测试测试执行和测试计划是否符合4 分析系统存在的缺陷,为修复和预防 bug 提供建议1.2背景1.3用户群主要读者：crm系统管理人员,crm系统测试经理其他读者：crm系统相关人员。1.4定义严重 bug：出现以下缺陷,测试定义为严重 bug系统无响应,处于死机状态,需要其他人工修复系统才可复原。点击某个菜单后出现Thepagecannotbedisplayed或者返回异常

2、错误。进行某个操作增加、修改、删除等后,出现Thepagecannot bedisplayed 或者返回异常错误当对必填字段进行校验时,未输入必输字段,出现Thepagecannotbedisplayed 或者返回异常错误系统定义不能重复的字段输入重复数据后,出现Thepagecannot bedisplayed 或者返回异常错误1.5测试对象略1.6测试阶段系统测试1.7测试工具Bugzilla 缺陷管理系统2测试概要crm系统项目后台管理系统测试从 2018 年 11 月 15 日开始到 2018年 11月 23日结束,共持续 7天,测试功能点 95 个,执行 2385 个测试用例,平均每

3、个功能点执行测试用例 13.7 个, 测试共发现 427 个 bug,其中严重级别的 bug68 个,无效 bug44 个,平均每个测试功能点2.2 个 bug。crm系统项目总共发布 11 个测试版本,其中 B1B5 为计划内迭代开发版本针对项目计划的基线标识,B6B8 为回归测试版本。计划内测试版本,B1B4 测试进度依照项目计划时间准时完成测试并提交报告,其中 B4 版本推迟一天发布版本,测试通过增加一个人日, 准时完成测试。B5 版本推迟发布 2 天,测试增加 2 个人日,准时完成测试。B6B11 为计划外回归测试版本,测试增加 5 个工作人日的资源,准时完成测试。crm系统测试通过

4、Bugzilla 缺陷管理工具进行缺陷跟踪管理,B1B4 测试阶段都有详细的bug 分析表和阶段测试报告。2.1测试执行此次测试严格按照项目计划和测试计划执行,按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略,在测试执行中都有体现,在测试执行过程中,依据测试计划和测试用例,对系统进行了完整的测试2.2测试用例2.3.1功能性系统实现的主要功能,包括查询,添加,修改,删除。系统实现的次要功能,包括为用户分配酒店,为用户分配权限,渠道酒店绑定,渠道RATE 绑定,权限控制菜单按钮。需求规定的输入输出字段,以及需求规定的输入限制2.3.2易用性操作按钮提示信息正确性,一致性,可理解

5、性限制条件提示信息正确性,一致性,可理解性必填项标识输入方式可理解性中文界面下数据语言与界面语言的一致性3测试环境3.1.1软硬件环境硬件环境应用服务器数据库服务器客户端硬件配置CPU：Intel Celeron CPU 2.40GHz stepping 01Memory： 1048256k HD：ST380817AS80GSATACPU ： IntelCeleron CPU 2.40GHz stepping 01 Memory： 1048256k HD：ST380817AS 80G SATACPU：Intel Celeron CPU 2.40GHz stepping 01 Memory： 1

6、048256kHD ： ST380817AS 80GSATA软件配置OS：OS：CentOS 4.2MySQL 5.0.17 LinuxWindow 2000 Professional SP2 网络环境10M LAN10M LAN10M LAN3.1.2网络拓扑应用服务器、数据库服务器4测试结果4.1Bug趋势图此次黑盒测试总共发布 11 个版本,B1B5 为计划内迭代开发版本针对项目计划的基线标识,B6-B11 为进行的回归测试版本,bug 版本趋势图如下图所示：第一阶段,增量确认测试。时间从2018 年 11 月 15 日到 2018年 11月 19日。从 Bug 趋势图中可以看出,每个版

7、本的bug 数基本维持在 60 个左右。B1：从图中看到 B1 共有 33 个 BUG,因为 B1 版本有一个功能模块在 B2 版本才开始测试,B1 测试模块相对较少,所以 B1 版本 bug 相对较少。B2：由于 B1 中的一个功能模块增加到 Build 2 中进行测试,这一版本除了对 B1 中的BUG 进行验证同时对 B1 进行了回归测试,所以 B2 中的 bug 数相对 B1 出现了明显的增长趋势,B3：B3 版本因为有 B2 版本的 bug 验收测试,以及 B1,B2 的回归测试,共发现 67 个bug,和 B2 基本保持一致。B4：B4 版本 bug 数有一个下降的趋势,是因为 B4

8、 版本推迟发布,新增加了测试人员参与测试,对系统不够熟悉,以及测试时间紧张,部分测试用例没有执行,测试覆盖度不够,所以发现 bug 数呈下降趋势。B5：B5 版本 bug 数又有一个增加的趋势,主要是由于开发功能模块多,该版本需求定义不明确。第二阶段,BUG 验证和功能回归确认测试。时间从 2018 年 11 月20 日到 2018 年 11月 23日。B6 和 B7 进行了回归测试,B8 没有进行回归测试,只验证了 B1B7 的 bug。B6 ：进行第一轮回归测试,发现的 bug 数为 33 个,遗留一个问题,为数据字典种类默认值问题B7 ：进行第二轮回归测试,第一次回归测试没有涉及到权限控

9、制菜单按钮的测试,在本次回归测试的时候,重点进行了这个方面的测试,又发现了大量的权限相关的 bug。B8 ：B8 没有进行全面的回归测试,只验证了 B1B7 未通过验证的 bug,所以该版本的 bug 数明显比较少。B9 ：B9 版本进行了全面的回归测试,同时重点测试了权限控制,所以发先的 bug 数又呈现上升的趋势。测试发现 44 个 bug,严重级别的 bug 为 14 个,严重级别的 bug 集中在权限控制上,功能性严重 bug 没有发现,说明权限控制依旧不稳定,但是系统功能已经稳定。B10：B10 版本验证了 B9 版本发现得 bug,没有进行全面的回归测试。B10 版本在验证bug

10、的时候,重现打开 Bug6 个,新增 bug2 个,重新打开 bug 有 5 个为严重级别 bug,是关于权限控制的 bug,而新发现的 bug,1 个为严重级别的 bug,也是属于权限控制的。说明, 权限控制还存在着问题,需要修改权限管理 bug,重新发布版本后进行全面的回归测试。B10 版本新发现的 bug 详细分析见遗留 bug 分析。B11：B11 中验证了 B1B10 未验证的 bug,重点测试了权限控制,同时进行了查询,添加,删除,修改的功能测试,测试过程中未发现 bug。4.2Bug严重程度测试发现的 bug 主要集中在 normal 和 minor 阶段,属于一般性的缺陷,但是

11、测试的时候,出现了 68 个严重级别的 bug,出现严重级别的 bug 主要表现在以下几个方面系统主要功能没有实现添加数据代码重复后,出现的找不到页面的错误多语言处理,未考虑非语种代码的情况数据库设计未考虑系统管理员角色,导致用系统管理员进行操作的时候出现找不到页面错误权限控制异常严重级别 bug 按版本分布如下：由严重 bug 版本分布图可以看出,严重级别的 bug 版本趋势和 bug 版本趋势基本是一致的,但是,在 B7 和 B9 版本中年,严重级别的 bug 明显增多,主要原因是 B7 和 B9 版本测试了权限控制按钮功能,权限问题出现的严重级别的 bug 比较多。权限 bug 主要表现

12、：具有相应按钮操作的权限,页面无相应按钮,无法执行该功能无相应按钮操作权限,页面有相应按钮,点击按钮能出现权限异常错误有相应按钮操作权限,有相应按钮,执行该功能出现权限异常错误4.3Bug引入阶段由上图可以看出,主要为前台编码和页面设计方面的 bug,占到了全部 bug 的 2/3。4.4Bug引入原因由上图可以看出,主要为前台编码和易用性方面的 bug,占到了全部 bug 的 2/3。4.5Bug状态分布由 bug 状态图可以看出,未解决的 bug 有 4 个,主要是 B8 中新提交的 bug,是关于用户管理的 bug,因为用户权限管理需要重新设计所以,该部分的 bug 暂时没有解决。5测试

13、结论5.1功能性系统正确实现了通过数据字典管理基础数据的功能,实现了数据内容的多语言功能,实现了中英文界面。实现了基础数据管理,权限管理,上云企业基础信息管理,上云服务商基础信息管理,上云产品管理,用户管理的查询,添加,修改,删除的功能,上云企业评分查询等系统还实现了将权限控制细化到菜单按钮的功能。系统在实现用户管理下的权限管理功能时,存在重大的缺陷,权限控制不严密,权限设计有遗漏。5.2易用性现有系统实现了如下易用性：查询,添加,删除,修改操作相关提示信息的一致性,可理解性输入限制的正确性输入限制提示信息的正确性,可理解性,一致性现有系统存在如下易用性缺陷：界面排版不美观输入,输出字段的可理

14、解性差输入缺少解释性说明中英文对应的正确性中英文混排5.3可靠性现有系统的可靠性控制不够严密,很多控制是通过页面控制实现的,如果页面控制失效,可以向数据库插入数据,引发错误。现有系统的容错性不高,如果系统出现错误,返回错误类型为找不到页面错误,无法回复到出错前的状态5.4兼容性现有系统支持 window 下的 IE8以上的 浏览器和google浏览器,支持 linux 系统下的 IE 浏览器和火狐浏览器。现有系统未进行其他兼容性测试。5.5安全性现有系统控制了以下安全性问题：把某一个登录后的页面保存下来,不能单独对其进行操作不进行登录直接输入某一页面的 Url能否打开页面并进行操作不应该允许。

15、现有系统未控制以下安全性问题：用户名和密码应对大小写敏感登陆错误次数限制6分析摘要6.1覆盖率此次测试,所有测试用例都是在中文界面下执行,未在英文界面下执行,测试不包括英文界面下的测试,也不包括正对英文翻译的测试。此次测试,部分页面需求描述无明确的定义,对输入限制无详细定义,无明确的测试依据,在测试过程中,测试是根据输入字段含义,测试人员理解,以及和项目经理,开发人员沟通获得测试依据,无法保证测试依据的正确性和完整性,因此,没有进行完整的,正确的无效数据的测试,测试覆盖率不够,无法保证测试的有效性和正确性下面为此次测试测试用例覆盖率分析图：6.2遗留缺陷的影响1 缺陷描述：上云企业基础信息添加

16、页面, 距离字段无单位,建议增加单位缺陷影响：距离字段无单位说明,无衡量标准,用户易用性不好推迟原因：需求定义无单位定义,统一在升级版本中解决2 缺陷描述：上云企业基础信息管理模块,默认语言设置不一致。基础信息模块后,如下模块,语言显示为请选择缺陷影响：相同功能模块默认语言设置不一致,一致性不好 推迟原因：默认语言设置,目前无统一标准,升级版本中统一3 缺陷描述：tomcat 日志有乱码,日志无项目名称,查看不方便缺陷影响：其他项目日志都有项目名称,日志无项目名称,查看不方便推迟原因：目前的日志为了调试方便,显示了很多其它信息,在项目正式发布时会统一处理的。4 缺陷描述：上云评分管理缺陷影响：

17、该处因为是两个不同的单位时间,需要有另外一个单位补充字段补充所所填写内容的单位推迟原因：该缺陷单位补充字段本来存在,翻译不够准确,不能理解为补充单位的字段,需要等翻译完毕后再确认。5 缺陷描述：数据字典种类修改,默认值设置后,在调用该数据字典种类的数据字典,默认值无显示缺陷影响：数据字典种类的默认值设置后,不能显示设置的默认值,相当于数据字典种类默认值设置功能未实现推迟原因：该功能暂时不好实现,需要和和系统的默认语种一起处理。 6 缺陷描述：担保政策管理页面,Edposit Due缺少解释行输入描述信息缺陷影响：缺少解释性输入描述信息,用户不理解应该输入什么内容推迟原因：需求没有描述,需要解释

18、性说明文字由项目经理整理后,在升级版本中添加7 缺陷描述：多媒体添加,文件上传功能未实现缺陷影响：文件上传功能未实现推迟原因：该功能暂时不好完成,在下个版本中完成8 缺陷描述：参照点添加权限和修改权限单独控制出现权限异常错误缺陷影响：用户执行添加,修改时,出现权限异常,无法完成任务推迟原因：B9 版本发现该权限,B10 版本未通过验证,目前该模块开发人员调休,无法修改 bug,9 缺陷描述：上云企业与云服务商绑定关系权限控制出现权限异常错误缺陷影响：a权限控制易用性不好,会引起用户误操作;b权限控制错误推迟原因：B9 版本发现该权限,B10 版本未通过验证。该模块后台无 insert 权限,只

19、有Update 权限,与其他模块不同,需要重新设置权限控制方式。6.3建议在项目开始的时候应该制定编码标准,数据库标准,需求变更标准,开发和测试人员都严格按照标准进行,可以在后期减少因为开发,测试不一致而导致的问题,同时也可以降低沟通成本。发布版本的时候,正确布置测试环境,减少因为测试环境,测试数据库数据的问题而出现的无效 bug。开发人员解决 bug的时候,填写 bug原因以及解决方式,方便 bug的跟踪。开发人员在开发版本上发现 bug,可以通知测试人员,因为开发人员发现的 bug 很有可能在测试版本上出现,而测试人员和开发人员的思路不同,有可能测试人员没有发现该 bug,而且,这样可以保

20、证发现的 bug都能够被跟踪。7度量7.1资源消耗测试时间2018年 11月 15日至 2018年 11月 23日共 7 天测试人力2 人7 天1 人7 天21 人天硬件资源服务器：PC 2 台客户端：PC 2 台7.2缺陷密度8典型缺陷引入原因分析测试过程中发现的缺陷主要有以下几个方面：1 需求定义不明确需求文档中,存在功能定义错误,输入输出字段描述错误,输入输出字段限制定义错误,输入输出限制定义缺失这几种类型的缺陷。使得开发人员根据需求进行设计时,没有考虑相关功能的关联性,以及需求错误的地方,在测试过程中,需求相关的问题表现出来。需求做改正,设计必须跟着做改动,浪费时间和影响开发人员的积极

21、性,降低开发人员对需求的信任,可能会导致开发人员不按照需求进行设计而根据自己的经验来进行设计。2 功能性错误功能没有实现,导致无法进行需求规定的功能的测试。主要是无法进入酒店设施管理,会议室管理页面,酒店安全项管理无法保存信息,地区,房型删除功能缺失。功能实现错误,实现了需求未定义的功能,执行需求定义的功能时系统出现错误。主要是角色拥有不属于自己的权限,酒店联系人删除页面跳转错误等。3 页面设计和需求不一致页面设计没有根据需求进行,输入,输出字段文字错误,用户无法理解字段含义。页面设计没有完成需求规定的输入限制验证,导致用户可以输入错误的或者无效的数据,这些数据有可能会引起功能性错误。4 多语

22、言数据问题系统中很多输入字段是通过调用数据字典的方式输入,但是现有系统中,很多数据字典的多语言信息没有完成,导致使用多语言的时候,显示空白字段。系统中很多地方使用多语言,由于多语言编码不统一导致页面设计和数据设计使用语言编码不一致,由此引起的多语言数据无法显示的缺陷。5 页面设计易用性缺陷页面设计不友好,系统中很多页面的输入字段无明确的输入提示,用户无法理解何种输入是正确的,但是用户输入错误后,系统提示出错,增加用户负担。提示信息错误,不同模块相同结果的提示信息不一致,用户操作后,相应的提示信息不明确,引起用户误解。提示信息一致性,用户在不同页面执行相同的操作,提示信息不同。6 开发人员疏忽引起的缺陷因为开发人员的疏忽,导致系统需要验证的地方,调用了错误的验证,系统需要进行输入控制的地方没有进行相应的控制。