FGIII测试报告2.docx

1、FGIII测试报告2文档编号： 版 本 号： 密 级： 测试报告项目名称： FGIII项目负责人： 邹波文档编写人： 邹波2003年03月21日文档批复信息负责人时间拟制邹波2003-3-21审核批准文档信息项目名称FGIII文档名称FGIII测试报告文件控制变更记录日期作者版本变更说明审阅日期审阅者意见分发编号接受人地点目录1.1 目的 11.2 参考资料 2第2章 测试的原则 32.1 尽早地、反复的进行测试 32.2 测试用例应至少有输入、期望结果、输出（实际结果）、简明的操作步骤组成 32.3 测试工作者要有严谨的思维、客观的态度、冷静的情绪和挑剔的心态去真实、客观地反映问题 32.4

2、 测试用例要有合理的和不合理的测试用例 32.5 测试要有计划地进行，避免测试的随意性 32.6 对测试结果要做全面的检查 32.7 妥善保存测试计划、测试报告、送测单、各种文档及输出结果 3第3章 测试所关注的点 33.1 功能方面 33.2 性能方面 63.3 界面方面 73.4 测试方法 93.5 测试内容 9第4章 软件功能 104.1 软件发布版本质量状况报告 104.1.1 软件版本信息 104.1.2 软件发布版本现存问题 11例如：B类bug1255 12当前不适合改动bug1206: 13C类bug1214: - Additional Comments From songqi

3、ang 2003-03-20 10:37 - 134.1.3 人员情况 134.1.4 统计分析 144.1 .3.1 Bug分类说明 15FGIII测试中把bug分为A，B，C，D四类，其中： 15测试人员的建议 15第5章 测试结论 165.1 原因 165.2 测试负责人签字 16第6章 主要问题及对策 16第7章 对项目开发有益的建议 187.1 开发人员加强测试，可以提高测试的工作效率 187.2 编写单元测试框架，提高单元测试质量 18简介方正方御防火墙（FireGate）自2001年5月至今已经推出3款产品：FGI、FGII和FG1000M。伴随网络安全市场的快速发展，用户需求趋

4、向功能多样化，市场竞争也变得越来越激烈。为了满足用户不断增长的应用需求，增强方御防火墙的竞争力，必须升级原有产品的功能。FGIII定位是企业级防火墙，目标客户包括：政府部门，大、中型企业，军队等。FGIII基于FGII的优化版本（ver 2.1）进行，核心目标有两个：1). 增加几个重要功能，保障竞标中无重大缺陷，包括支持可变网卡数（38）、支持VLAN应用、支持与第三方IDS产品互动、支持基于时间的包过滤；2). 优化软件结构，摆脱目前对硬件过强的依赖，以在更大范围内选择硬件平台。通过重新设计双机热备功能，使防火墙硬件只需配备一个串行通讯口。 硬件平台：研祥1U。FGIII于2002.11.

5、8立项，计划2003.2.28结项。经过变更，结项日期变为2003.3.21，变更申请书见FGIII项目变更申请表20021230.doc。目的说明编制本测试报告的主要目的 通过测试，帮助开发组实现FGIII中A、B类BUG为零，并达到版本发布要求。参考资料列出下列资料的作者、标题、编号、发表日期和出版单位，必要时说明如何得到这些资料：本项目经核准的计划任务书、合同或上级机关的批文；FGIII软件开发立项申请书.docFireGateIII软件需求规格说明书.docFGIII项目变更申请表20021230.doc测试的原则1.1 尽早地、反复的进行测试1.2 测试用例应至少有输入、期望结果、输

6、出（实际结果）、简明的操作步骤组成1.3 测试工作者要有严谨的思维、客观的态度、冷静的情绪和挑剔的心态去真实、客观地反映问题1.4 测试用例要有合理的和不合理的测试用例1.5 测试要有计划地进行，避免测试的随意性1.6 对测试结果要做全面的检查1.7 妥善保存测试计划、测试报告、送测单、各种文档及输出结果测试所关注的点目的是将存在的BUG早期、真实、准确的反应出来，达到早发现、早改正降低风险成本的效果，至少应包括以下几个方面：1.8 功能方面测试系统功能是否满足用户的需求，整个业务流程是否走的通，并且保证数据流的完整性311 LK-Generator测试(完成)312 设备管理测试(完成)31

7、3 安装卸载测试(完成)314 Fcinit功能测试(完成)315 FgtestTools功能测试(完成)316 设备配置功能测试(完成)317 包过滤功能功能测试(完成)3171 普通包桥模式(完成)3172 普通包路由模式(完成)3173 TRUNK包桥模式(完成)3174 普通包多桥混杂模式(完成)3175 TRUNK包混杂模式(完成)318 IDS功能功能测试(完成)3181 普通包桥模式(完成)3182 普通包路由模式(完成)3183 普通包多桥混杂模式(完成)3185 TRUNK包混杂模式(完成)3186 与其它厂家的ids互动(完成)319 漏洞扫描功能测试(完成)3191 普通

8、包多桥混杂模式(完成)3192 TRUNK包混杂模式(完成)3110 带宽管理功能测试(完成)31101 普通包多桥混杂模式(完成)31102 TRUNK包混杂模式(完成)3111 Ip地址绑定功能测试(完成)31111 普通包多桥混杂模式(完成)31112 TRUNK包混杂模式(完成)3112 静态路由功能测试(完成)31121 普通包桥模式(完成)31122 普通包路由模式(完成)31123 普通包多桥混杂模式(完成)31124 TRUNK包混杂模式(完成)3113 Nat应用功能单功能测试31131 普通包桥模式snat和dnat(完成)31132 普通包路由模式snat和dnat (完

9、成)31133 普通包多桥混杂模式snat和dnat (完成)31134 TRUNK包混杂模式snat和dnat (完成)3114 客户认证体系功能单功能测试(完成)31141 普通包桥模式(完成)31142 普通包路由模式(完成)31143 普通包多桥混杂模式(完成)31144 TRUNK包混杂模式(完成)31145访问控制规则配置(完成)31146内置帐号认证(完成)31147普通包下NT域认证(完成)31148 普通包下Radius认证(完成) 3115 代理服务器功能功能测试(完成)3116 双机热备功能测试(完成) 31161 路由模式(完成) 31162 桥模式(完成)3117 S

10、nmp功能测试(完成)31171 普通模式(完成)31172 trunk模式(完成)3118 Vpn功能测试(完成)31181 普通模式(完成)31182 trunk模式(完成)31183 网关对网关(完成)31184 远程拨入完成)3119 Arp代理功能单功能测试(完成)31191 普通模式(完成)31192 trunk模式(完成)3120 多数据库支持功能单功能测试(完成)31191 LogService界面输入、配置、操作容错性测试(完成)31192 sqlsrv数据库支持的有效性(完成)31193 oracle数据库支持的有效性(完成)31194 paradox数据库日志审计管理、查

11、询、统计、导入、导出功能模块的有效性(完成)31195 sqlsrv数据库日志审计管理、查询、统计、导入、导出功能模块的有效性(完成)31196 oracle数据库日志审计管理、查询、统计、导入、导出功能模块的有效性(完成)3121 版本控制功能测试(完成)3122 不同硬件平台适应性测试(完成)3123 系统容错性测试(完成)3124 FireDebug功能测试(完成)3125 LK-Generator生成key与功能对应关系测试(完成)3126 FireControl账号管理体系&菜单功能测试(完成)31261 FireControl账号管理体系&菜单功能的有效性(完成)31262对FGI

12、I规则的兼容性(完成)31263不同情况下的规则导入导出(完成)3127.流量计费(FireBilling)功能测试(完成)3128.其它测试(完成)1.9 性能方面测试性能是否满足用户需求，主要包括吞吐量性能指标，客户是否可以接受。FG3性能测试报告项目名称FG3性能测试测试人员邹波、范京华硬件名称研祥1U测试方法使用IXIA进行性能测试(单/双向)内核FG3-r-0303.1613.img硬件配置CPU：PIII850 MEM：256M规则数10条DROP+1条ACCEPT工作模式路由模式发包时延30秒配置方法用FC进行初始化测试时间2003-03-17 16：002003-03-17 2

13、0：00结果记录单测试名称吞吐量测试结果 Frame size单向Passed Rate(%)(1.1.1)to(1.1.2)Passed Rate(%)(1.1.2)to(1.1.1)1. 641357%956%956%2. 1282142%1211%1984%3. 2563745%3016%2495%4. 51260%3770%4354%5. 10248087%5524%5663%6. 12809367%4987%6548%7. 15189968%5592%8655%3.4 稳定性方面主要测试软件与硬件适应性、长期运行稳定性.硬件选型稳定性测试报告测试目的：研祥1U防火墙的稳定性（FGII

14、I内核）内核： FG3-r-0303.1613.img测试防火墙（三台）： 研祥1U测试结果：通过7天的测试，全部通过附详细测试结果：检查时间，人员2003年3月13日 17:00 李传海系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）选型防火墙网卡工作是否异常硬件是否重起连续稳定运行时间备注研祥1U -1NN8小时26分研祥1U -2NN8小时26分研祥1U -3NN8小时26分检查时间，人员2003年3月14日 17:00 李传海系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）选型防火墙网卡工作是否异常硬件是否重起连续稳定运行时间备注研祥1U -1NN32小时2

15、6分研祥1U -2NN32小时26分研祥1U -3NN32小时26分检查时间，人员2003年3月15日 17:00 李传海系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）选型防火墙网卡工作是否异常硬件是否重起连续稳定运行时间备注研祥1U -1NN56小时26分研祥1U -2NN56小时26分研祥1U -3NN56小时26分检查时间，人员2003年3月16日 17:00 李传海系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）选型防火墙网卡工作是否异常硬件是否重起连续稳定运行时间备注研祥1U -1NN80小时26分研祥1U -2NN80小时26分研祥1U -3NN80小

16、时26分检查时间，人员2003年3月17日 17:00 李传海系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）选型防火墙网卡工作是否异常硬件是否重起连续稳定运行时间备注研祥1U -1NN104小时26分研祥1U -2NN104小时26分研祥1U -3NN104小时26分检查时间，人员2003年3月18日 17:00 李传海系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）选型防火墙网卡工作是否异常硬件是否重起连续稳定运行时间备注研祥1U -1NN128小时26分研祥1U -2NN128小时26分研祥1U -3NN128小时26分检查时间，人员2003年3月19日 17

17、:00 李传海系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）选型防火墙网卡工作是否异常硬件是否重起连续稳定运行时间备注研祥1U -1NN152小时26分研祥1U -2NN152小时26分研祥1U -3NN152小时26分测试方法见FGIII测试方案。测试内容见FGIII测试方案。软件功能软件发布版本质量状况报告软件版本信息简述该测试报告的相关信息，包括：控制端界面版本、内核版本、运行平台、测试起止日期、参加测试的等测试时间2003年3月14日起2003年3月21日止FireControl等控制端软件以安装包方式提供。运行平台：Windows 2000/NT/XPSQL Serv

18、er 7.0Oracle 8安装包日期：2003.3.19其中，各软件版本：FireControl: 1.30.303.1800FCInit: 1.30.302.2000LogService: 1.30.302.2500FGTesttool: 1.30.303.1700FGIII Box运行平台：Linux 2.4.18（FGII为Linux 2.4.17）1.30.0303.1613基于以下硬件平台（以下为研祥1U硬件）部件型号/大小CPUPIII 850网卡Intel Pro100 4口百兆网卡内存256MDOM32M软件发布版本现存问题11061222122711291166117211

19、851190119611981224122912351239124012421245124612481206924121512191226104611531116116311461204125512141205121712211225122812341236例如：B类bug1255进入设备配置模块，将网口2、3、4配置成网桥1（原有IP迁移到桥上），改变控制IP为桥上IP。编辑网桥1，将网口1添加到桥上，提交，系统显示正在提交配置设备，请稍后，FC无响应。- Additional Comments From lichuanhai 2003-03-20 14:48 -该问题的变种如下：拓扑：FC

20、(控制ip:192.168.0.10)-网口1(控制口:172.31.17.3)FG网口1(非控制口:192.168.0.10)用户误操作删除了ip:172.31.17.3，也同样会引起以上问题！该问题用户勿操作后不具有可逆性，只能初始化防火墙才能再次正常使用，强烈建议修改！- Additional Comments From lichuanhai 2003-03-20 17:24 -详细拓扑：T1-(eth0)FG(eth1)T1为控制机ip172.31.17.1网关172.31.17.1FG为防火墙,网口1ip172.31.17.3网口2ip192.168.0.10,网口1为控制口，但是控

21、制ip为192.168.0.10- Additional Comments From lichuanhai 2003-03-20 17:25 -详细拓扑：T1-(eth0)FG(eth1)T1为控制机ip172.31.17.1网关172.31.17.3FG为防火墙,网口1ip172.31.17.3网口2ip192.168.0.10,网口1为控制口，但是控制ip为192.168.0.10- Additional Comments From songqiang 2003-03-20 19:27 -我按照fanjh的做法操作,没有发现问题，全部设备都入桥了。当前不适合改动bug1206:拓扑：T1(

22、10.0.0.19)-(10.0.0.2)FG(192.168.5.2)-T2(192.168.5.109)1、添加源地址all，目的地址all，流量40k，最大流量50的流控规则，从T2上下载测试文件下载数率显示为18.8k（不正常，其它网口无流量！）2、添加源地址192.168.5.0/24，目的地址10.0.0.0/24，流量40k，最大流量50的流控规则，从T2上下载测试文件,下载数率显示为37.3k（基本正常）请查找原因！C类bug1214:- Additional Comments From songqiang 2003-03-20 10:37 -这与带宽限制的算法有关，目前还没有

23、找到好的解决办法，希望FGIII结项后研究。添加未配置或已配置设备时，打开日志数据库配置对话框，选择默认的Paradox数据库，此时默认日志数据库的路径是从数据库读出来的(默认应该取当前FC所在路径)，如果不修改默认的日志数据源名称（如default）,即使换个路径仍会报错“日志数据源名称正在使用，如要修改，请重新命名”，修改数据源名称后方可添加。- Additional Comments From songqiang 2003-03-17 10:01 -这个版本可以不改。人员情况简述参加该次测试的人员组成,职责等测试经理：姓名主要责任邹波 提供管理监督 提供技术指导 获得适当的资源测试工程师

24、：姓名主要责任李传海范京华（30%）杜海涛 确定、区分优先级并实现测试案例。 产生测试计划 产生测试模型 维护测试环境 执行测试 产生测试记录及故障修复报告 产生测试报告其他所需人员:姓名主要责任于洁（两周）LK、安装测试张淼（三周）部分界面测试许枫（三周）部分界面测试统计分析以测试数据的实际输出结果，填写出现问题较多的模块（子系统）、问题的级别、类别、总数，以及在各子系统中的分布4.1 .3.1 Bug分类说明 FGIII测试中把bug分为A，B，C，D四类，其中：A：常规操作引起系统瘫痪、死机，且无替代措施、无法绕过、无法恢复的；B：边界条件、极端操作引起系统瘫痪，或核心功能失效，无替代措

25、施、无法绕过、无法恢复的；核心功能未按照要求实现，严重影响系统使用的；C：非核心功能未按照要求实现，或功能失效，但不影响用户网络业务，或者有替代措施、可以绕过、可以恢复的；或者是需要较大调整系统框架才可以改正，但不影响核心功能的；D：操作不便、提示不准确、拼写错误、文字未对齐等，影响产品美学形象，但不影响功能使用的。4.1.3.2 Bug统计分析 FGIII bug修改情况数量说明有效bug总数276Bug库中共有bug 276个，其中无效bug 73个，包括不可重现bug 12个、无效22 bug个，由于功能变更bug 39个变为无效。解决总数152其中，A类10个，B类30个，C类73个，

26、D类39个有效遗留总数11共有37个问题没有解决。其中，26个问题是历史遗留下来的非FGIII目标、受限于目前设计框架不适合改动、或者非核心功能且修改价值不大的情况，这些问题不会影响防火墙的正常使用。剩余11个bug，B类bug1个（bug库1163号，与双机热备有关，只有非正常操作时发生，发生问题后有相应解决方法），C类2个，D类8个。测试人员的建议简述该次测试中发现的问题的情况，包括：问题较集中的模块（子系统）或较集中的级别；比较典型的某项功能（如打印）没有实现；对该软件的看法；由于某个功能出错使整个业务流程不能进行；对开发人员多次提出的问题没有修改或不能修改；由于客观条件限制没有进行完的工作等主要问题及对策在测试过程当中，遇到了一些问题，通过各种风险应对措施，确保了测试进度的可控性。 表8 问题及对策总结序号问题描述措施主要责任人处理结果是否列入风险清单1大部分测试