FGIII测试报告2.docx
《FGIII测试报告2.docx》由会员分享，可在线阅读，更多相关《FGIII测试报告2.docx（21页珍藏版）》请在冰豆网上搜索。
FGIII测试报告2
文档编号：
版本号：
密级：
测试报告
项目名称：
FGIII
项目负责人：
邹波
文档编写人：
邹波
2003年03月21日
文档批复信息
负责人
时间
拟制
邹波
2003-3-21
审核
批准
文档信息
项目名称
FGIII
文档名称
FGIII测试报告
文件控制
变更记录
日期
作者
版本
变更说明
审阅
日期
审阅者
意见
分发
编号
接受人
地点
目录
1.1目的1
1.2参考资料2
第2章测试的原则3
2.1尽早地、反复的进行测试3
2.2测试用例应至少有输入、期望结果、输出（实际结果）、简明的操作步骤组成3
2.3测试工作者要有严谨的思维、客观的态度、冷静的情绪和挑剔的心态去真实、客观地反映问题3
2.4测试用例要有合理的和不合理的测试用例3
2.5测试要有计划地进行，避免测试的随意性3
2.6对测试结果要做全面的检查3
2.7妥善保存测试计划、测试报告、送测单、各种文档及输出结果3
第3章测试所关注的点3
3.1功能方面3
3.2性能方面6
3.3界面方面7
3.4测试方法9
3.5测试内容9
第4章软件功能10
4.1软件发布版本质量状况报告10
4.1.1软件版本信息10
4.1.2软件发布版本现存问题11
例如：
B类bug125512
当前不适合改动bug1206:
13
C类bug1214:
-------AdditionalCommentsFromsongqiang2003-03-2010:
37-------13
4.1.3人员情况13
4.1.4统计分析14
4.1.3.1Bug分类说明15
FGIII测试中把bug分为A，B，C，D四类，其中：
15
测试人员的建议15
第5章测试结论16
5.1原因16
5.2测试负责人签字16
第6章主要问题及对策16
第7章对项目开发有益的建议18
7.1开发人员加强测试，可以提高测试的工作效率18
7.2编写单元测试框架，提高单元测试质量18
简介
方正方御防火墙（FireGate）自2001年5月至今已经推出3款产品：
FGI、FGII和FG1000M。
伴随网络安全市场的快速发展，用户需求趋向功能多样化，市场竞争也变得越来越激烈。
为了满足用户不断增长的应用需求，增强方御防火墙的竞争力，必须升级原有产品的功能。
FGIII定位是企业级防火墙，目标客户包括：
政府部门，大、中型企业，军队等。
FGIII基于FGII的优化版本（ver2.1）进行，核心目标有两个：
1）.增加几个重要功能，保障竞标中无重大缺陷，包括支持可变网卡数（3~8）、支持VLAN应用、支持与第三方IDS产品互动、支持基于时间的包过滤；
2）.优化软件结构，摆脱目前对硬件过强的依赖，以在更大范围内选择硬件平台。
通过重新设计双机热备功能，使防火墙硬件只需配备一个串行通讯口。
硬件平台：
研祥1U。
FGIII于2002.11.8立项，计划2003.2.28结项。
经过变更，结项日期变为2003.3.21，变更申请书见《FGIII项目变更申请表20021230.doc》。
目的
[说明编制本测试报告的主要目的]
通过测试，帮助开发组实现FGIII中A、B类BUG为零，并达到版本发布要求。
参考资料
[列出下列资料的作者、标题、编号、发表日期和出版单位，必要时说明如何得到这些资料：
本项目经核准的计划任务书、合同或上级机关的批文；]
《FGIII软件开发立项申请书.doc》
《FireGateIII软件需求规格说明书.doc》
《FGIII项目变更申请表20021230.doc》
测试的原则
1.1尽早地、反复的进行测试
1.2测试用例应至少有输入、期望结果、输出（实际结果）、简明的操作步骤组成
1.3测试工作者要有严谨的思维、客观的态度、冷静的情绪和挑剔的心态去真实、客观地反映问题
1.4测试用例要有合理的和不合理的测试用例
1.5测试要有计划地进行，避免测试的随意性
1.6对测试结果要做全面的检查
1.7妥善保存测试计划、测试报告、送测单、各种文档及输出结果
测试所关注的点
[目的是将存在的BUG早期、真实、准确的反应出来，达到早发现、早改正降低风险成本的效果，至少应包括以下几个方面：
]
1.8功能方面
[测试系统功能是否满足用户的需求，整个业务流程是否走的通，并且保证数据流的完整性]
3．1．1LK-Generator测试（完成）
3．1．2设备管理测试（完成）
3．1．3安装卸载测试（完成）
3．1．4Fcinit功能测试（完成）
3．1．5FgtestTools功能测试（完成）
3．1．6设备配置功能测试（完成）
3．1．7包过滤功能功能测试（完成）
3．1．7．1普通包桥模式（完成）
3．1．7．2普通包路由模式（完成）
3．1．7．3TRUNK包桥模式（完成）
3．1．7．4普通包多桥混杂模式（完成）
3．1．7．5TRUNK包混杂模式（完成）
3．1．8IDS功能功能测试（完成）
3．1．8．1普通包桥模式（完成）
3．1．8．2普通包路由模式（完成）
3．1．8．3普通包多桥混杂模式（完成）
3．1．8．5TRUNK包混杂模式（完成）
3．1．8．6与其它厂家的ids互动（完成）
3．1．9漏洞扫描功能测试（完成）
3．1．9．1普通包多桥混杂模式（完成）
3．1．9．2TRUNK包混杂模式（完成）
3．1．10带宽管理功能测试（完成）
3．1．10．1普通包多桥混杂模式（完成）
3．1．10．2TRUNK包混杂模式（完成）
3．1．11Ip地址绑定功能测试（完成）
3．1．11．1普通包多桥混杂模式（完成）
3．1．11．2TRUNK包混杂模式（完成）
3．1．12静态路由功能测试（完成）
3．1．12．1普通包桥模式（完成）
3．1．12．2普通包路由模式（完成）
3．1．12．3普通包多桥混杂模式（完成）
3．1．12．4TRUNK包混杂模式（完成）
3．1．13Nat应用功能单功能测试
3．1．13．1普通包桥模式snat和dnat（完成）
3．1．13．2普通包路由模式snat和dnat（完成）
3．1．13．3普通包多桥混杂模式snat和dnat（完成）
3．1．13．4TRUNK包混杂模式snat和dnat（完成）
3．1．14客户认证体系功能单功能测试（完成）
3．1．14．1普通包桥模式（完成）
3．1．14．2普通包路由模式（完成）
3．1．14．3普通包多桥混杂模式（完成）
3．1．14．4TRUNK包混杂模式（完成）
3．1．14．5访问控制规则配置（完成）
3．1．14．6内置帐号认证（完成）
3．1．14．7普通包下NT域认证（完成）
3．1．14．8普通包下Radius认证（完成）
3．1．15代理服务器功能功能测试（完成）
3．1．16双机热备功能测试（完成）
3．1．16．1路由模式（完成）
3．1．16．2桥模式（完成）
3．1．17Snmp功能测试（完成）
3．1．17．1普通模式（完成）
3．1．17．2trunk模式（完成）
3．1．18Vpn功能测试（完成）
3．1．18．1普通模式（完成）
3．1．18．2trunk模式（完成）
3．1．18．3网关对网关（完成）
3．1．18．4远程拨入完成）
3．1．19Arp代理功能单功能测试（完成）
3．1．19．1普通模式（完成）
3．1．19．2trunk模式（完成）
3．1．20多数据库支持功能单功能测试（完成）
3．1．19．1LogService界面输入、配置、操作容错性测试（完成）
3．1．19．2sqlsrv数据库支持的有效性（完成）
3．1．19．3oracle数据库支持的有效性（完成）
3．1．19．4paradox数据库日志审计管理、查询、统计、导入、导出功能模块的有效性（完成）
3．1．19．5sqlsrv数据库日志审计管理、查询、统计、导入、导出功能模块的有效性（完成）
3．1．19．6oracle数据库日志审计管理、查询、统计、导入、导出功能模块的有效性（完成）
3．1．21版本控制功能测试（完成）
3．1．22不同硬件平台适应性测试（完成）
3．1．23系统容错性测试（完成）
3．1．24FireDebug功能测试（完成）
3．1．25LK-Generator生成key与功能对应关系测试（完成）
3．1．26FireControl账号管理体系&菜单功能测试（完成）
3．1．26．1FireControl账号管理体系&菜单功能的有效性（完成）
3．1．26．2对FGII规则的兼容性（（完成）
3．1．26．3不同情况下的规则导入导出（完成）
3．1．27.流量计费（FireBilling）功能测试（完成）
3．1．28.其它测试（完成）
1.9性能方面
[测试性能是否满足用户需求，主要包括吞吐量性能指标，客户是否可以接受。
]
FG3性能测试报告
项目名称
FG3性能测试
测试人员
邹波、范京华
硬件名称
研祥1U
测试方法
使用IXIA进行性能测试
（单/双向）
内核
FG3-r-0303.1613.img
硬件配置
CPU：
PIII850MEM：
256M
规则数
10条DROP+1条ACCEPT
工作模式
路由模式
发包时延
30秒
配置方法
用FC进行初始化
测试时间
2003-03-1716：
00—2003-03-1720：
00
结果记录单
测试名称
吞吐量
测试结果
Framesize
单向
PassedRate（%）
（1.1.1）to（1.1.2）
PassedRate（%）
（1.1.2）to（1.1.1）
1.
64
13．57%
9．56%
9．56%
2.
128
21．42%
12．11%
19．84%
3.
256
37．45%
30．16%
24．95%
4.
512
60%
37．70%
43．54%
5.
1024
80．87%
55．24%
56．63%
6.
1280
93．67%
49．87%
65．48%
7.
1518
99．68%
55．92%
86．55%
3.4稳定性方面
[主要测试软件与硬件适应性、长期运行稳定性.]
硬件选型稳定性测试报告
测试目的：
研祥1U防火墙的稳定性（FGIII内核）
内核：
FG3-r-0303.1613.img
测试防火墙（三台）：
研祥1U
测试结果：
通过7天的测试，全部通过
附详细测试结果：
检查时间，人员
2003年3月13日17:
00李传海
系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）
选型防火墙
网卡工作
是否异常
硬件是
否重起
连续稳定
运行时间
备注
研祥1U--1
N
N
8小时26分
研祥1U--2
N
N
8小时26分
研祥1U--3
N
N
8小时26分
检查时间，人员
2003年3月14日17:
00李传海
系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）
选型防火墙
网卡工作
是否异常
硬件是
否重起
连续稳定
运行时间
备注
研祥1U--1
N
N
32小时26分
研祥1U--2
N
N
32小时26分
研祥1U--3
N
N
32小时26分
检查时间，人员
2003年3月15日17:
00李传海
系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）
选型防火墙
网卡工作
是否异常
硬件是
否重起
连续稳定
运行时间
备注
研祥1U--1
N
N
56小时26分
研祥1U--2
N
N
56小时26分
研祥1U--3
N
N
56小时26分
检查时间，人员
2003年3月16日17:
00李传海
系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）
选型防火墙
网卡工作
是否异常
硬件是
否重起
连续稳定
运行时间
备注
研祥1U--1
N
N
80小时26分
研祥1U--2
N
N
80小时26分
研祥1U--3
N
N
80小时26分
检查时间，人员
2003年3月17日17:
00李传海
系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）
选型防火墙
网卡工作
是否异常
硬件是
否重起
连续稳定
运行时间
备注
研祥1U--1
N
N
104小时26分
研祥1U--2
N
N
104小时26分
研祥1U--3
N
N
104小时26分
检查时间，人员
2003年3月18日17:
00李传海
系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）
选型防火墙
网卡工作
是否异常
硬件是
否重起
连续稳定
运行时间
备注
研祥1U--1
N
N
128小时26分
研祥1U--2
N
N
128小时26分
研祥1U--3
N
N
128小时26分
检查时间，人员
2003年3月19日17:
00李传海
系统稳定运行情况（网卡工作无异常，硬件不重起，性能稳定不波动）
选型防火墙
网卡工作
是否异常
硬件是
否重起
连续稳定
运行时间
备注
研祥1U--1
N
N
152小时26分
研祥1U--2
N
N
152小时26分
研祥1U--3
N
N
152小时26分
测试方法
[见FGIII测试方案。
]
测试内容
[见FGIII测试方案。
]
软件功能
软件发布版本质量状况报告
软件版本信息
[简述该测试报告的相关信息，包括：
控制端界面版本、内核版本、运行平台、测试起止日期、参加测试的等]
测试时间
2003年3月14日起
2003年3月21日止
FireControl等控制端软件
以安装包方式提供。
运行平台：
Windows2000/NT/XP
SQLServer7.0
Oracle8
安装包日期：
2003.3.19
其中，各软件版本：
FireControl:
1.30.303.1800
FCInit:
1.30.302.2000
LogService:
1.30.302.2500
FGTesttool:
1.30.303.1700
FGIIIBox
运行平台：
Linux2.4.18（FGII为Linux2.4.17）
1.30.0303.1613
基于以下硬件平台（以下为研祥1U硬件）
部件
型号/大小
CPU
PIII850
网卡
IntelPro1004口百兆网卡
内存
256M
DOM
32M
软件发布版本现存问题
1106
1222
1227
1129
1166
1172
1185
1190
1196
1198
1224
1229
1235
1239
1240
1242
1245
1246
1248
1206
924
1215
1219
1226
1046
1153
1116
1163
1146
1204
1255
1214
1205
1217
1221
1225
1228
1234
1236
例如：
B类bug1255
进入设备配置模块，将网口2、3、4配置成网桥1（原有IP迁移到桥上），改变控制IP为桥上IP。
编辑网桥1，将网口1添加到桥上，提交，系统显示正在提交配置设备，请稍后，FC无响应。
-------AdditionalCommentsFromlichuanhai2003-03-2014:
48-------
该问题的变种如下：
拓扑：
FC（控制ip:
192.168.0.10）---网口1（控制口:
172.31.17.3）FG网口1（非控制
口:
192.168.0.10）
用户误操作删除了ip:
172.31.17.3，也同样会引起以上问题！
该问题用户勿操作后不具有可逆性，只能初始化防火墙才能再次正常使用，强烈建议修改！
-------AdditionalCommentsFromlichuanhai2003-03-2017:
24-------
详细拓扑：
T1--（eth0）FG（eth1）
T1为控制机ip172.31.17.1网关172.31.17.1
FG为防火墙,网口1ip172.31.17.3网口2ip192.168.0.10,网口1为控制口，但是控制ip为
192.168.0.10
-------AdditionalCommentsFromlichuanhai2003-03-2017:
25-------
详细拓扑：
T1--（eth0）FG（eth1）
T1为控制机ip172.31.17.1网关172.31.17.3
FG为防火墙,网口1ip172.31.17.3网口2ip192.168.0.10,网口1为控制口，但是控制ip为
192.168.0.10
-------AdditionalCommentsFromsongqiang2003-03-2019:
27-------
我按照fanjh的做法操作,没有发现问题，全部设备都入桥了。
当前不适合改动bug1206:
拓扑：
T1（10.0.0.19）--（10.0.0.2）FG（192.168.5.2）---T2（192.168.5.109）
1、添加源地址all，目的地址all，流量40k，最大流量50的流控规则，从T2上下载测试文件
下载数率显示为18.8k（不正常，其它网口无流量！
）
2、添加源地址192.168.5.0/24，目的地址10.0.0.0/24，流量40k，最大流量50的流控规
则，从T2上下载测试文件,下载数率显示为37.3k（基本正常）
请查找原因！
C类bug1214:
-------AdditionalCommentsFromsongqiang2003-03-2010:
37-------
这与带宽限制的算法有关，目前还没有找到好的解决办法，希望FGIII结项后研究。
添加未配置或已配置设备时，打开日志数据库配置对话框，选择默认的Paradox
数据库，此时默认日志数据库的路径是从数据库读出来的（默认应该取当前FC所在路径），
如果不修改默认的日志数据源名称（如default）,即使换个路径仍会报错“日志数据源名
称正在使用，如要修改，请重新命名”，修改数据源名称后方可添加。
-------AdditionalCommentsFromsongqiang2003-03-1710:
01-------
这个版本可以不改。
人员情况
[简述参加该次测试的人员组成,职责等]
测试经理：
姓名
主要责任
邹波
∙提供管理监督
∙提供技术指导
∙获得适当的资源
测试工程师：
姓名
主要责任
李传海
范京华（30%）
杜海涛
∙确定、区分优先级并实现测试案例。
∙产生测试计划
∙产生测试模型
∙维护测试环境
∙执行测试
∙产生测试记录及故障修复报告
∙产生测试报告
其他所需人员:
姓名
主要责任
于洁（两周）
LK、安装测试
张淼（三周）
部分界面测试
许枫（三周）
部分界面测试
统计分析
[以测试数据的实际输出结果，填写出现问题较多的模块（子系统）、问题的级别、类别、总数，以及在各子系统中的分布]
4.1.3.1Bug分类说明
FGIII测试中把bug分为A，B，C，D四类，其中：
A：
常规操作引起系统瘫痪、死机，且无替代措施、无法绕过、无法恢复的；
B：
边界条件、极端操作引起系统瘫痪，或核心功能失效，无替代措施、无法绕过、无法恢复的；核心功能未按照要求实现，严重影响系统使用的；
C：
非核心功能未按照要求实现，或功能失效，但不影响用户网络业务，或者有替代措施、可以绕过、可以恢复的；或者是需要较大调整系统框架才可以改正，但不影响核心功能的；
D：
操作不便、提示不准确、拼写错误、文字未对齐等，影响产品美学形象，但不影响功能使用的。
4.1.3.2Bug统计分析
FGIIIbug修改情况
数量
说明
有效bug总数
276
Bug库中共有bug276个，其中无效bug73个，包括不可重现bug12个、无效22bug个，由于功能变更bug39个变为无效。
解决总数
152
其中，A类10个，B类30个，C类73个，D类39个
有效遗留总数
11
共有37个问题没有解决。
其中，26个问题是历史遗留下来的非FGIII目标、受限于目前设计框架不适合改动、或者非核心功能且修改价值不大的情况，这些问题不会影响防火墙的正常使用。
剩余11个bug，B类bug1个（bug库1163号，与双机热备有关，只有非正常操作时发生，发生问题后有相应解决方法），C类2个，D类8个。
测试人员的建议
[简述该次测试中发现的问题的情况，包括：
问题较集中的模块（子系统）或较集中的级别；比较典型的某项功能（如打印）没有实现；对该软件的看法；由于某个功能出错使整个业务流程不能进行；对开发人员多次提出的问题没有修改或不能修改；由于客观条件限制没有进行完的工作等]
主要问题及对策
在测试过程当中，遇到了一些问题，通过各种风险应对措施，确保了测试进度的可控性。
表8问题及对策总结
序号
问题描述
措施
主要责任人
处理结果
是否列入风险清单
1
大部分测试
升级会员 