新洪水预报软件测评方案.docx
《新洪水预报软件测评方案.docx》由会员分享，可在线阅读，更多相关《新洪水预报软件测评方案.docx（14页珍藏版）》请在冰豆网上搜索。
新洪水预报软件测评方案
附件
洪水预报软件测评方案（试行）
一、总则
1、测评目的
为促进水利科技推广管理工作，服务洪水预报系统建设，水利部科技推广中心、水利部防洪抗旱减灾工程技术研究中心、中国水利学会减灾专业委员会联合组织开展洪水预报软件的测评工作。
2、参评单位
国内已经获得洪水预报软件著作权的单位单独或联名参加。
报送的洪水预报软件，必须为报送单位自主研发或联合研发，代理销售的不具备报名资格。
3、测评方式
测评含软件测试和专家评审两部分。
（1）软件测试。
由具有中国合格评定国家认可委员会（CNAS）资质的国家级软件检测机构对各参评产品进行软件测试。
（2）专家评审。
参评单位对参评产品进行应用功能演示，由专家组现场评审。
4、评分办法
软件测评结果以分值表示，100分为满分，其中软件测试部分占70%，专家评审部分占30%。
总分≥85分的为“优良”产品；85分＞总分≥60分的为“合格”产品；总分≤60分为“需改进”产品。
二、软件测试大纲
1、测试依据
ØGB/T25000.51-2010《软件工程软件产品质量要求与评价（SQuaRE）商业现货（COTS）软件产品的质量要求和测试细则》；
ØSL323-2011《实时雨水情数据库表结构及标识符标准》；
ØGB/T22482-2008《水文情报预报规范》。
2、测试准备
（1）测试环境
软件测试地点设在检测机构，检测机构按照《软件工程软件产品质量要求与评价（SQuaRE）商业现货（COTS）软件产品的质量要求和测试细则》中的设备配置，统一准备测试环境，参评单位负责在统一的测试环境上安置应用软件。
参评单位应在规定的时间进行系统安置工作（时间最长为一个工作日），并签署相关测试委托书。
（2）测试文档
在系统测试开始前，参评单位向检测机构提供用户手册或操作手册等系统相关文档。
3、软件功能测试
（1）系统建模
1）模型/方法库管理
Ø多种产汇流、模型/方法，各模型/方法可任意组合
Ø模型/方法构件封装，仅通过数据接口机制实现信息交换
Ø各模型/方法对同一输入、输出要素具有相同格局的数据接口定义
Ø对模型/方法可进行添加、修改、删除、导入导出、运行等维护操作
2）预报方案构建
Ø方案定义
Ø流域圈画
Ø确定方案模型雨量站控制权重
3）参数率定/检验
Ø历史数据处理
Ø参数优选
Ø率定资料选取
Ø预报方案维护
（2）作业预报
Ø实时雨水情查询
Ø数值降雨预报
Ø实时洪水预报
Ø实时洪水校正
Ø预报误差统计
Ø洪水预报精度评定
Ø预报成果管理
4、测试数据说明
Ø为了体现公平原则，统一测试标准，由测评组织单位统一提供洪水预报基础数据。
5、软件系统缺陷严重程度等级
缺陷严重程度等级的设定如下：
S1级：
发现影响被测系统正确运行的严重问题
——导致系统崩溃
——出现不可挽救的数据丢失或损坏
——主业务流程出现断点
——导致死机
——内存泄漏
S2级：
发现影响被测模块正确运行的严重问题
——导致程序模块丢失或未实现
——软件错误导致数据丢失
——被测数据处理错误
——需求未实现
S3级：
发现影响被测功能正确实现的问题
S4级：
一般性的错误或功能实现有不完善处
S5级：
建议性问题
6、预报精度等级
参见GB/T22482-2008《水文情报预报规范》，以作业预报精度等级进行评价，即用预报误差与许可误差之比的百分数作为分级指标，分级指标≤25.0的为优秀；25.0分级指标≤50.0的为良好；50.0﹤分级指标≤100.0的为合格；分级指标﹥100.0的为不合格。
7、测试结果判定标准
检测机构对测试过程中发现的问题进行分析汇总，向参评单位出具《系统测试问题确认单》，并且双方签字确认。
在系统测试中，检测机构依据已确认的《系统测试问题确认单》，对每一项测试内容给出其检测结果。
检测结果分为“通过”、“基本通过”、“不通过”和“功能缺失”。
（1）通过
在测试过程中，针对某测试过程的测试用例执行后，结果与预期的基本一致，未发现S5级以外的缺陷，该测试过程的检测结果可判定为“通过”。
（2）不通过
在测试过程中，针对某测试过程的测试用例执行后，发生S1级或S2级缺陷，该测试过程判定为“不通过”。
（3）基本通过
在测试过程中，结果属上述“通过”、“不通过”以外的情况，该测试过程判定为“基本通过”。
（4）功能缺失
因系统原因而无法提供测试的功能点，在测试结果中注明“功能缺失”。
8、测试内容及评分标准
本次测试的内容包括系统的功能性、可靠性、易操作性和效率4个方面，以及自选演示项目，其评分安排如下：
序号
测试内容
评分安排
1
功能性测试
60
2
精度评定
10
3
可靠性测试
15
4
效率测试
10
5
易操作性测试
5
合计
100
自选演示项目
不计分，但可作为专家现场评审的参考依据。
（1）功能性
编号
测试内容
技术要求
1
系统建模
（30分）
模型/方法管理（4分）
灵活性（1分）
包含多种产汇流、模型/方法，各模型/方法可任意组合
独立性（1分）
模型/方法构件封装，仅通过数据接口机制实现信息交换
统一性（1分）
各模型/方法对同一输入、输出要素具有相同格局的数据接口定义
扩充性（1分）
对模型/方法可进行添加、修改、删除、导入导出、运行等维护操作
预报方案构建（10分）
方案定义（4分）
确定预报站码、计算时段长、预见期、预热期、方案输出类型、预报告警阈值、方案说明、水位流量关系曲线、库容曲线、方案输入个数和类型、上游根据站点、站点流量合成关系、预报方案结构框图等
流域圈画（2分）
流域边界自动/人工圈画
确定方案模型（2分）
添加、删除、变更模型/方法、模型参数、状态变量等
雨量站控制权重（2分）
利用泰森多边形或其他方法，计算区域内雨量站的控制权重
参数率定（16分）
历史数据处理（5分）
对用于模型参数率定的历史水文气象资料，包括洪水摘录资料、洪水日资料、降雨摘录资料和降雨日资料，进行等时段整编
参数率定/检验（5分）
录入、修改、存储参数，设定参数范围或参数值，设定率定/检验期，选择目标函数，设定统计阈值，参数经验及合理性分析等
参数优选（2分）
选择优化方法，自动/人工优选参数
率定资料选取（2分）
历史、实时数据任意时间内或场次洪水选取、检查、修改、展示
预报方案维护（2分）
检索、查询、更新、删除、导入导出预报方案等功能
2
作业预报（30分）
实时雨水情查询（10分）
雨情查询（5分）
各站降雨过程柱状图及数据表查询、降雨量小时（时段）数据、日数据、旬月数据；区域降雨过程柱状图及数据表查询、区域降雨等值线/面图绘制等
水情查询（5分）
各站实时水情数据过程线及数据表查询，包括小时数据、日数据、旬月数据、特征值等
实时预报（14分）
数值降雨预报（3分）
能对未来降雨进行数值预报或能接入数值降雨预报数据
实时洪水预报（5分）
预报方案手动/自动运行,能够以图形表格方式展示运行结果
实时洪水校正（3分）
对洪水过程、单点数据进行自动/人工校正
预报误差统计（3分）
任意时间内或场次洪水的洪峰流量/水位、洪峰出现时间、洪量（径流量）的绝对误差、相对误差，确定性系数统计
成果管理（6分）
预报信息报表（2分）
自动生成预报信息报表
洪水预报精度评定（2分）
任意时间内或场次洪水预报过程的合格率统计、确定性系数统计
预报成果优选（2分）
多模型/方法计算结果的对比分析
（2）精度评定
序号
精度等级
得分范围
1
优秀
9-10
2
良好
7-8
3
合格
5-6
4
不合格
0-4
（3）可靠性
编号
评测内容
技术要求
评分标准
1
成熟性（10分）
系统应能够不间断的稳定运行。
A.在测试过程中，系统运行情况良好，可以很好地完成所述功能，基本没有出错（9～10）
B.在测试过程中，系统运行情况基本正常，可以完成所述功能，发生一般性错误（5～8）
C.在测试过程中，系统运行情况不正常，难以完成所述功能，发生严重性错误（1～4）
D.在测试过程中，系统发生致命性错误，无法继续运行（0）
2
易恢复性
（5分）
软件系统应具备自动或手动恢复措施，以便在发生错误时能够快速地恢复正常运行。
A.运行中出错后不需人工干预即可恢复（5）
B.运行中出错后需人工干预才可恢复（4）
C.运行中出错后只能关闭重启应用系统才可恢复正常（2～3）
D.运行中出错后只能关闭计算机才可恢复正常
（1）
备注：
如果在成熟性测试中未出现错误，检测机构将模拟异常情况，例如强行断电等进行测试。
（4）效率
编号
评测内容
技术要求
评分标准
1
时间特性
（5分）
对软件系统的各类人机交互操作、信息查询、图形操作等应实时响应。
A.在测试过程中，响应时间在合理范围之内（5）
B.在测试过程中，响应时间超出合理范围，但是可接受（1～4）
C.在测试过程中，响应时间超出合理范围，不可接受（0）
2
资源特性
（5分）
对软件系统的各类操作，服务器的资源利用合理。
A.在测试过程中，资源利用合理（5）
B.在测试过程中，资源利用基本合理（1～4）
C.在测试过程中，资源利用明显不合理，如有内存泄漏等现象（0）
测试说明
（一）测试点
1、GIS操作：
放大操作到某个地区或流域。
2、模型计算耗时。
（5）易操作性
编号
评测内容
技术要求
评分标准
1
易操作性（5分）
应具有良好的简体中文操作界面、详细的帮助信息，系统参数的维护与管理通过操作界面完成。
A.操作简单，容易理解，完全符合软件信息表所述内容，很好地反映了其所在领域的特性（4～5）
B.比较容易操作，需花费一定的时间理解，基本符合软件信息表所述内容，基本地反映了其所在领域的特性（2～3）
C.操作复杂，难以理解，没有很好地反映了其所在领域的特性（0～1）
三、专家评审大纲
1、评审准备
参评单位自行准备软硬件及网络环境，以及相应的软件产品和测试数据。
2、评审内容及技术要求
专家评审的内容包括系统的主要功能及自选演示项目的实用性、易用性、时效性、美观性、先进性等方面进行评价，评审内容和其要求如下：
编号
演示/测评内容
1
总体结构
（10分）
采用的软件结构（2分）
采用的开发架构（2分）
功能结构的合理性（6分）
2
系统建模
（30分）
模型/方法管理，包含多种产汇流、模型/方法，各模型/方法可任意组合，模型封装合理，组合方便。
（5分）
预报方案构建：
方案定义（3分）
流域圈画（2分）
确定方案模型（2分）
雨量站控制权重（2分）
参数率定：
历史数据处理（5分）
参数率定/检验（5分）
参数优选（2分）
率定资料选取（2分）
预报方案维护（2分）
3
作业预报
（25分）
实时雨水情查询
雨情查询（4分）
水情查询（4分）
实时预报：
数值降雨预报（3分）
实时洪水预报（5分）
实时洪水校正（2分）
预报误差统计（2分）
洪水预报精度评定（2分）
成果管理（3分）
4
系统管理
（5分）
用户管理（3分）
对用户及其功能权限管理
日志管理（2分）
模型计算错误时日志记录
5
GIS功能
（10分）
通用GIS功能（5分）
等值线、在线编辑地图等功能（5分）
6
自选演示项目
（20分）
演示参评产品的特色功能,例如无资料地区的处理等（20分）
评分标准
专家将从实用性、易用性、时效性、美观性、先进性等方面，对各项演示内容进行评价。
升级会员 