制造业信息化工程应用软件产品测评规范第一部分基本原则.docx
《制造业信息化工程应用软件产品测评规范第一部分基本原则.docx》由会员分享，可在线阅读，更多相关《制造业信息化工程应用软件产品测评规范第一部分基本原则.docx（11页珍藏版）》请在冰豆网上搜索。
制造业信息化工程应用软件产品测评规范第一部分基本原则
制造业信息化工程
2002年度应用软件产品测评规范
第一部分：
基本原则
ManufacturingInformationEngineering
ApplicationSoftwareTestingSpecificationof2002year
Part1:
FundamentalPrinciples
2002年8月
前言
《制造业信息化工程2002年度应用软件产品测评规范》（以下简称：
本规范）是国家‘十五’科技基础性工作专项“制造业信息化标准规范与数据库”项目的重点课题之一，是国家制造业信息化工程标准化工作的重要组成部分。
制定本规范旨在为制造业信息化工程2002年度应用软件产品测评工作的开展提供技术指导和技术规范支持，实现对制造业信息化工程应用软件产品的公平、公正、科学、客观的评价。
鉴于2002年度制造业信息化工程应用软件产品测评只涉及三维CAD和ERP软件产品的基本功能、基础性能和用户文档，因此，本规范只对三维CAD和ERP软件产品的基本功能、基础性能和用户文档进行规定。
本规范由以下部分组成：
第一部分：
基本原则；
第二部分：
三维CAD软件测评指标；
第三部分：
ERP软件测评指标。
本部分是规范的第一部分，规定了制造业信息化工程应用软件产品的测评对象、测评内容、测评指标、测评方式、判定准则、测评组织机构、测评工作流程、测评申请、受理审查、测评实施、测评报告、结果公告等方面的要求。
本部分的附录A为资料性附录。
制造业信息化工程
2002年度应用软件产品测评规范
第一部分：
基本原则
1范围
本部分规定了对制造业信息化工程2002年度应用软件产品实施测评的测评对象、测评内容、测评指标、测评方式、测评结果和判定准则、测评组织机构、测评工作流程、测评申请、受理审查、测评实施、测评报告、结果公告等方面的要求。
本部分适用于制造业信息化工程2002年度应用软件产品测评。
本部分的使用者包括：
软件测评机构、软件开发商、软件用户及有关单位等。
2规范性引用文件
下列文件中的条款通过本部分的引用而成为本部分的条款。
凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本部分，然而，鼓励根据本部分达成协议各方研究是否可使用这些文件的最新版本。
凡是不注日期的引用文件，其最新版本适用于本部分。
GB/T8567-1988计算机软件产品开发文件编制指南；
GB/T11457-1995软件工程术语；
GB/T16260-1996信息技术—软件产品评价—质量特性及使用指南（idtISO/IEC9126:
1991）；
GB/T16680-1996软件文档管理指南（neqISO/IECTR9294:
1990）；
GB/T17544-1998信息技术－软件包－质量要求和测评（idtISO/IEC12119-1994）。
3术语和定义
下列术语和定义适用于本规范。
3.1
功能function
程序中的一个算法的实现，利用该实现，用户或程序可以完成某一工作任务的全部或部分内容。
[GB/T17544－1998]
3.2
性能performance
a.计算机系统或子系统实现其功能的能力。
b.对计算机系统或子系统执行其功能的能力的度量。
例如，响应时间、事务处理能力、可靠性等。
[GB/T11457－1995]
3.3
用户文档userdocumentation
以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。
[GB/T17544－1998]
注：
用户文档指被测软件的开发商所提供给用户的、与该软件使用有关的各类文档，例如软件使用说明书等。
3.4
易用性practicability
与一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性。
[GB/T17544－1998]
注：
软件的易用性是指人们学习、操作、准备输入和解释程序输出（输出结果和出错信息）的便利程度。
3.5
可靠性reliability
与在规定的一段时间和条件下，软件维持其性质水平的能力有关的一组属性。
[GB/T17544－1998]
3.6
可扩展性scalability
是指软件系统可以在不同规模、不同档次的运行环境平台上运行的能力。
[GB/T11457－1995]
3.7
易理解性understandability
与用户为认识逻辑概念及其应用范围所花的努力有关的软件属性。
[GB/T16260-1996]
3.8
测试用例testcase
测试者使用的文档化的细则者使用的文档化的细则，其规定如何对某项功能或功能组合进行测试。
3.9
判定verdict
相对于测评项，对被测实现的结果给出“通过”或“不通过”等结论性陈述的行为。
3.10
判定准则verdictcriteria
在测评项中规定的、使测评实验室和测评人员对测评结果做出评定结论的依据。
3.11缩略语
CAD计算机辅助设计（ComputerAidedDesign）
ERP企业资源规划（EnterpriseResourcePlanning）
4测评对象
在中国境内销售的三维CAD和ERP软件产品。
申请2002年度测评的软件产品应符合测评组织管理机构规定的条件，软件送测单位应提交有关证明资料。
5测评内容
制造业信息化工程2002年度应用软件产品的测评分为三部分：
功能测评、性能测评、用户文档测评。
5.1功能测评
功能测评是根据本规范规定的各项功能测评指标对软件进行测试和评定。
功能测评的目的是为了确定被测软件是否具有本规范所规定的功能项，以及检测该功能实现与规定之间的偏离量，为判定该软件产品是否“通过”测评提供依据。
注：
“通过”是指基本满足制造业信息化工程应用示范企业对该软件功能的共性需求。
功能测评应遵循“GB/T16260-1996信息技术—软件产品评价—质量特性及使用指南”和“GB/T17544-1998信息技术－软件包－质量要求和测评”的规定。
5.2性能测评
性能测评是在功能测评的基础上，对该软件产品的性能进行评价。
性能的要求及测评应遵循“GB/T16260-1996信息技术—软件产品评价—质量特性及使用指南”和“GB/T17544-1998信息技术－软件包－质量要求和测评”的规定。
5.3用户文档测评
用户文档测评主要是考察被测软件用户文档的完整性、以及软件说明书文档与软件具有的实际功能、性能的一致性以及用户文档的易理解程度。
用户文档的要求及测评应遵循“GB/T16260-1996信息技术—软件产品评价—质量特性及使用指南”和“GB/T17544-1998信息技术－软件包－质量要求和测评”的规定。
6测评指标
制造业信息化工程2002年度应用软件产品测评指标分为：
基本功能、基础性能和用户文档三部分。
针对三维CAD软件产品测评指标详见本规范的第2部分：
三维CAD软件测评指标。
ERP软件产品测评指标详见本规范的第3部分：
ERP软件测评指标。
7测评方式
制造业信息化工程2002年度应用软件产品测评采用第三方软件测评机构实施测评的方式。
在软件测评过程中，软件测评机构应遵循本规范和“GB/T17544信息技术软件包质量要求和测评”的规定要求。
8判定准则
在2002年度应用软件产品测评中，对各测评指标的测评只判定“通过”或“不通过”；对该软件的测评最终结果也只判定“通过”或“不通过”。
判定准则：
有下列情况之一者,判定为“不通过”：
――被测软件缺少本规范规定的基本功能项；
――在测评过程中，发生了可重复出现的严重问题。
未出现上述情况的，判定为“通过”。
注１：
基本功能项以本规范所规定的功能测评指标中的二级指标为准。
注２：
可重复出现的“严重问题”是指：
――被测基本功能项不能正确实现；
――被测数据处理错误；
――主业务流程出现断点；
――软件错误导致死机；
――软件错误导致数据丢失；
――软件错误导致系统无法运行；
――系统操作响应时间过长，在1分钟以上；
――存在严重的安全漏洞；
――用户文档与上报软件不相符；等。
9测评组织机构
为顺利实施软件测评，保证测评过程的公平、公正、科学、高效，应设立软件测评的组织管理机构、测评机构和监督机构。
9．1组织管理机构
组织管理机构的职责：
――发布开展软件测评的通知、通告；
――负责受理软件测评的申请，并对送测单位提交的申请材料进行受理审查；
――选择合适的第三方测评机构；
――组织相关技术领域的专家制定软件测评的统一测试用例（或测试题）；
――审查、选定合适的测试用例（或测试题）；
――发布测评结果。
组织管理机构可以是国家政府有关部门或得到其授权的组织和机构；也可以是行业协会或相关技术委员会等。
9．2测评机构
测评机构的职责：
――负责实施软件测评；
――根据有关标准规范规定和测试用例（或测试题），做好各项测评准备工作；
――保持与测试用例一致的测试，并填写测试记录；
――整理、分析测试过程中出现的问题，编写测试问题报告；
――做出测评结果的判定，编写测评报告；
――及时向软件测评组织管理机构提供信息反馈。
测评机构应该是获得国家认证、认可的软件测评机构或专业软件测试实验室。
注１：
测评组织管理机构和实施测评机构应保护送测软件产品的知识产权，不得复制、解密送测软件产品样品、不得将样品提供给与测评不相关的其他方，不得在与测评无关的场合使用样品。
注２：
在软件测评过程中引发的争议，应根据相关法律进行处理。
注３：
参加测评工作的全体人员应对测评人员姓名、测评过程中的意见和未经批准的测评结果，及其它有可能影响测评公正性和有损国家或申请人利益的信息进行保密，切实保护被测方和测评者的权益。
9．3监督机构
监督机构的职责：
――对软件测评过程的各个环节进行监督和检查；
――受理对软件测评过程中发生的问题和测评结果的投诉和举报，并调查核实，提出处理意见；
――对软件测评的管理工作，提出合理化意见和建议。
监督机构可以是国家政府相关部门或得到其授权委托的机构组织，或为开展测评临时组建的测评监督委员会。
注１：
对无署名、无联系方式或没有具体事实的投诉，监督委员会可不予处理。
注２：
对办结的投诉和举报，监督委员会要将处理结果告知投诉者或举报者,并将有关材料归档。
10测评工作流程
制造业信息化工程应用软件产品测评的总体流程如下图所示：
11测评申请
送测单位应实事求是地认真填写申请表，并提交相关材料。
如：
1）《制造业信息化工程应用软件产品测评申请表》；
2）与申请表一致的软件产品一套；
3）与申请表一致的软件产品文档一套；
4）必要时提供足够的测评数据及相应的数据文档；
5）测评组织管理机构规定的有关软件产品的登记证书和送测单位身份证明。
12受理审查
有以下情况之一者，将不能通过受理审查：
――申请手续不完备，申请书填写不符合规定。
――申请测评的软件产品不具备规定的条件；
――送测单位不具备规定的资格。
通过资格审查的软件移交给第三方软件测评机构进行软件测评。
13测评实施
13.1测评准备
软件测评机构根据被测软件产品的应用环境要求和用户手册的描述建立软件产品测试环境，并完成被测软件在测试环境下的安装。
注：
考虑到某些被测软件系统的复杂性和安全保密性要求，被测软件在测试环境下的安装可由送测单位进行协助。
送测单位应在规定的时间期限内，协助完成被测软件在测试环境下的安装。
软件测评机构根据本规范规定的测评内容，选择合格的具有相关技术领域知识的测评技术人员组成软件测评组。
需针对每一个被测软件成立测评组，每个测评组不得少于二人。
测评组织管理机构组织相关领域的技术专家按照本规范规定的测评内容，设计编制能够覆盖全部测评内容的测试用例（或测试题）。
测试用例应包括下列信息：
测试目标；测试环境和条件（包括：
配置细节和准备工作）；测试数据；过程；系统的预期行为。
测试用例应系统地构造，应覆盖本规范第二、三部分中规定的功能指标和性能指标。
注1：
被测方可提供反映自身特点、能覆盖本规范规定的各项基本功能和基础性能的测试用例，供软件测评机构参考。
注2：
测评人员除使用给定的统一测试用例对软件进行测试外，也可适当增加其他测试用例，还应针对送测软件的关键边界值进行测试。
13.2测试运行
软件测评组依据测试用例对软件进行功能、性能以及用户文档的测试。
13.2.1用户文档测评
软件测评组在对被测软件进行测评时，应首先对被测软件所附的用户文档进行测评，考核用户文档是否符合“完整性”、“一致性”、“易理解性”等要求。
13.2.2功能和性能测试
软件测评组依据本规范第二、三部分和用户文档为基础构造的统一测试用例和其他参考测试用例对被测软件进行测试。
对测试过程中出现的问题，应进行重复性核定测评。
软件测评组应填写测试记录。
测试记录应包括：
――测试计划及包含测试用例的测试说明与解释；
――与测试用例相关的所有结果，包括测试期间出现的所有偏离、失败情况；
――测试中涉及的人员身份。
13.3问题分析
软件测评组根据测试过程中出现的问题记录，确定问题性质（包括：
严重问题、一般性问题、建议性问题），并对问题原因进行初步分析，编制被测软件产品的测试问题报告。
软件评测机构应对被测软件产品测试问题报告进行评审。
如涉及严重问题，须将被测软件产品测试问题报告提交被测方确认。
问题报告应包括：
――问题统计；
――问题概述；
――问题详细描述；
――问题确认、审核人员签名及日期。
13．4测评报告
软件测评机构以测试记录和问题报告为依据，编写测评报告。
测评报告的结构：
――软件产品标识；
――测试环境（硬件、软件及其配置）；
――使用的文档及其标识；
――基本功能、基础性能、用户文档的测评结果；
――测评结束日期。
注１：
测评报告的标识（测评实验室、产品标识、测评报告日期）和页面总数应出现在测评报告的每页上。
注２：
测评报告应包括与测评项相关的测评结果有效性的说明。
注３：
未经批准，不得复印测评报告及其有关说明。
14结果公布
组织管理机构依据软件测评机构提交的测评报告，本着实事求是的原则，起草测评结果公告，并向社会公开发布。
附录A
（资料性附录）
软件测评报告
A.1一个详细叙述测评情况的测评报告至少应包括以下信息：
—测评机构的名称和地址；
—送测单位的名称和地址；
—测评机构所发布的测评报告的唯一标识符；
—在测评报告的每一页面上均有唯一的页面标识；
—测评的执行日期；
测评机构所批准的签署人或对测评报告内容负责的签署人的亲笔签字和印刷体的姓名；
测试软硬件环境及其配置；
—所采用的测评项的细目；
测评结果；
测评结论；
测评机构的公章。
A.2一个详细叙述测评情况的测评报告至少应满足以下要求：
—测评报告应如实反映客观实际情况；
—测评机构上交测评报告之前，应对其准确性进行检查，尽量采用定量的数据和分析，避免模棱两可的意见；
—应采用使错误和误解尽可能少的方法来表示测评报告中的信息；
—测评报告的设计应把添加或移动页面，或其他篡改信息的可能性降到最低程度。
参考文献
1《CAD通用技术规范》王平主编，中国标准出版社，1995
2HB/Z180-1990软件质量特性与评价方法
3GB/T9385-1988计算机软件需求说明编制指南;
4GB/T9386-1988计算机软件测评文件编制规范;
5GB/T13423-1992工业控制用软件评定准则;
6GB/T14079-1993软件维护指南;
7GB/T14394-1993计算机软件可靠性和可维护性管理;
8GB/T15481-2000 检测和校准实验室能力的通用要求；
9GB/T15532-1995计算机软件单元测评;
10GB/T15853-1995软件支持环境;
11GB/T16656.31-1997工业自动化系统与集成产品数据的表达与交换—第31部分：
一致性测评方法论与框架：
基本概念；
12GB/T16656.32-1999工业自动化系统与集成—产品数据的表达与交换—第32部分：
一致性测评方法论与框架：
对测评实验室和客户的要求。
升级会员 