制造业信息化工程应用软件产品测评规范第一部分基本原则.docx

1、制造业信息化工程应用软件产品测评规范第一部分基本原则制造业信息化工程2002年度应用软件产品测评规范第一部分：基本原则Manufacturing Information EngineeringApplication Software Testing Specification of 2002 yearPart 1: Fundamental Principles2002年8月 前 言制造业信息化工程2002年度应用软件产品测评规范（以下简称：本规范）是国家十五科技基础性工作专项“制造业信息化标准规范与数据库”项目的重点课题之一，是国家制造业信息化工程标准化工作的重要组成部分。制定本规范旨在为制造

2、业信息化工程2002年度应用软件产品测评工作的开展提供技术指导和技术规范支持，实现对制造业信息化工程应用软件产品的公平、公正、科学、客观的评价。鉴于2002年度制造业信息化工程应用软件产品测评只涉及三维CAD和ERP软件产品的基本功能、基础性能和用户文档，因此，本规范只对三维CAD和ERP软件产品的基本功能、基础性能和用户文档进行规定。本规范由以下部分组成：第一部分：基本原则；第二部分：三维CAD软件测评指标；第三部分：ERP软件测评指标。本部分是规范的第一部分，规定了制造业信息化工程应用软件产品的测评对象、测评内容、测评指标、测评方式、判定准则、测评组织机构、测评工作流程、测评申请、受理审查

3、、测评实施、测评报告、结果公告等方面的要求。本部分的附录A为资料性附录。制造业信息化工程2002年度应用软件产品测评规范第一部分：基本原则1 范围本部分规定了对制造业信息化工程2002年度应用软件产品实施测评的测评对象、测评内容、测评指标、测评方式、测评结果和判定准则、测评组织机构、测评工作流程、测评申请、受理审查、测评实施、测评报告、结果公告等方面的要求。本部分适用于制造业信息化工程2002年度应用软件产品测评。本部分的使用者包括：软件测评机构、软件开发商、软件用户及有关单位等。2 规范性引用文件下列文件中的条款通过本部分的引用而成为本部分的条款。凡是注日期的引用文件，其随后所有的修改单（不

4、包括勘误的内容）或修订版均不适用于本部分，然而，鼓励根据本部分达成协议各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本部分。GB/T 8567 -1988 计算机软件产品开发文件编制指南；GB/T 11457-1995 软件工程术语；GB/T 16260-1996 信息技术软件产品评价质量特性及使用指南（idt ISO/IEC 9126: 1991）；GB/T 16680-1996 软件文档管理指南（neq ISO/IEC TR 9294:1990）；GB/T 17544-1998 信息技术软件包质量要求和测评（idt ISO/IEC 12119-1994）。3

5、 术语和定义下列术语和定义适用于本规范。3.1功能 function程序中的一个算法的实现，利用该实现，用户或程序可以完成某一工作任务的全部或部分内容。GB/T 1754419983.2性能 performancea.计算机系统或子系统实现其功能的能力。b.对计算机系统或子系统执行其功能的能力的度量。例如，响应时间、事务处理能力、可靠性等。GB/T 1145719953.3用户文档 user documentation 以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。 GB/T 175441998 注：用户文档指被测软件的开发商所提供给用户的、与该

6、软件使用有关的各类文档，例如软件使用说明书等。3.4易用性practicability与一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性。GB/T 175441998注：软件的易用性是指人们学习、操作、准备输入和解释程序输出（输出结果和出错信息）的便利程度。3.5可靠性reliability与在规定的一段时间和条件下，软件维持其性质水平的能力有关的一组属性。GB/T 1754419983.6可扩展性 scalability是指软件系统可以在不同规模、不同档次的运行环境平台上运行的能力。GB/T 1145719953.7易理解性 understandabilit

7、y与用户为认识逻辑概念及其应用范围所花的努力有关的软件属性。GB/T 16260-19963.8测试用例 test case测试者使用的文档化的细则者使用的文档化的细则，其规定如何对某项功能或功能组合进行测试。3.9判定verdict相对于测评项，对被测实现的结果给出“通过”或“不通过”等结论性陈述的行为。3.10判定准则verdict criteria 在测评项中规定的、使测评实验室和测评人员对测评结果做出评定结论的依据。3.11 缩略语CAD 计算机辅助设计（Computer Aided Design）ERP 企业资源规划（Enterprise Resource Planning）4 测评

8、对象在中国境内销售的三维CAD和ERP软件产品。申请2002年度测评的软件产品应符合测评组织管理机构规定的条件，软件送测单位应提交有关证明资料。5 测评内容制造业信息化工程2002年度应用软件产品的测评分为三部分：功能测评、性能测评、用户文档测评。5.1 功能测评功能测评是根据本规范规定的各项功能测评指标对软件进行测试和评定。功能测评的目的是为了确定被测软件是否具有本规范所规定的功能项，以及检测该功能实现与规定之间的偏离量，为判定该软件产品是否“通过”测评提供依据。注：“通过”是指基本满足制造业信息化工程应用示范企业对该软件功能的共性需求。功能测评应遵循“GB/T 16260-1996 信息技

9、术软件产品评价质量特性及使用指南”和“GB/T 17544-1998 信息技术软件包质量要求和测评”的规定。5.2 性能测评性能测评是在功能测评的基础上，对该软件产品的性能进行评价。性能的要求及测评应遵循“GB/T 16260-1996 信息技术软件产品评价质量特性及使用指南”和“GB/T 17544-1998 信息技术软件包质量要求和测评”的规定。5.3 用户文档测评用户文档测评主要是考察被测软件用户文档的完整性、以及软件说明书文档与软件具有的实际功能、性能的一致性以及用户文档的易理解程度。用户文档的要求及测评应遵循“GB/T 16260-1996 信息技术软件产品评价质量特性及使用指南”和

10、“GB/T 17544-1998 信息技术软件包质量要求和测评”的规定。6 测评指标制造业信息化工程2002年度应用软件产品测评指标分为：基本功能、基础性能和用户文档三部分。针对三维CAD软件产品测评指标详见本规范的第2部分：三维CAD软件测评指标。ERP软件产品测评指标详见本规范的第3部分：ERP软件测评指标。7 测评方式制造业信息化工程2002年度应用软件产品测评采用第三方软件测评机构实施测评的方式。在软件测评过程中，软件测评机构应遵循本规范和“GB/T 17544 信息技术 软件包 质量要求和测评”的规定要求。8 判定准则在2002年度应用软件产品测评中，对各测评指标的测评只判定 “通过

11、”或“不通过”；对该软件的测评最终结果也只判定“通过”或“不通过”。判定准则：有下列情况之一者, 判定为“不通过”：被测软件缺少本规范规定的基本功能项；在测评过程中，发生了可重复出现的严重问题。未出现上述情况的，判定为“通过”。注：基本功能项以本规范所规定的功能测评指标中的二级指标为准。注：可重复出现的“严重问题”是指：被测基本功能项不能正确实现；被测数据处理错误；主业务流程出现断点；软件错误导致死机；软件错误导致数据丢失；软件错误导致系统无法运行；系统操作响应时间过长，在1分钟以上；存在严重的安全漏洞；用户文档与上报软件不相符；等。9测评组织机构为顺利实施软件测评，保证测评过程的公平、公正、

12、科学、高效，应设立软件测评的组织管理机构、测评机构和监督机构。91 组织管理机构组织管理机构的职责：发布开展软件测评的通知、通告；负责受理软件测评的申请，并对送测单位提交的申请材料进行受理审查；选择合适的第三方测评机构；组织相关技术领域的专家制定软件测评的统一测试用例（或测试题）；审查、选定合适的测试用例（或测试题）；发布测评结果。组织管理机构可以是国家政府有关部门或得到其授权的组织和机构；也可以是行业协会或相关技术委员会等。92 测评机构测评机构的职责：负责实施软件测评；根据有关标准规范规定和测试用例（或测试题），做好各项测评准备工作；保持与测试用例一致的测试，并填写测试记录；整理、分析测试

13、过程中出现的问题，编写测试问题报告；做出测评结果的判定，编写测评报告；及时向软件测评组织管理机构提供信息反馈。测评机构应该是获得国家认证、认可的软件测评机构或专业软件测试实验室。注：测评组织管理机构和实施测评机构应保护送测软件产品的知识产权，不得复制、解密送测软件产品样品、不得将样品提供给与测评不相关的其他方，不得在与测评无关的场合使用样品。注：在软件测评过程中引发的争议，应根据相关法律进行处理。注：参加测评工作的全体人员应对测评人员姓名、测评过程中的意见和未经批准的测评结果，及其它有可能影响测评公正性和有损国家或申请人利益的信息进行保密，切实保护被测方和测评者的权益。93 监督机构监督机构的

14、职责：对软件测评过程的各个环节进行监督和检查；受理对软件测评过程中发生的问题和测评结果的投诉和举报，并调查核实，提出处理意见；对软件测评的管理工作，提出合理化意见和建议。监督机构可以是国家政府相关部门或得到其授权委托的机构组织，或为开展测评临时组建的测评监督委员会。注：对无署名、无联系方式或没有具体事实的投诉，监督委员会可不予处理。注：对办结的投诉和举报，监督委员会要将处理结果告知投诉者或举报者,并将有关材料归档。10 测评工作流程制造业信息化工程应用软件产品测评的总体流程如下图所示：11 测评申请送测单位应实事求是地认真填写申请表，并提交相关材料。如：1）制造业信息化工程应用软件产品测评申请

15、表；2）与申请表一致的软件产品一套；3）与申请表一致的软件产品文档一套；4）必要时提供足够的测评数据及相应的数据文档；5）测评组织管理机构规定的有关软件产品的登记证书和送测单位身份证明。12 受理审查有以下情况之一者，将不能通过受理审查： 申请手续不完备，申请书填写不符合规定。申请测评的软件产品不具备规定的条件；送测单位不具备规定的资格。通过资格审查的软件移交给第三方软件测评机构进行软件测评。13测评实施13.1 测评准备软件测评机构根据被测软件产品的应用环境要求和用户手册的描述建立软件产品测试环境，并完成被测软件在测试环境下的安装。注：考虑到某些被测软件系统的复杂性和安全保密性要求，被测软件

16、在测试环境下的安装可由送测单位进行协助。送测单位应在规定的时间期限内，协助完成被测软件在测试环境下的安装。软件测评机构根据本规范规定的测评内容，选择合格的具有相关技术领域知识的测评技术人员组成软件测评组。需针对每一个被测软件成立测评组，每个测评组不得少于二人。测评组织管理机构组织相关领域的技术专家按照本规范规定的测评内容，设计编制能够覆盖全部测评内容的测试用例（或测试题）。测试用例应包括下列信息：测试目标；测试环境和条件（包括：配置细节和准备工作）；测试数据；过程；系统的预期行为。测试用例应系统地构造，应覆盖本规范第二、三部分中规定的功能指标和性能指标。注1：被测方可提供反映自身特点、能覆盖本

17、规范规定的各项基本功能和基础性能的测试用例，供软件测评机构参考。注2：测评人员除使用给定的统一测试用例对软件进行测试外，也可适当增加其他测试用例，还应针对送测软件的关键边界值进行测试。13.2 测试运行软件测评组依据测试用例对软件进行功能、性能以及用户文档的测试。13.2.1 用户文档测评软件测评组在对被测软件进行测评时，应首先对被测软件所附的用户文档进行测评，考核用户文档是否符合“完整性”、“一致性” 、“易理解性”等要求。13.2.2 功能和性能测试软件测评组依据本规范第二、三部分和用户文档为基础构造的统一测试用例和其他参考测试用例对被测软件进行测试。对测试过程中出现的问题，应进行重复性核

18、定测评。软件测评组应填写测试记录。测试记录应包括：测试计划及包含测试用例的测试说明与解释；与测试用例相关的所有结果，包括测试期间出现的所有偏离、失败情况；测试中涉及的人员身份。13.3 问题分析软件测评组根据测试过程中出现的问题记录，确定问题性质（包括：严重问题、一般性问题、建议性问题），并对问题原因进行初步分析，编制被测软件产品的测试问题报告。软件评测机构应对被测软件产品测试问题报告进行评审。如涉及严重问题，须将被测软件产品测试问题报告提交被测方确认。问题报告应包括：问题统计；问题概述；问题详细描述；问题确认、审核人员签名及日期。134 测评报告软件测评机构以测试记录和问题报告为依据，编写测

19、评报告。测评报告的结构：软件产品标识；测试环境（硬件、软件及其配置）；使用的文档及其标识；基本功能、基础性能、用户文档的测评结果；测评结束日期。注：测评报告的标识（测评实验室、产品标识、测评报告日期）和页面总数应出现在测评报告的每页上。注：测评报告应包括与测评项相关的测评结果有效性的说明。注：未经批准，不得复印测评报告及其有关说明。14结果公布组织管理机构依据软件测评机构提交的测评报告，本着实事求是的原则，起草测评结果公告，并向社会公开发布。附录A（资料性附录）软件测评报告A.1 一个详细叙述测评情况的测评报告至少应包括以下信息： 测评机构的名称和地址； 送测单位的名称和地址； 测评机构所发布

20、的测评报告的唯一标识符； 在测评报告的每一页面上均有唯一的页面标识； 测评的执行日期； 测评机构所批准的签署人或对测评报告内容负责的签署人的亲笔签字和印刷体的姓名； 测试软硬件环境及其配置； 所采用的测评项的细目； 测评结果； 测评结论； 测评机构的公章。A.2 一个详细叙述测评情况的测评报告至少应满足以下要求： 测评报告应如实反映客观实际情况； 测评机构上交测评报告之前，应对其准确性进行检查，尽量采用定量的数据和分析，避免模棱两可的意见； 应采用使错误和误解尽可能少的方法来表示测评报告中的信息； 测评报告的设计应把添加或移动页面，或其他篡改信息的可能性降到最低程度。参考文献1 CAD通用技术

21、规范王平主编，中国标准出版社，19952 HB/Z 180-1990 软件质量特性与评价方法3 GB/T 9385-1988 计算机软件需求说明编制指南;4 GB/T 9386-1988 计算机软件测评文件编制规范;5 GB/T 13423-1992 工业控制用软件评定准则;6 GB/T 14079-1993 软件维护指南;7 GB/T 14394-1993 计算机软件可靠性和可维护性管理;8 GB/T 15481-2000检测和校准实验室能力的通用要求；9 GB/T 15532-1995 计算机软件单元测评;10 GB/T 15853-1995 软件支持环境;11 GB/T 16656.31-1997 工业自动化系统与集成产品数据的表达与交换第31部分：一致性测评方法论与框架：基本概念；12 GB/T 16656.32-1999 工业自动化系统与集成产品数据的表达与交换第32部分：一致性测评方法论与框架：对测评实验室和客户的要求。