可用性的理论基础1111.docx

1、可用性的理论基础1111BDI数据管理系统的可用性评估方案1项目背景1.1 BDI模型概述1.2 为什么要做这个信息系统为了评价这个系统，我们进行可用性评估，下面了解一下可用性的相关理论。2 可用性的理论研究2.1 可用性概念70年代末，研究者们提出了可用性(Usability)的概念，并开始对其评估方法和应用展开了研究。对于可用性的概念，研究者们提出了多种解释。Nielsen(1993)从用户操作心理角度出发，给了可用性一个较完整的认识。他认为可用性包括以下要素：（1）易学性，商品是否易于用户学习；（2）交互效率，用户使用商品完成具体任务的效率如何；（3）易记性，将商品放置一段时间后用户再次

2、使用是否仍然记得如何操作；（4）出错频率和严重性，操作时出错的频率高低及严重程度如何；（5）用户满意度，用户对商品的满意程度如何。Nie1Sen较全面的概括了可用性的内涵，成为了业界认同度较高的观点。 学者Haltsno(1998)认为可用性包含两层含义：有用性和易用性。有用性是指产品能否实现一系列的功能；易用性是指用户与界面的交互效率、易学性以及用户的满意度。Hartosn的定义比较全面，他把人这一因素的重要性有提升到了一个新的高度，突出了人在与机器交互中人的能动性额主导地位，但对这一概念的可操作性缺乏进一步分析。学者Dnoald Nornma在The Design of Everyday

3、Things一书中提出了日常产品可用性的设计原则：可视性、匹配原则、反馈原则、限制原则、映射原则、一致性原则、启示性原则。 国际标准化组织在ISO 9241-11标准（Guidance on Usability，1997）中认为可用性是指产品在特定使用环境下为特定用户用于特定用途时所具有的有效性（goal with effectiveness）、效率（efficiency）和用户主观满意度（satisfaction）。其中：有效性是指用户完成特定任务和达到特定目标时所具有的正确和完整程度；效率是指用户完成任务的正确和完整程度与所使用资源（如时间）之间的比率；满意度是指用户在使用产品过程中所感受

4、到的主观满意和接受程度。综上所述，可用性的概念包含三方面内容。首先，有用性和有效性，即产品能否实现一定的功能以及交互界面能有效支持产品功能。其次，交互效率，包括交互过程的安全性、用户绩效、出错频率及严重性、易学性和易记性等因素。最后，用户对产品的满意度。2.2 可用性工程可用性工程（Usability Engineering）是以使用者为中心导向的方法，研究如何与使用者沟通、观察使用者的工作环境、情境分析等，以探讨产品在使用过程中存在的可用性问题，找出产品设计的准则，指导设计师能设计良好质量的产品。可用性工程贯穿于产品（软件）开发整个过程，包括需求获取、可用性问题分析和设计方案的开发和测试、评

5、估等在内的一整套实用工程方法，其中可用性测试和评价是可用性工程方法的一个核心内容。设计者从设计初期就不断地收集用户和专家对产品可用性的评价，并根据这些评价进行不断改进直到达到设计的目标为止。此外，可用性工程另一主要目的是为了让了解使用者需求、预测解决使用者需求，设立各项工作的测试、进行工作测试、启发式评估及统计分析等。图1表明了评估可用性时哪些信息是必须的。可用性：完成目标的有效性、效率和满意度的程度预期目标交互结果图3 可用性评估过程2.3 可用性评估方法可用性测试和评价是可用性工程方法的一个核心内容。可用性评估的方法主要包括：启发式评估、用户模型法、认知性遍历、用户测试和问卷调查等。下面对

6、这些评估方法进行简单介绍。2.3.1 启发式规则启发式评估（Heuristic Evaluation）是用来发现产品设计中可用性问题的可用性工程方法。Jacob Nielsen和Rolf Molic在90年代早期发明了这个方法。为了使用这个方法，要有三到五个评估者，每一个评估者单独进行检查，评估的对象可以是产品界面或原型，甚至是纸上原型。评估者有一个启发的清单，将遇到的问题与这些启发进行匹配，然后给这个问题的严重性评分。启发式评估通过观察界面来指出其中哪些设计好，哪些不好，其目标就是要发现界面设计中的可用性问题。启发式评估是非正式的可用性检查技术，使用一套相对简单、通用、有启发性的可用性原则来

7、进行可用性评估。这个评估包括三到五个用户或评估者，一些评估这在设计中要检查与之匹配的可用性问题的可用性原则，每个评估者对界面独立进行评估，以避免偏见。评估结束后，设计者、评估者和观察者共同讨论并将评估结果转化成设计修改建议。Jacob Nielsen提出的“是个常用的可用性启发”：系统状态可见性、系统与用户现实世界相互匹配、用户控制与自由、一致性与标准、错误预防、识别而不是回忆、使用的灵活性与效率、美观而精炼的设计、帮助用户认识、诊断和修正错误、帮助和文档。2.3.2 用户模型法用户模型法（User Model）是用数学模型来模拟人机交互的过程。这种方法把人机交互的过程看作是解决问题的过程，它

8、认为人使用软件系统是有目标的，而一个大的目标可以被细分成许多小的目标。为了完成每个小的目标，又有不同的动作和方法可供选择，每一个细小的过程都可以计算完成的时间，这个模型可以预测用户完成任务的时间。在人机交互领域中最著名的预测模型是GOMS模型。这个方法特别适合于无法进行用户测试的情形。例如，它可以用来评估拨电话号码这样的任务，这种任务严格的遵循一个任务顺序：先拿起话筒，然后听到声音，接着一次按键，最后等待。这种评估方法基本的要求是将操作的任务分成单个的步骤，每隔步骤操作时间可以精确到毫秒。每次的操作时间是从反复的试验中得到的。2.3.3 认知性遍历在认知性遍历总，专家测评者从一个说明书或者早起

9、的原型出发构建任务场景，然后让用户使用此界面完成任务，即“遍历”界面。用户（称为典型用户）就像使用真正的界面那样对界面进行遍历，使用它们来完成任务。仔细观察用户使用界面的每一步骤，如果界面中存在妨碍用户完成任务的地方，就表明界面中缺少某些必要的内容：完成任务的功能顺序如果繁杂反复，就表明界面需要新的功能以简化任务并修改功能顺序。进行认知性遍历活动，需要以下四个条件：（1）对系统原型的详尽描述：（2）对用户在系统中完成任务的描述；（3）一个完整的、书面的操作清单；（4）确定用户的身份，以及评估人员能够确定这些用户已具有哪一类别的知识和经验。 认知性遍历包括准备阶段和评估阶段。在准备阶段，首先组织

10、者准备好评估对象，确定典型任务并详细列出完成每个任务的完整步骤。其次，组织者应该确保评估者对目标用户及工作环境有一个详细的了解。在评估阶段，评估者们对典型任务的完成步骤进行讨论和评价，并记录所发现的问题。认知性遍历评估过程中记录的信息非常重要，每一个否定的回答都表示存在一个潜在的可用性问题，卡可以用于指导改进交互设计。2.3.4 用户测试用户测试就是让用户真正地使用软件系统，由试验人员对实验过程进行观察、记录和测量。这种方法可以准确地反馈用户的表现，反映用户的需求，是一种非常有效的方法。用户测试可分为实验室测试和现场测试。实验室测试是在可用性测试实验室里进行的，而现场测试是由可用性测试人员到用

11、户的实际使用现场进行观察和测试。以实验室测试为例，一次用户测试包括前期准备、测试阶段和测试评价三个部分。用户测试法在了解真实用户如何使用计算机方面有着无法替代的作用，无论是软件产品还是系统的界面使用，用户测试法都可发现与可用性相关的实际问题，发现与设计人员预期的使用方式异同的地方。由于用户真正地去执行实际的任务，所以用户测试能够发现启发式评估不能发现的问题，如应包括在当前界面而未包括的元素对用户体验产生的影响等。但是用户测试方法也存在可以改进的地方，如在确定典型任务的时候采用的方法主要是进行任务分析、对用户访问的实际观察，受到分析者主观个人因素的影响较多，所以典型任务无法全面而且完美地覆盖所有

12、可能的界面。在进行较大规模的用户测试时，若统一安排上机环境及时间，在资金及时间安排上需要投入较多的经历，而且用户在不熟悉的环境中访问习惯及用户体验都会受到影响。为了有效地进行可用性测试，需要正确设计测试内容、充分准备和执行试验。用户测试步骤如表1所示：表1 用户测试步骤阶段工作内容测试准备明确测试的目的帮助改进交互设计，评估交互的整体质量准备测试环境要确保测试环境的舒适准备测试设备准备好记录测试过程需要的设备，如摄像机、电源线，扩展插座，“请勿打扰”标志，饮料，记录软件或表格等确定角色分配确定测试过程中测试负责人、数据记录员和测试用户测试执行制定测试计划计划的主要部分包括：测试目标、问题陈述、

13、目标用户特征、测试方法、测试任务列表、需要收集的数据、测试报告内容等选择测试者根据目标用户特征选择有代表性的用户，将他们分为几类，每一类包含若干用户；测试用户来源应该广泛准备测试材料包括测试指导书、用户背景问卷、训练脚本、测试者行为记录表、测试后问卷执行引导测试对整个测试程序执行引导测试，发现那些对测试的含糊描述和容易出错的地方执行正式测试测试过程中不要给用户任何提示；测试结束，与用户做测试后面谈调查分析最终报告汇编和总结测试中获得的数据，例如完成时间的平均值、中间值、范围和标准偏差，用户成功完成任务的百分比；分析数据，找出那些发生错误的或使用比较困难的交互，逐个分析原因，并根据问题的严重程度

14、和紧急程度排序，撰写最终测试报告测试评价通过搜集一些客观、量化的数据进行性能评价2.3.5 问卷调查在软件退出后，就可以使用可用性问卷调查来收集用户的实际使用情况，了解用户的满意度和遇到的问题，利用收集到的信息，不断改进和提高软件的质量和可用性。调查问卷可以是开放式的问题，也可以是封闭式的问题，必须措辞明确，避免有可能误导的问题，以确保收集的数据有较高的可信度。常见的可用性问卷包括用户交互满意度问卷（QUIS）、软件可用性测量目录（SUMI）、计算机系统可用性问卷（CSUQ）问卷调查的执行过程主要包括以下三个步骤：（1）用户需去分析设定软件的质量目标，准确描述质量目标，通过用户调查，了解用户在

15、使用方面的切实感受。可以定义一些通用的可用性质量因素，如对于系统界面而言，可用性涉及到诸如一致性、易用性、灵活性等等。也可以通过用户会谈获得用户需要的产品特征。（2）问卷设计根据用户需求分析进行问卷设计，需要遵循这样的原则：从用户的角度出发，问题要精确、概括，避免二义性；可以采用的问卷类型包括事实陈述、用户填写意见、用户对事物的态度等；问题形式可以采用单向选择、多项选择（选择所有适合的选项）、李克特量表（Likert scales）、开放式问答题等新式。（3）问卷实施及结果分析问卷调查藏抽样调查、针对性调查、广泛调查（附带搜集用户信息并进行分类）等方式，其实施可以采用发放调查表、电子邮件、网页

16、等形式。结果分析主要是对调查收集到的数据运用统计方法进行分析、归纳，得到有用的信息。2.4 评估方法对比现有的评估方法既有主观和客观的不同，也有适用阶段和侧重点得不同，各自有其优势和缺点。在当前的产品可用性评估过程中，最常用的评估方法是用户测试和问卷调查。表2 评估方法对比评估方法适用阶段信息、数据成本耗时测试人员评价启发式评估设计阶段或者完成阶段主观、表达描述低中等专家测评者非正式的检查技术，对于测试者要求比较高，受人的主观因素影响较重，缺乏固定统一的标准用户模型法始终客观、定量数据和定性描述低省时软件设计者特别适用于无法进行用户测试的情况下，如在设计过程中确定设计方案的时候。侧重于预测用户

17、的执行性能，操作简单，可以不需要用户参与，作为设计人员的测试方法在开发过程中使用认知性遍历设计阶段主观、表达描述低中等专家测评者和典型用户测试的准备要求比较高，需具备原型和详细设计说明，对于测试人员的要求也比较高用户测试始终客观、定性高费时专门可用性测试人员和用户全面、准确，极其近似于真实的使用环境，测试时间和资金成本较高，主要进行典型任务分析和对用的观察，易受主观影响问卷调查完成以后主观、定性低省时用户测试成本低，当前比较通用的可用性评估方法3 BDI数据管理系统可用性评估模型的建立对于BDI数据管理系统的可用性评估研究，根据可用性的标准，需要对系统的有效性、效率和用户满意度三个方面来评估，

18、即需要客观定量，也需要主观定性，同时也要结合评估方法的实用性等特点。因此，从遵循可用性评估指标出发，本方案采用用户测试法，利用测试环境和辅助软件来评估系统有效性和效率，用问卷调查法评估用户满意度，两者相结合实现对BDI数据管理系统进行可用性评估，不断地改进和提高软件的质量和可用性。3.1 系统用户群体分析 可用性工程是以使用者为中心导向的方法，因此进行可用性评估首要的工作是了解用户群体。一般来说，BDI数据管理系统的使用者可界定为以下三种：（1）一般使用者(不具备BDI与特殊专业知识)（2）领域专家(特定专业知识专家，但不会使用BDI)（3）BDI专家3.2 用户测试评估指标通过用户测试法让用

19、户根据指定的测试任务对系统进行测试，从而对系统有效性和效率进行评估。3.2.1 有效性指标 有效性指用户完成特定任务和达到特定目标时所具有的的正确和完整程度。一般是根据任务完成率、出错频度、求助频度者三个主要指标来衡量的。（1）任务完成率：完成的任务占总任务的百分比。（2）出错频度：出错频度是通过用户执行某个任务过程中发生错误的次数来衡量的。（3）求助频度：求组频度是指用户在完成任务过程中遇到问题而无法进行下去时，求助于他人或查阅联机帮助或用户手册的次数。 根据有效性指标中的任务完成率、出错频度、求助频度这三个主要指标，确立BDI数据管理系统有效性评估指标如下表：一级二级指标描述计算公式有效性

20、用户完成任务的正确率X完成率任务完成率X=A/BA=完成的任务数B=总任务数出错率完成一项任务出错的频率X=A/BA=直到用户完成任务这段时间内出错的数目 X=0(X取值越接近0的值越好）求助频率用户为完成任务查看帮助或询问的次数记X=直到用户完成任务这段时间内的频率 率求帮助的数目 X=0(X取值越接近0的值越好 可取消性（用户错误修正）评测用户成功修正输入错误的频率或者用户正确地撤销错误的频率X=A/BA被用户成功修正的输入错误数B=试图修正的输入错误数0=X=1(X取值越接近1越好)3.2.2 效率指标效率指的是产品的有效性(完成任务的正确完整程度)与完成任务所耗费资源的比率。这里的资源

21、通常指时间，效率为单位时间的工作量。效率的计算公式为：效率=任务有效性/任务时间这里的任务有效性一般是用户的任务完成率，任务时间为用户完成任务的时间。效率刻画了用户使用产品时单位时间内的成功率。一个有效的产品应当可以让用户在较短时间内以较高的成功率完成任务。同样，对效率也应区分有帮助和无帮助两种情况。 根据效率指标确立BDI数据管理系统有效性评估指标任务的难易程度和帮助可达性，如下表所示：一级二级三级指标计算公式效率完成任务的难易性评测用户采用界面完成所有任务的效率X=A/TA任务完成率T完成任务的需要多长时间帮助可达性可顺利定位的帮助主题比例X=A/BA表示能顺利定位到帮助的任务数量B被测的

22、总任务数量0=X=1(X取值越接近1越好)3.3 用户满意度问卷 满意度刻画了用户使用产品时的主观感受，它会在很大程度上影响用户使用产品的动机和绩效。满意度指标通常使用问卷调查手段来获得。用户通过使用软件，对软件有了总体印象，采用问卷调查法调查收集用户对系统的实际使用情况，了解用户的满意程度和遇到的问题，利用收集到的信息，不断地改进和提高软件的质量和可用性。（1）评价的目标 进行用户交互满意度问卷测试的目标是测试BDI系统的用户交互满意度，具体包括：交互界面的兼容性、视觉清晰性、极少的用户动作、一致性、易学性、灵活性、知觉的有限性、用户帮助等性能。（2）需回答的问题 根据最新版本的QUIS，结

23、合BDI可用性评估指标体系中的有效性、效率和用户满意度指标，提出以下8个部分的指标：兼容性、视觉清晰性、极少的用户动作、一致性、易学性、灵活性、知觉的有限性、用户帮助。（3）为回答以上问题选择合适的评估方法， 采用用户交互满意度问卷调查法(QUIS)验证用户主观满意度。（4）需要解决的实际问题 为了保证测试的准确性，需要针对具体BDI系统的特点，对测试的用户进行选择。本文在用户群体分析部分提到BDI的三个用户群体，因此在对系统进行可用性测试的时候，需要根据BDI系统的应用范围，选择具有代表性的测试用户，只有这样才能保证测试的准确性和有效性。（5）道德问题由于大部分用户不愿公开自己的身份和意见，

24、因此保护个人隐私的问题就很重要所以制定以下“用户知情同意书”（见附录1），这是进行用户交互满意度测试必须准备的。（6）问卷结构一级指标二级指标三级指标用户满意度总体满意度对该软件总体满意兼容性光标的控制是否符合光标的移动用户的控制结果是否符合用户期望界面的颜色、形状是否为用户所熟悉视觉清晰性颜色的使用是否使显示更清晰屏幕上的重要信息显示是否突出对软件提供的字号大小是否满意一致性显示的格式是否一致系统要求用户的动作是否一致反馈的信息是否一致菜单的用词和密令的语言是否一致灵活性系统是否有直接操作的功能数据输入的设计是否灵活用户是否可以灵活的控制显示为了扩展显示功能，系统是否提供了放大的功能可学习性

25、菜单的分组是否合理菜单的顺序是否合理菜单的用词是否清晰命令的文字是否有意义极少的用户动作系统是否提供了默认值菜单的使用是否可以选择点击的功能（主流控制流程）在选择菜单时，系统是否要求极少的步骤知觉的有限性光标是否不同界面单元是否清晰目前活动的窗口是否有清楚的标识屏幕的密度是否合理用户指导系统反馈的错误信息是否有用系统是否提供了“取消”的功能系统是否提供了“帮助”的功能3.4 各指标的权重的计算我们利用德尔菲法(即专家意见法) 和层次分析法相结合的方法确定二级和三级（其中用户满意度问卷中的三级指标由用户确定）可用性指标的权重。在这次可用性测试中，聘请x位可用性专家进行各二级和三级指标的权重评估。

26、BDI管理平台可用性指标权重的计算过程如下：（1）分析和确定系统的主要功能选择需要测试的面向普通用户的重要功能，将选择的指标对应已有的功能。（2）权重设定根据建立起来的可用性指标评价体系建立层次分析结构模型, 并请x位专家利用托马斯.塞蒂( T. L Satty) 提出的1 9标度法分别对各级指标中的元素进行两两比较, 确定比率标度，对x位专家给出的比率标度进行加权平均处理以构造指标的判断矩阵。经过加权平均计算后的二级指标的判断矩阵和三级指标判断矩阵，再进行处理得到各指标的权重。4 BDI数据管理系统可用性评估实验测试对象： BDI模型基础数据管理平台测试目标通过观察用户使用管理平台实现特定的

27、目的或完成特定的任务，结合用户的体验，来评价与发现BDI模型数据管理平台的可用性问题。对BDI模型数据管理平台用户行为习惯的了解。针对系统可用性问题和用户行为习惯提出改进意见。测试设备：准备好记录测试过程需要的设备，包括已安装好软件的电脑、电源线、扩展插座、屏幕录像软件。测试时间长度：现场可用性测试2小时。测试地点：信管系机房或其他符合评估的基本要求的场所。测试执行者：实施现场可用性测试都有4人，对评估过程进行全程观测。测试用户：参与现场可用性测试的共5人。一般用户（宋姜、傅柱）、BDI专家（吴鹏、夏子然）、领域专家（丁老师）测试过程：让参与者在系统中完成x个指定的任务，由评估实施者进行客观地

28、记录。完成任务以后，让参与者回答设定的问卷中的问题，对其进行评分。执行测试任务：根据测试的对象，结合测试的指标，设定由简到繁的测试任务。测试者根据测试任务对软件进行测试，测试任务见附录1。测试观察者根据测试者的行为登记“测试者行为记录表”，“测试者行为登记表”见附录2。签订“用户知情同意书”：用户知情同意书间附件2。填写测试问卷：问卷的设计主要依据可用性的评估体系的底层指标转化而成，让测试参与者完成指定任务后，对问卷进行打分。问卷的具体内容采用用户交互满意度问卷调查法(QUIS)验证用户主观满意度。见附录3。5 实验数据分析与处理用定量的方法来计算评估得分6 结果分析7 创新点或优点8 总结附

29、录1模块序号任务测试指标实验方案管理1打开管理软件管理软件启动加载速度主界面美观程度默认窗口大小合理性主菜单栏设置合理性2新建实验方案新建窗口弹出速度输入项是否有格式限制输入项是否有长度限制时间输入是否可以直接选择日期是否有输入项格式错误提示3修改实验方案是否支持鼠标右击-修改是否提示保存对话框保存进度条保存成功的提示4查询实验方案是否有搜索功能是否支持右键-查询5实验方案导出是否支持多选-右键-导出导出文件路径对话框6实验方案导入是否支持多文件同时导入导入进度及成功提示7实验方案删除是否支持右键-删除是否有删除警告对话框是否有删除成功提示数据输入8基础数据输入输入窗口反应速度数据输入格式及长

30、度限制数据保存警告及提示文件导入数据速度文件导入数据进度提示文件导入数据完成提示9基础数据复制是否支持右键复制新数据的命名10基础数据修改是否支持鼠标右击-修改是否提示保存对话框保存进度条及成功提示BDI12数据项内容分类分类标准合理性是否支持自定义标准13赋权赋权取值的限制赋权取值的自动控制14生成表达式表达式的易理解性是否有表达式的符号说明附录2用户编号任务号界面操作结果描述结果的判断决策可用性问题总结（来自测试者）1#01是否有结果填写内容或者选择是否完成任务2#01附录3参与者编号： 用户知情同意书请您仔细阅读以下内容以帮您了解您所参与的实验。目的：您现在所参与的这个测试是为帮助我们研究您用到的产品的可用性和用户满意度，我们不是在测试您或您您的的能力。实验数据：您的测试结果将被收集统计，并用于课程报告中，信息对评估人员开放，但不使用您的名字。您的权利：您有同意或拒绝参加本次实验的权利，在试验中如果您有需要，可以要求暂停或退出。保密：