可用性的理论基础1111Word格式文档下载.docx
《可用性的理论基础1111Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《可用性的理论基础1111Word格式文档下载.docx（24页珍藏版）》请在冰豆网上搜索。
2.3可用性评估方法
可用性测试和评价是可用性工程方法的一个核心内容。
可用性评估的方法主要包括：
启发式评估、用户模型法、认知性遍历、用户测试和问卷调查等。
下面对这些评估方法进行简单介绍。
2.3.1启发式规则
启发式评估（HeuristicEvaluation）是用来发现产品设计中可用性问题的可用性工程方法。
JacobNielsen和RolfMolic在90年代早期发明了这个方法。
为了使用这个方法，要有三到五个评估者，每一个评估者单独进行检查，评估的对象可以是产品界面或原型，甚至是纸上原型。
评估者有一个启发的清单，将遇到的问题与这些启发进行匹配，然后给这个问题的严重性评分。
启发式评估通过观察界面来指出其中哪些设计好，哪些不好，其目标就是要发现界面设计中的可用性问题。
启发式评估是非正式的可用性检查技术，使用一套相对简单、通用、有启发性的可用性原则来进行可用性评估。
这个评估包括三到五个用户或评估者，一些评估这在设计中要检查与之匹配的可用性问题的可用性原则，每个评估者对界面独立进行评估，以避免偏见。
评估结束后，设计者、评估者和观察者共同讨论并将评估结果转化成设计修改建议。
JacobNielsen提出的“是个常用的可用性启发”：
系统状态可见性、系统与用户现实世界相互匹配、用户控制与自由、一致性与标准、错误预防、识别而不是回忆、使用的灵活性与效率、美观而精炼的设计、帮助用户认识、诊断和修正错误、帮助和文档。
2.3.2用户模型法
用户模型法（UserModel）是用数学模型来模拟人机交互的过程。
这种方法把人机交互的过程看作是解决问题的过程，它认为人使用软件系统是有目标的，而一个大的目标可以被细分成许多小的目标。
为了完成每个小的目标，又有不同的动作和方法可供选择，每一个细小的过程都可以计算完成的时间，这个模型可以预测用户完成任务的时间。
在人机交互领域中最著名的预测模型是GOMS模型。
这个方法特别适合于无法进行用户测试的情形。
例如，它可以用来评估拨电话号码这样的任务，这种任务严格的遵循一个任务顺序：
先拿起话筒，然后听到声音，接着一次按键，最后等待。
这种评估方法基本的要求是将操作的任务分成单个的步骤，每隔步骤操作时间可以精确到毫秒。
每次的操作时间是从反复的试验中得到的。
2.3.3认知性遍历
在认知性遍历总，专家测评者从一个说明书或者早起的原型出发构建任务场景，然后让用户使用此界面完成任务，即“遍历”界面。
用户（称为典型用户）就像使用真正的界面那样对界面进行遍历，使用它们来完成任务。
仔细观察用户使用界面的每一步骤，如果界面中存在妨碍用户完成任务的地方，就表明界面中缺少某些必要的内容：
完成任务的功能顺序如果繁杂反复，就表明界面需要新的功能以简化任务并修改功能顺序。
进行认知性遍历活动，需要以下四个条件：
（1）对系统原型的详尽描述：
（2）对用户在系统中完成任务的描述；
（3）一个完整的、书面的操作清单；
（4）确定用户的身份，以及评估人员能够确定这些用户已具有哪一类别的知识和经验。
认知性遍历包括准备阶段和评估阶段。
在准备阶段，首先组织者准备好评估对象，确定典型任务并详细列出完成每个任务的完整步骤。
其次，组织者应该确保评估者对目标用户及工作环境有一个详细的了解。
在评估阶段，评估者们对典型任务的完成步骤进行讨论和评价，并记录所发现的问题。
认知性遍历评估过程中记录的信息非常重要，每一个否定的回答都表示存在一个潜在的可用性问题，卡可以用于指导改进交互设计。
2.3.4用户测试
用户测试就是让用户真正地使用软件系统，由试验人员对实验过程进行观察、记录和测量。
这种方法可以准确地反馈用户的表现，反映用户的需求，是一种非常有效的方法。
用户测试可分为实验室测试和现场测试。
实验室测试是在可用性测试实验室里进行的，而现场测试是由可用性测试人员到用户的实际使用现场进行观察和测试。
以实验室测试为例，一次用户测试包括前期准备、测试阶段和测试评价三个部分。
用户测试法在了解真实用户如何使用计算机方面有着无法替代的作用，无论是软件产品还是系统的界面使用，用户测试法都可发现与可用性相关的实际问题，发现与设计人员预期的使用方式异同的地方。
由于用户真正地去执行实际的任务，所以用户测试能够发现启发式评估不能发现的问题，如应包括在当前界面而未包括的元素对用户体验产生的影响等。
但是用户测试方法也存在可以改进的地方，如在确定典型任务的时候采用的方法主要是进行任务分析、对用户访问的实际观察，受到分析者主观个人因素的影响较多，所以典型任务无法全面而且完美地覆盖所有可能的界面。
在进行较大规模的用户测试时，若统一安排上机环境及时间，在资金及时间安排上需要投入较多的经历，而且用户在不熟悉的环境中访问习惯及用户体验都会受到影响。
为了有效地进行可用性测试，需要正确设计测试内容、充分准备和执行试验。
用户测试步骤如表1所示：
表1用户测试步骤
阶段
工作内容
测试准备
明确测试的目的
帮助改进交互设计，评估交互的整体质量
准备测试环境
要确保测试环境的舒适
准备测试设备
准备好记录测试过程需要的设备，如摄像机、电源线，扩展插座，“请勿打扰”标志，饮料，记录软件或表格等
确定角色分配
确定测试过程中测试负责人、数据记录员和测试用户
测试执行
制定测试计划
计划的主要部分包括：
测试目标、问题陈述、目标用户特征、测试方法、测试任务列表、需要收集的数据、测试报告内容等
选择测试者
根据目标用户特征选择有代表性的用户，将他们分为几类，每一类包含若干用户；
测试用户来源应该广泛
准备测试材料
包括测试指导书、用户背景问卷、训练脚本、测试者行为记录表、测试后问卷
执行引导测试
对整个测试程序执行引导测试，发现那些对测试的含糊描述和容易出错的地方
执行正式测试
测试过程中不要给用户任何提示；
测试结束，与用户做测试后面谈调查
分析最终报告
汇编和总结测试中获得的数据，例如完成时间的平均值、中间值、范围和标准偏差，用户成功完成任务的百分比；
分析数据，找出那些发生错误的或使用比较困难的交互，逐个分析原因，并根据问题的严重程度和紧急程度排序，撰写最终测试报告
测试评价
通过搜集一些客观、量化的数据进行性能评价
2.3.5问卷调查
在软件退出后，就可以使用可用性问卷调查来收集用户的实际使用情况，了解用户的满意度和遇到的问题，利用收集到的信息，不断改进和提高软件的质量和可用性。
调查问卷可以是开放式的问题，也可以是封闭式的问题，必须措辞明确，避免有可能误导的问题，以确保收集的数据有较高的可信度。
常见的可用性问卷包括用户交互满意度问卷（QUIS）、软件可用性测量目录（SUMI）、计算机系统可用性问卷（CSUQ）
问卷调查的执行过程主要包括以下三个步骤：
（1）用户需去分析
设定软件的质量目标，准确描述质量目标，通过用户调查，了解用户在使用方面的切实感受。
可以定义一些通用的可用性质量因素，如对于系统界面而言，可用性涉及到诸如一致性、易用性、灵活性等等。
也可以通过用户会谈获得用户需要的产品特征。
（2）问卷设计
根据用户需求分析进行问卷设计，需要遵循这样的原则：
从用户的角度出发，问题要精确、概括，避免二义性；
可以采用的问卷类型包括事实陈述、用户填写意见、用户对事物的态度等；
问题形式可以采用单向选择、多项选择（选择所有适合的选项）、李克特量表（Likertscales）、开放式问答题等新式。
（3）问卷实施及结果分析
问卷调查藏抽样调查、针对性调查、广泛调查（附带搜集用户信息并进行分类）等方式，其实施可以采用发放调查表、电子邮件、网页等形式。
结果分析主要是对调查收集到的数据运用统计方法进行分析、归纳，得到有用的信息。
2.4评估方法对比
现有的评估方法既有主观和客观的不同，也有适用阶段和侧重点得不同，各自有其优势和缺点。
在当前的产品可用性评估过程中，最常用的评估方法是用户测试和问卷调查。
表2评估方法对比
评估方法
适用阶段
信息、数据
成本
耗时
测试人员
评价
启发式评估
设计阶段或者完成阶段
主观、表达描述
低
中等
专家测评者
非正式的检查技术，对于测试者要求比较高，受人的主观因素影响较重，缺乏固定统一的标准
用户模型法
始终
客观、定量数据和定性描述
省时
软件设计者
特别适用于无法进行用户测试的情况下，如在设计过程中确定设计方案的时候。
侧重于预测用户的执行性能，操作简单，可以不需要用户参与，作为设计人员的测试方法在开发过程中使用
认知性遍历
设计阶段
专家测评者和典型用户
测试的准备要求比较高，需具备原型和详细设计说明，对于测试人员的要求也比较高
用户测试
客观、定性
高
费时
专门可用性测试人员和用户
全面、准确，极其近似于真实的使用环境，测试时间和资金成本较高，主要进行典型任务分析和对用的观察，易受主观影响
问卷调查
完成以后
主观、定性
用户
测试成本低，当前比较通用的可用性评估方法
3BDI数据管理系统可用性评估模型的建立
对于BDI数据管理系统的可用性评估研究，根据可用性的标准，需要对系统的有效性、效率和用户满意度三个方面来评估，即需要客观定量，也需要主观定性，同时也要结合评估方法的实用性等特点。
因此，从遵循可用性评估指标出发，本方案采用用户测试法，利用测试环境和辅助软件来评估系统有效性和效率，用问卷调查法评估用户满意度，两者相结合实现对BDI数据管理系统进行可用性评估，不断地改进和提高软件的质量和可用性。
3.1系统用户群体分析
可用性工程是以使用者为中心导向的方法，因此进行可用性评估首要的工作是了解用户群体。
一般来说，BDI数据管理系统的使用者可界定为以下三种：
（1）一般使用者（不具备BDI与特殊专业知识）
（2）领域专家（特定专业知识专家，但不会使用BDI）
（3）BDI专家
3.2用户测试评估指标
通过用户测试法让用户根据指定的测试任务对系统进行测试，从而对系统有效性和效率进行评估。
3.2.1有效性指标
有效性指用户完成特定任务和达到特定目标时所具有的的正确和完整程度。
一般是根据任务完成率、出错频度、求助频度者三个主要指标来衡量的。
（1）任务完成率：
完成的任务占总任务的百分比。
（2）出错频度：
出错频度是通过用户执行某个任务过程中发生错误的次数来衡量的。
（3）求助频度：
求组频度是指用户在完成任务过程中遇到问题而无法进行下去时，求助于他人或查阅联机帮助或用户手册的次数。
根据有效性指标中的任务完成率、出错频度、求助频度这三个主要指标，确立BDI数据管理系统有效性评估指标如下表：
一级
二级
指标描述
计算公式
有效性
用户完成任务的正确率
X
完成率
任务完成率
X=A/B
A=完成的任务数
B=总任务数
出错率
完成一项任务出错的频率
A=直到用户完成任务这段时间内出错的数目
X>
=0（X取值越接近0的值越好）
求助频率
用户为完成任务查看帮助或询问的次数
记X=直到用户完成任务这段时间内的频率率求帮助的数目
=0（X取值越接近0的值越好
可取消性（用户错误修正）
评测用户成功修正输入错误的频率或者用户正确地撤销错误的频率
A被用户成功修正的输入错误数
B=试图修正的输入错误数
0=<
X<
=1（X取值越接近1越好）
3.2.2效率指标
效率指的是产品的有效性（完成任务的正确完整程度）与完成任务所耗费资源的比率。
这里的资源通常指时间，效率为单位时间的工作量。
效率的计算公式为：
效率=任务有效性/任务时间
这里的任务有效性一般是用户的任务完成率，任务时间为用户完成任务的时间。
效率刻画了用户使用产品时单位时间内的成功率。
一个有效的产品应当可以让用户在较短时间内以较高的成功率完成任务。
同样，对效率也应区分有帮助和无帮助两种情况。
根据效率指标确立BDI数据管理系统有效性评估指标任务的难易程度和帮助可达性，如下表所示：
三级指标
效率
完成任务的难易性
评测用户采用界面完成所有任务的效率
X=A/T
A任务完成率
T完成任务的需要多长时间
帮助可达性
可顺利定位的帮助主题比例
A表示能顺利定位到帮助的任务数量
B被测的总任务数量
3.3用户满意度问卷
满意度刻画了用户使用产品时的主观感受，它会在很大程度上影响用户使用产品的动机和绩效。
满意度指标通常使用问卷调查手段来获得。
用户通过使用软件，对软件有了总体印象，采用问卷调查法调查收集用户对系统的实际使用情况，了解用户的满意程度和遇到的问题，利用收集到的信息，不断地改进和提高软件的质量和可用性。
（1）评价的目标
进行用户交互满意度问卷测试的目标是测试BDI系统的用户交互满意度，具体包括：
交互界面的兼容性、视觉清晰性、极少的用户动作、一致性、易学性、灵活性、知觉的有限性、用户帮助等性能。
（2）需回答的问题
根据最新版本的QUIS，结合BDI可用性评估指标体系中的有效性、效率和用户满意度指标，提出以下8个部分的指标：
兼容性、视觉清晰性、极少的用户动作、一致性、易学性、灵活性、知觉的有限性、用户帮助。
（3）为回答以上问题选择合适的评估方法，
采用用户交互满意度问卷调查法（QUIS）验证用户主观满意度。
（4）需要解决的实际问题
为了保证测试的准确性，需要针对具体BDI系统的特点，对测试的用户进行选择。
本文在用户群体分析部分提到BDI的三个用户群体，因此在对系统进行可用性测试的时候，需要根据BDI系统的应用范围，选择具有代表性的测试用户，只有这样才能保证测试的准确性和有效性。
（5）道德问题
由于大部分用户不愿公开自己的身份和意见，因此保护个人隐私的问题就很重要所以制定以下“用户知情同意书”（见附录1），这是进行用户交互满意度测试必须准备的。
（6）问卷结构
一级指标
二级指标
用户满意度
总体满意度
对该软件总体满意
兼容性
光标的控制是否符合光标的移动
用户的控制结果是否符合用户期望
界面的颜色、形状是否为用户所熟悉
视觉清晰性
颜色的使用是否使显示更清晰
屏幕上的重要信息显示是否突出
对软件提供的字号大小是否满意
一致性
显示的格式是否一致
系统要求用户的动作是否一致
反馈的信息是否一致
菜单的用词和密令的语言是否一致
灵活性
系统是否有直接操作的功能
数据输入的设计是否灵活
用户是否可以灵活的控制显示
为了扩展显示功能，系统是否提供了放大的功能
可学习性
菜单的分组是否合理
菜单的顺序是否合理
菜单的用词是否清晰
命令的文字是否有意义
极少的用户动作
系统是否提供了默认值
菜单的使用是否可以选择点击的功能（主流控制流程）
在选择菜单时，系统是否要求极少的步骤
知觉的有限性
光标是否不同
界面单元是否清晰
目前活动的窗口是否有清楚的标识
屏幕的密度是否合理
用户指导
系统反馈的错误信息是否有用
系统是否提供了“取消”的功能
系统是否提供了“帮助”的功能
3.4各指标的权重的计算
我们利用德尔菲法（即专家意见法）和层次分析法相结合的方法确定二级和三级（其中用户满意度问卷中的三级指标由用户确定）可用性指标的权重。
在这次可用性测试中，聘请x位可用性专家进行各二级和三级指标的权重评估。
BDI管理平台可用性指标权重的计算过程如下：
（1）分析和确定系统的主要功能
选择需要测试的面向普通用户的重要功能，将选择的指标对应已有的功能。
（2）权重设定
根据建立起来的可用性指标评价体系建立层次分析结构模型,并请x位专家利用托马斯.塞蒂（T.LSatty）提出的1~9标度法分别对各级指标中的元素进行两两比较,确定比率标度，对x位专家给出的比率标度进行加权平均处理以构造指标的判断矩阵。
经过加权平均计算后的二级指标的判断矩阵和三级指标判断矩阵，再进行处理得到各指标的权重。
4BDI数据管理系统可用性评估实验
测试对象：
BDI模型基础数据管理平台
测试目标
Ø
通过观察用户使用管理平台实现特定的目的或完成特定的任务，结合用户的体验，来评价与发现BDI模型数据管理平台的可用性问题。
对BDI模型数据管理平台用户行为习惯的了解。
针对系统可用性问题和用户行为习惯提出改进意见。
测试设备：
准备好记录测试过程需要的设备，包括已安装好软件的电脑、电源线、扩展插座、屏幕录像软件。
测试时间长度：
现场可用性测试2小时。
测试地点：
信管系机房或其他符合评估的基本要求的场所。
测试执行者：
实施现场可用性测试都有4人，对评估过程进行全程观测。
测试用户：
参与现场可用性测试的共5人。
一般用户（宋姜、傅柱）、BDI专家（吴鹏、夏子然）、领域专家（丁老师）
测试过程：
让参与者在系统中完成x个指定的任务，由评估实施者进行客观地记录。
完成任务以后，让参与者回答设定的问卷中的问题，对其进行评分。
执行测试任务：
根据测试的对象，结合测试的指标，设定由简到繁的测试任务。
测试者根据测试任务对软件进行测试，测试任务见附录1。
测试观察者根据测试者的行为登记“测试者行为记录表”，“测试者行为登记表”见附录2。
签订“用户知情同意书”：
用户知情同意书间附件2。
填写测试问卷：
问卷的设计主要依据可用性的评估体系的底层指标转化而成，让测试参与者完成指定任务后，对问卷进行打分。
问卷的具体内容采用用户交互满意度问卷调查法（QUIS）验证用户主观满意度。
见附录3。
5实验数据分析与处理
用定量的方法来计算评估得分
6结果分析
7创新点或优点
8总结
附录1
模块
序号
任务
测试指标
实验方案管理
1
打开管理软件
管理软件启动加载速度
主界面美观程度
默认窗口大小合理性
主菜单栏设置合理性
2
新建实验方案
新建窗口弹出速度
输入项是否有格式限制
输入项是否有长度限制
时间输入是否可以直接选择日期
是否有输入项格式错误提示
3
修改实验方案
是否支持鼠标右击-修改
是否提示保存对话框
保存进度条
保存成功的提示
4
查询实验方案
是否有搜索功能
是否支持右键-查询
5
实验方案导出
是否支持多选-右键-导出
导出文件路径对话框
6
实验方案导入
是否支持多文件同时导入
导入进度及成功提示
7
实验方案删除
是否支持右键-删除
是否有删除警告对话框
是否有删除成功提示
数据输入
8
基础数据输入
输入窗口反应速度
数据输入格式及长度限制
数据保存警告及提示
文件导入数据速度
文件导入数据进度提示
文件导入数据完成提示
9
基础数据复制
是否支持右键复制
新数据的命名
10
基础数据修改
保存进度条及成功提示
BDI
12
数据项内容分类
分类标准合理性
是否支持自定义标准
13
赋权
赋权取值的限制
赋权取值的自动控制
14
生成表达式
表达式的易理解性
是否有表达式的符号说明
附录2
用户编号
任务号
界面操作
结果描述
结果的判断
决策
可用性问题总结（来自测试者）
1#
01
是否有结果
填写内容或者选择
是否完成任务
2#
附录3
参与者编号：
用户知情同意书
请您仔细阅读以下内容以帮您了解您所参与的实验。
目的：
您现在所参与的这个测试是为帮助我们研究您用到的产品的可用性和用户满意度，我们不是在测试您或您您的的能力。
实验数据：
您的测试结果将被收集统计，并用于课程报告中，信息对评估人员开放，但不使用您的名字。
您的权利：
您有同意或拒绝参加本次实验的权利，在试验中如果您有需要，可以要求暂停或退出。
保密：
升级会员 