国家科学图书馆青年人才领域前沿项目Word格式.docx

1、 确定测试的对象明确测试的项目、系统、平台。应该申明具体的测试模块、内容、功能。没有纳入测试范围的模块产生的体验问题可以忽略。 确定测试的指标请参考数字图书馆环境下用户体验评价指标体系的设计与建构中的研究结果，具体项目在实施前可以结合实际情况和需求对分级指标进行修订， 确定测试的类别 根据项目实际情况（进展或测试目的）确立测试的类别。 确定测试的环境根据项目计划测试工作的投入资金、测试工作时间安排，和测试用户地域来源。来确定测试的环境是实验室测试还是远程测试。 确定执行测试的方式以及技术手段对于测试准备时间比较紧张，测试工作人员对于测试软件技术没有很好的了解、掌握的情况下，我们可以选择人工测试

2、，按照计划利用预备的测试记录套表进行手工的记录，分析。大多数情况下，我们还是比较推荐利用计算机辅助测试，更为高效便捷。（二） 测试前的准备【环节内容说明】 对测试前的各方面的需求工作进行落实。【环节目的说明】 通过这个环节的定制要能为测试工作提供必须的文档、测试环境保障、工作人员培训工作等。【详细内容参见】 成果报告二（研究机制与流程设计） P 28 P 38 定制测试计划书计划书是测试成功的基础保障，最好由测试小组和项目开发小组联合设计、讨论、成型。包括：测试对象、测试用户数量以及特征、测试类型、测试时间、测试地点、使用的软件、测试工作人员分工安排、测试环节流程的描述。（详见：研究机制与流程

3、设计 P31） 开展用户招募工作确定测试用户的数量，一般不得少于6人。编写用户招募书：应该具备的内容（详见：研究机制与流程设计 P30）测试用户招募的方式：根据课题类别和需要选择测试用户招募的方式（电子邮件、在线发布招募信息、学科馆员下所服务时邀请）嶙选用户的规则： 定制测试任务、问卷设计、启发问答一体表应用场景的描述、任务、问卷、启发问答的设计一定要有科学性、合理性，最好由测试小组和项目开发小组联合设计、讨论、成型。任务：包括规定任务、自选任务；任务的呈现：任务定义的内容包括，任务的名称，任务的描述，任务考核的目的，任务类别，任务正确完成方法。问卷：测试前问卷、场景后问卷、测试后综合问卷启发

4、问答：结合问卷和实际任务执行情况的开发式提问应用场景的描述设计方法（详见：研究机制与流程设计 P32） 搭建测试环境根据具体项目情况来选择测试环境。进行硬件、软件、网络环境等方面的环境搭建。具体方法（详见：研究机制与流程设计 P36） 对工作人员进行培训对测试对象的了解培训（参考测试项目简介书样本）、对测试用户的了解培训（参考测试用户工作情况的调查结果表样本）对计划书的理解培训（参考测试计划书样本）（三） 预 测 试【环节内容说明】 测试演习、设计环节的修改调整【环节目的说明】 通过这个环节的定制对测试进行内部的预演，发现设计环节上不合理的环节，测试组应该立即作出有效的调整，以次保障正式测试工

5、作的成功完成。【详细内容参见】 成果报告二（研究机制与流程设计） P 38选取合适的人员代替真实用户进行测试演习预测试用户可以选择没有参加项目开发的同志代替真实测试中的用户来完成。通常选择语言表达能力和表达欲望比较强烈的同志为佳。流程及内容以及细节安排应该按照事前拟订的测试计划书里严格的执行。对测试设计上不合理的环节进行修改调整调整的方面（详见：研究机制与流程设计 P38）（四） 实施正式测试【环节内容说明】 定义了测试执行的前、中、后的具体的规范性的流程操作【环节目的说明】 测试前：让用户放松心情以最自然的状态投入测试,并对被测项目和测试的流程有个轮廓性的了解。对即将发生的现场情况有应对的心

6、理准备，提供有研究价值的反馈信息。测试中：在主持人的引导下，用户按照测试流程执行每一项任务，完成每份问卷。通过主持人启发问答，记录员准确记录现场的情况和观察室内的讨论结果，收集到有价值的原始体验信息。测试后：将数据及时保存，供分析使用。【详细内容参见】 成果报告二（研究机制与流程设计） P39 - P45（4.1） 测试前 主持人致欢迎词 内容参见：主持人引导人脚本样本 主持人对测试用户进行简单访谈 内容参见： 主持人介绍测试的对象 内容参见： 主持人介绍测试的目的 内容参见： 主持人介绍测试的流程 内容参见： 可能发生的情况处理 内容参见： 请测试用户签定测试用户知情书内容参见：测试用户知情

7、书样本 主持人介绍并演示测试工具的使用方法 主持人确认并宣告测试开始（4.2） 测试中 主持人引导用户填写任务前问卷鼓励用户放松心情如实填写。主持人做必要的隐私保护申明 用户按流程执行任务、填写任务问卷主持人引导、提示用户完成每个单元的测试、提示任务开始、结束、填写问卷、提交问卷。在用户观看理解任务面板的内容时，主持人按照测试计划书里任务对应的应用场景进行描述，帮助用户理解任务。在用户执行任务过程，不同状况下，用户和测试组成员的响应情况 （详见：研究机制与流程设计 P42-P44） 主持人负责引导用户阶段性总结主持人负责引导用户一起回顾操作困难环节，难理解的术语，使用结果的满意度等等（详见：研

8、究机制与流程设计 P44） 主持人引导用户填写任务执行后的问卷以及启发问答主持人引导用户填写任务执行后的问卷的同时进行启发问答，这些问答应当是开放性的问题，并与用户的使用情况相联系。 用户依次执行直到成测试计划书中设计的所有任务 主持人负责引导用户填写所有任务执行后的综合问卷以及启发问答 主持人引导用户填写所有任务执行后的综合问卷，了解用户对这个被测试项目的综合体验，配合启发问答，最后应当得到的是对测试对象的总评价以及一些方向性的意见和建议，主持人立即对整个测试工作进行总结。内容参见：主持人引导人脚本、测试计划书样本（4.3） 测试结束 主持人负责保存测试机上的数据 观察室的记录员观察机上的数

9、据 赠送礼物以及测试费按照“用户知情协议书”中的承诺赠送礼物以及测试费。同时表示感谢。 预约下次测试主持人告诉测试用户体验测试是一个迭代进行的工作，再次感谢的同时希望他能参加我们下一轮测试。（五） 数据整理分析【环节内容说明】 定义了定量与定性数据的类别、来源与处理分析规范【环节目的说明】 通过对数据整理分析规范的定制来确保由数据产出的结果的客观性，减小主观性评价的成分。【详细内容参见】 成果报告二（研究机制与流程设计） P45 - P51 定量数据分析数据类别：时间、数量、比率 （详见：研究机制与流程设计 P46）数据来源：计算机辅助系统对用户行为的跟踪统计分析方法：绩效分析 （详见：研究机

10、制与流程设计 P52）、群组绩效差异分析（详见：研究机制与流程设计 P53）分析结果：平均完成时间 = 所有参试者完成当前任务的算术平均值出错数 = 所有参试者在当前任务所有出错数量总和求助数 = 所有参试者在当前任务求助的数量总和完成率 = 完成当前任务的参试数量占全部参试数量的百分比在限定时间内完成的任务数量=（在限定时间内完成的任务数量/在限定时间内完成的最大任务数量）*100%群组绩效差异：不同用户群的平均完成时间、出错数、求助数、在限定时间内完成的任务数量比较。 定性数据分析偏好数据 （详见：测试问卷、体验表达（详见：研究机制与流程设计 P47）偏好分析 （详见：群组偏好差异分析（详

11、见：测试问卷综合满意度量表的算术平均值满意度算术平均值亲和力5级量表评估。易学习性易记性吸引力习惯的符合性组织构架使用习惯的符合性使用效率的满意度使用过程的愉悦度使用结果的满足度重复使用的愿望 开放问题的分类统计结果 群组偏好差异不同用户群的开放性意见和偏好选择。 由聚合法产出体验问题（详见：用户体验表达数据通过记录员的标记进行记录，这些原始数据往往较为零散，难以直接反映出用户体验问题。例如参试用户在一个或多个任务场景中出现了多个错误，这些错误实质上指向的是同一个用户体验问题，如果只就单个原始数据本身进行分析，就难以全面的揭示用户体验问题。因此，需要对原始事件数据进行处理，将分散的原始事件数据

12、进行归纳出现象和原因后整理转化为用户体验问题，从而充分利用计算机的优势对数据进行辅助分析。（六）编写测试报告【环节内容说明】 测试方法运用、测试结果呈现、优化建议提出【环节目的说明】 呈现测试结果和优化建议，提交给项目开发小组，为项目的优化工作执行提供依据。报告结构 测试目的 测试项目或平台 测试环境、类别与设备 测试用户信息 测试工作人员信息 测试方法与流程 绩效数据分析结果呈现 呈现方式：（图、表）与文字描述结合说明。如：饼图、柱状图、曲线图。 偏好数据分析结果呈现 良好的体验发现图文结合说明，描述内容：名称、地址、描述、出现的频率、出现的范围研究机制与流程设计 P55） 体验问题以及建议问题名称、问题地址、问题描述、问题分析、问题出现的频率、问题出现的范围、优化建议（详见：研究机制与流程设计 P56） 故事板视频文件（详见：研究机制与流程设计 P57） 附录：用户详细信息、测试任务与用例、原始问卷、原始数据。