用户个体差异对数字图书馆可用性评价的影响.docx
《用户个体差异对数字图书馆可用性评价的影响.docx》由会员分享,可在线阅读,更多相关《用户个体差异对数字图书馆可用性评价的影响.docx(18页珍藏版)》请在冰豆网上搜索。
用户个体差异对数字图书馆可用性评价的影响
用户个体差异对数字图书馆可用性评价的影响
李月琳/张向民
2012-9-2510:
13:
57 来源:
《情报学报》(京)2011年9期
【英文标题】TheInfluenceofUsers'IndividualDifferencesontheAssessmentoftheUsabilityofDigitalLibraries
【作者简介】李月琳,女,博士,毕业于美国罗格斯新泽西州立大学信息与传播学院(SchoolofCommunicationandInformation,Rutgers,TheStateUniversityofNewJersey),曾先后任该学院兼职讲师及美国南密西西比大学图书情报学院(SchoolofLibraryandInformationScience,TheUniversityofSouthernMississippi)助理教授,现任南开大学信息资源管理系副教授,主要研究领域:
信息行为、个性化信息检索、数字图书馆和信息系统评估等。
E-mail:
yuelinli@,天津300071;张向民,男,博士,毕业于加拿大多伦多大学,曾任美国罗格斯新泽西州立大学信息与传播学院助理教授,主要研究领域:
人机交互、数字图书馆等,美国新泽西州罗格斯08901
【内容提要】本研究利用实验研究方法,探讨用户个体差异对数字图书馆可用性评价的影响。
该实验在美国罗格斯新泽西州立大学传播与信息学院的人机交互实验室开展。
35位实验参加人员分别在三个数字图书馆中完成了两项实验任务。
结果表明,用户个体差异一定程度上影响了他们对数字图书馆可用性评估,尤其是对浏览功能(browsing)的评价。
在考察的几种个体差异中,用户的教育背景、性别、浏览技能、搜索技能和浏览经验不同程度地影响了用户对三个数字图书馆可用性评价的不同方面。
本研究有助于改善数字图书馆的个性化设计。
Thispaperexplorestheinfluenceofusers'individualdifferencesontheassessmentoftheusabilityofDigitalLibraries(DLs).AnexperimentwasconductedintheinteractivelabintheSchoolofCommunicationsandInformationatRutgersUniversityintheUSA.Thirty-sixparticipantswererecruitedtoexplorethreeDLsand35providedvaliddata.Theresultsindicatethatindividualdifferencesaffectusers'usabilityassessmentofDLs,especiallyDLs'browsingfunction.Amongtheindividualdifferencesexaminedinthisstudy,users'educationbackground,gender,browsingexpertise,searchexpertise,andbrowsingexperienceinfluenceusabilityassessmentofdifferentaspectsofDLs.Thestudyhasimplicationsinpersonalizationofdigitallibrarydesign.
【关键词】数字图书馆/个体差异/用户研究/可用性评价Digitallibraries/Individualdifferences/Userstudy/Usabilityassessment
随着信息技术的发展,其提供的快捷、方便的信息传输方式已为越来越多的信息用户所接受。
数字图书馆是实现信息电子化、跨时空传输的重要手段。
美国自20世纪90年代以来,极力倡导和推进数字图书馆的建设。
然而,研究表明,数字图书馆的可用性极大地影响了用户对其接受程度和使用频率[1]。
因而,有识之士呼吁加强对数字图书馆可用性的评价,以帮助数字图书馆提高其效用[2],赢得更多的用户,使国家对数字图书馆的巨额投资可以转化为相应的社会效益。
中国数字图书馆建设方兴未艾,越来越多的数字图书馆进入实用阶段。
然而,数字图书馆的可用性研究并未引起足够重视,从而缺乏可用于改善数字图书馆设计,提高其功能的实证依据,影响数字图书馆功能的发挥。
因此,本研究利用已投入实用阶段的数字图书馆,着眼于通过用户研究来考察个体差异对用户评价数字图书馆可用性的影响。
从而,可帮助数字图书馆改善设计,更好地提供个性化信息服务。
考虑到研究的目的,本研究使用三个数字图书馆进行研究,包括ACM数字图书馆、IEEEXplore数字图书馆和IEEE计算机专业学会数字图书馆。
这三个数字图书馆分别由美国计算机学会(AssociationofComputingMachinery),美国电气与电子工程师学会(TheInstituteofElectricalandElectronicsEngineers,Inc.)及电气与电子工程师学会计算机专业学会开发和支持。
他们涵盖的内容相似,包括计算机科学,电子工程及相关领域出版的学术杂志、会议录、学会通讯等,是美国大学和研究机构普遍订购和使用的数字图书馆。
用户包括图书馆员、计算机及工程类学科学生、从事计算机、电子与电器工程科学研究和该领域从业人员及相关行业的人员。
因而,选择这三个数字图书馆进行研究可以帮助我们切实地认识到用户的个体差异与当前的数字图书馆的可用性之间的关系。
用户的个体差异表现在不同方面,如年龄、性别、教育背景、专业背景、认知差异等。
用户从数字图书馆获取信息主要有两种途径:
查找(search)和浏览(browsing)。
典型的数字图书馆通常提供这两种功能,以顺应用户的搜寻行为要求。
因此,本研究着重探讨用户个体差异对数字图书馆这两种功能可用性评价的影响。
1、文献综述
Egan回顾了个体差异与人机交互关系的相关研究,总结了几种对人机交互影响较大的个体差异,包括经验、技术能力,语言能力、年龄、专业知识、个性和情感[3]。
Saracevic发现专业知识、专业技能及个性影响用户的相关性判断[4]。
此外,学者们广泛地研究了信息查找经验[5,6]检索知识[7,8]及是否具备与检索课题相关的专业知识[9,10]等三种因素对用户检索效果和行为的影响。
研究表明,信息检索经验丰富,受过检索专业培训,及具备与检索课题相关的专业知识的用户,搜索的效果一定程度上要优于缺乏经验、未受过专业培训,及缺乏检索课题相关知识的用户。
数字图书馆的评估在国外受到广泛关注。
Chen等调查了113所大学图书馆,他们发现85%的图书馆进行过可用性检测或检验,并利用多种研究方法评估其网站的可用性[11]。
基于实证研究,Zhang指出数字图书馆评估应同时考虑用户、设计者、图书馆员、数字图书馆管理者和研究专家等的意见,才能全面评价数字图书馆的可用性和有用性[12]。
Theng发现数字图书馆用户存在不同程度的网络迷航问题[13]。
Kengeri等比较了ACM,IEEECS,NCSTRL和NDLTD四个数字图书馆[14]。
他们发现这些图书馆存在不同程度的可用性问题,如NDLTD模糊不清的“浏览”和“查找”链接,简单搜索和高级搜索中太多的限制,等等。
Hartson等的研究揭示了数字图书馆内容呈现、反馈、用词及图形设计等方面的可用性问题[15]。
Hong等及Thong等发现,用户感知的数字图书馆易于使用的程度决定了他是否接受并使用该数字图书馆[1,16]。
个体差异也是他们关注的方面,他们发现用户计算机自我效能感(computerself-efficacy),计算机经验(computerexperience),及专门领域知识(domainknowledge)影响用户对数字图书馆的接受程度。
Kengeri等指出一个不易于使用的界面会对数字图书馆的使用程度带来负面影响[14]。
Chang发现信息系统的信息组织和表示方法极大地影响了用户的浏览行为和效果[17]。
Belkin等也指出,浏览功能设计上的一个软肋是无法给予用户一个合适的切入点[18]。
为改善浏览界面的功效,Yee等开发了一个分面的元数据呈现界面。
研究表明,该界面功能优于传统的图像检索和浏览界面[19]。
Zhang和Marchionini也发现录像数字图书馆的分面浏览界面要优于传统的填表式的界面[20]。
Chen等的研究表明,用户的认知风格极大地影响了他们对信息系统中主题组织的喜好,一些用户更倾向于使用字顺排列的信息呈现方式[21]。
Dakka等设计了一个自动生成的多分面的界面,评估结果表明这种途径帮助用户更有效地获取信息[22]。
针对Greenstone数字图书馆,McKay等开展了一系列的评估研究,更多的用户倾向于基于元数据的浏览系统[23]。
我国的数字图书馆可用性研究直至2007年后才引起广泛关注[24]。
现有的研究中,针对我国数字图书馆的可用性评价方法和指标体系的研究较多[25~27],而实际评价数字图书馆的可用性的实证研究偏少。
其中向建军基于信息构建原则,通过德尔菲专家法构建了一套高校数字图书馆可用性评价指标体系,并对我国十个高校数字图书馆可用性进行了评价和分析[28]。
文献综述表明,以往的数字图书馆的评估往往只重视如何评估图书馆及具体的评估结果,而忽略用户的个体差异对评估效果的影响,仅有少数的研究关注这一问题。
就我国而言,数字图书馆评估研究中实证研究偏少,实验研究方法极少使用,用户的个体差异亦非研究者考虑的要素。
实际上,用户的个体差异对评估结果的影响反映了不同特点的用户对数字图书馆的不同要求。
同时,了解用户个体差异对数字图书馆的评估结果的影响,可以帮助我们更好地利用评估的结果,以改进数字图书馆的设计,适应不同用户的需求。
因此,本研究着重探讨用户的个体差异对数字图书馆的可用性评估的影响。
2、研究方法
2.1变量和测度指标
本研究主要考察的用户个体差异包括:
(1)性别,即男性或女性。
(2)教育背景:
本研究中指学生的教育背景,包括专业和教育层次,如本科和研究生。
(3)搜索经验:
对网络信息搜索及各类检索信息系统搜索的实际经验。
(4)搜索专业技能:
用户的专业搜索技能,如对布尔逻辑的运用等。
(5)浏览经验:
使用浏览功能的经验。
(6)浏览专业技能:
用户的浏览技能及对其浏览功能的了解。
除性别和专业背景之外,其他的变量均采用7点LikertScale来测量,根据用户的自我评估,搜索经验、搜索技能、浏览经验和浏览技能分别划分为高级、一般、初级三个层次。
可用性是一个多维变量,本研究从以下几方面对其加以界定:
(1)系统的易用性:
数字图书馆的初始易用性(是否从一开始就易于使用)及总体来说是否易于使用。
(2)系统的反应速度:
用户所感知的系统的反应速度。
(3)界面内容的呈现方式:
图书馆如何展示它的内容,如界面的组织,输出结果的组织及易读性。
(4)用户所需努力程度:
在多大程度上用户需付出努力,以获取所需的信息。
(5)用户的满意程度:
包括用户对搜索和浏览结果的满意程度及对该数字图书馆的总体满意度。
针对浏览功能,我们设定另一测度指标:
(6)链接的易用性:
用户对使用链接的感觉,链接是否易于使用。
所有的可用性指标均采用7点LikertScale来测量。
2.2实验研究
为了更好地观察和研究,我们利用实验研究方法来实现我们的研究目的。
Zhang等[29,30]已详细地描述了实验的过程,本文仅作简要概述。
2.2.1实验场地
本实验在美国罗格斯新泽西州立大学的传播与信息学院人机交互实验室进行。
可用性测度专用软件Morae记录了实验的全过程,帮助数据收集和处理。
2.2.2实验系统的选取
如前所述,我们选择三个已投入使用的数字图书馆,ACM数字图书馆(ACM),IEEEXplore(Xplore)数字图书馆和IEEEComputerSociety数字图书馆(IEEE_CS)。
这三个图书馆在计算机和工程领域被广泛使用,且涵盖的内容有交叉之处,利于比较。
2.2.3实验任务设计
设计实验任务的目的是为用户与数字图书馆的交互提供一个起点。
考虑到研究使用三个图书馆,设定的任务应能引导用户搜索和浏览三个图书馆。
也即是说,用户应能从三个图书馆中找到相应的资料,否则,该任务的设计是失败的。
基于为实验用户提供合适的任务的目的,我们采访了一位高校图书馆员,获得了一些用户真实的查询任务。
从这些任务中,我们选定了几个任务进行尝试性的检索,最终确定以下两个任务:
(1)查找任务:
要求用户逐一检索三个图书馆,以获取与通过水印防止欺诈行为来保护网络信息存储的相关研究。
(2)浏览任务:
鉴于三个图书馆的收藏及功能设置的不同,我们设计了三个相似的任务:
ACM:
请浏览AnnualSymposiumonComputationalGeometry(SCG)(2004)会议录,查找并保存两篇与数据流研究相关的文献。
Xplore:
请浏览ITCC:
InternationalconferenceonInformationTechnology(2004)会议录,查找并保存两篇与数据流研究相关的文献。
IEEE_CS:
请浏览ITCC:
InternationalConferenceonInformationTechnology(2004)会议录,查找并保存两篇与数据流研究相关的文献的摘要。
2.2.4实验设计
为有效避免学习效应(learningeffects),本研究采用LatinSquare实验设计方法。
同时,考虑到实验系统和用户群的特征,研究小组从美国罗格斯,新泽西州立大学招募了12位图书馆学专业的学生(硕士研究生和博士研究生)、12位工程类研究生(包括硕士和博士研究生)、及12位工程类本科生。
因此,共有36位实验参加人员,其中一位因系统故障中途退出实验。
因此,最终只有35位实验参加人员提供了有效数据。
2.2.5问卷设计
实验过程中,我们设计了一系列的问卷以收集相关数据。
这些问卷包括:
用户背景调查、搜索前和浏览前的问卷调查,及搜索后和浏览后的问卷调查。
有关用户的个体差异信息主要从用户背景调查中获得;图书馆的可用性数据主要从搜索后和浏览后的问卷调查中获取。
2.2.6实验程序
实验参加人员在实验开始之前需签署同意书,接下来完成背景调查问卷,阅读任务要求,填写搜索前或浏览前问卷调查,然后开始在第一个图书馆中搜索或浏览以获取相关信息,搜索或浏览时间大约为10分钟。
任务完成后,用户需完成搜索后或浏览后问卷。
之后,开始搜索或浏览第二个图书馆,直到搜索或浏览所有的三个图书馆。
在用户离开实验室之前,研究人员将对实验参加人员进行短时间的深度访谈。
此后,实验结束。
3、研究结果
3.1个体差异与用户对搜索功能的可用性评价
3.1.1教育背景
我们只在用户搜索IEEE_CS时发现了用户的某些个体差异影响了他们对图书馆搜索功能的可用性评价。
One-wayANOVA分析表明,用户不同的背景,即他们的专业领域和受教育层次显著影响了用户对他们的搜索结果的满意度的评价(F(2,32)=3.58,p<0.05)。
PostHoc检测结果表明,工程类本科生对他们的搜索结果比图书馆学专业的学生更为满意。
此外,one-wayANOVA分析显示,不同专业领域的用户对图书馆的整体搜索功能的满意度的评价比较的结果为(F(2,32)=3.12,p=0.058),由于p值大于0.05,统计意义上他们的差异并不显著,但是存在产生显著差异的趋势。
此两项指标的平均值和标准差见表1,“N”为各组人数,括号中为标准差(以下各表同)。
3.1.2性别
One-wayANOVA检测表明不同性别的用户在评价IEEE_CS的搜索易用性方面存在显著差异(F(1,33)=5.72,p<0.05)。
男性用户对IEEE_CS的搜索易用性的评价要显著高于女性用户。
对搜索功能的整体满意度的评价,不同性别的用户亦存在显著的不同(F(1,33)=4.28,p<0.05);男性用户对IEEE_CS搜索功能的整体满意度要显著高于女性用户。
对最终搜索结果的满意度评价也存在显著差异的趋势(F(2,32)=4.03,p=0.053)。
3.2个体差异与用户对浏览功能的可用性评价
3.2.1ACM
(1)教育背景:
One-wayANOVA分析表明,不同背景的用户对浏览功能的可用性评价在不同的方面表现不同。
三个组的用户对ACM浏览功能的初始易用性的评价有显著不同(F(2,32)=3.84,p<0.05)。
PostHoc测试表明,图书馆学专业的用户对ACM浏览功能的初始易用性的评价更高,其余两组并无显著差别。
对ACM浏览功能的整体满意度,三个组的用户也有显著差异(F(2.32)=3.91,p<0.05)。
PostHoc检测表明,工程类研究生用户对ACM浏览功能的满意度评价要显著地高于工程类本科生用户。
在ACM浏览功能总体易用性方面,三个组的评价亦存在显著差异(F(2,32)=5.59,p<0.01)。
PostHoc检测显示,图书馆学背景的用户和工程类研究生用户对ACM浏览功能的易用性评价要显著地高于工程类本科生用户。
此外,不同背景的用户对ACM浏览界面的内容呈现的可用性评价也有显著不同(F(2,32)=4.76,p<0.05),同样,图书馆学背景的用户和工程类研究生用户对ACM浏览界面内容呈现的可用性评价要显著地高于工程类本科生用户。
对浏览所获结果的满意度方面,ANOVA分析的结果表明三个组存在显著不同(F(2,32)=4.91,p<0.05)。
PostHoc检测表明,工程类研究生用户对浏览所获结果的满意度要显著地高于工程类本科生用户。
对于系统的反应速度,三个小组之间亦存在显著差异的趋势(F(2,32)=3.24,p=0.052)。
各项指标的平均值和标准差见表3。
结果显示,工程类本科生对ACM浏览功能的可用性评价要普遍低于另两类用户。
(2)性别:
ANOVA分析显示,不同性别的用户对ACM初始易用性的评价有显著差异(F(1,33)=6.07,p<0.05)。
女性用户对ACM浏览功能初始易用性的评价要显著地好于男性用户。
对ACM浏览功能是否易于使用的总体评价也存在差异显著的趋势(F(1,33)=4.04,p=0.053)。
以上指标的平均值和标准差见表4。
(3)搜索技能:
分析显示,用户的搜索技能极大地影响了他们对ACM浏览功能可用性的评价。
本研究中,依据用户对其搜索技能的自我评价,其搜索技能分为高级(自评分为6~7)、一般(自评分为4~5)、初级(自评分为1~3)。
One-wayANOVA分析表明,不同层次的搜索技能显著地影响了用户对系统反应速度的评价(F(2,32)=9.82,p<0.01),对界面内容呈现的评价(F(2,32)=5.54,p<0.01),链接易用性的评价(F(2,32)=5.22,p<0.05),结果满意程度的评价(F(2,32)=9.45,p<0.01),浏览功能易用性的评价(F(2,32)=5.97,p<0.01),及对浏览功能总体满意度的评价(F(2,32)=7.39,p<0.01)。
PostHoc检测表明,搜索技能高级和一般的用户对系统反应速度、界面的内容呈现及浏览功能的总体满意度的评价要显著地高于技能初级的用户;搜索技能高级的用户对链接易用性和浏览功能易用性的评价要显著高于技能初级的用户;搜索技能高级的用户对浏览所获结果的满意度方面的评价要显著高于一般和初级的用户,而一般用户亦显著高于初级用户;搜索技能高级的用户对浏览功能易用性的评价要显著高于技能初级的用户。
各项指标的平均值和标准差见表5。
(4)浏览技能:
表6报告了用户浏览技能对ACM浏览可用性评价的影响。
ANOVA分析表明,用户不同层次的浏览技能显著影响了用户对链接易用性的评价(F(2,32)=5.27,p<0.05)、浏览结果满意度的评价(F(2,32)=5.57,p<0.01)、浏览功能易用性的评价(F(2,32)=7.02,p<0.01)及对浏览总体功能满意度的评价(F(2,32)=6.19,p<0.01)。
PostHoc检测表明,浏览技能一般的用户对链接易用性的评价要显著高于技能初级的用户;浏览技能高级的用户对浏览所获结果的满意度要显著高于技能初级的用户;浏览技能高级和一般的用户对浏览功能易用性及浏览功能总体满意度的评价显著高于技能初级的用户。
各项指标的平均值及标准差见表6。
3.2.2Xplore
(1)教育背景:
One-wayANOVA分析表明,用户不同的教育背景显著影响用户对浏览界面内容呈现的总体评价(F(2,32)=4.76,p<0.05)。
三个组的平均值(M)和标准差(SD)如下:
LIS(N=11):
M=4.45(SD=0.79)
GE(N=12):
M=5.41(SD=0.38)
UE(N=12):
M=4.58(SD=1.02)
通过PostHoc检测,我们发现图书馆学专业的学生和工程类研究生对浏览界面的内容呈现的总体评价要显著高于工程类本科生。
(2)浏览经验:
浏览经验不同的用户对浏览所获结果的满意度的评价有显著不同(F(2,32)=5.06,p<0.05)。
不同层次的用户的平均值和标准差如下:
高级(N=7):
M=6.14(SD=1.07)
一般(N=9):
M=5.11(SD=0.93)
初级(N=19):
M=4.11(SD=1.80)
PostHoc检测显示,浏览经验处于高级层次的用户对浏览所获结果的满意度的评价要显著高于经验处于初级层次的用户。
(3)浏览技能:
浏览技能上处于不同层次的用户对链接的易用性(F(2,32)=4.89,p<0.05)和浏览所获结果的满意程度的评价有显著不同(F(2,32)=7.71,p<0.01)。
PostHoc检测显示,浏览技能处于一般层次的用户对链接的易用性的评价要显著高于技能初级的用户;浏览技能处于高级层次的用户对浏览所获结果的满意程度的评价要显著高于技能初级的用户。
以上两项指标的平均值和标准差见表7。
表8总结了上述研究结果。
4、讨论与结论
本研究通过实验研究方法探讨了用户的个体差异对数字图书馆可用性评估的影响。
研究小组招募了36位实验参加人员(其中35位提供了有效数据),设计了两个搜寻任务,引导用户搜索了三个已经投入使用的数字图书馆,即ACMDigitalLibrary(ACM)、IEEEXplore(Xplore)和IEEEComputerSocietyDigitalLibrary(IEEE_CS)