搜索引擎评价研究方法综述.docx

1、搜索引擎评价研究方法综述搜索引擎评价研究方法综述费巍2012-9-29 19:50:56来源：现代情报(长春)2010年12期【英文标题】Overview of the Methods of Evaluation on Search Engine【作者简介】费巍(1981-)，男，博士，研究方向：信息组织和信息检索，发表论文10多篇。苏州图书馆，苏州 215002【内容提要】通过ISI Web of Science和中国期刊网查找有关搜索引擎评价研究的文章，本文对搜索引擎评价研究的相关文献进行了梳理，并对研究方法进行了总结。搜索引擎评价研究方法主要有实验法、调查法、观察法、数据分析法、综述和评

2、论等。对比国内外相关研究，国内搜索引擎评价研究数据支撑较为缺乏，科学分析和论证也明显不足。本文旨在提升国内搜索引擎评价研究的科学性。The paper reviewed the documents related to the evaluation of search engines based on the ISI Web of Science and CNKI. The methods of these studies were concluded, which were experimentation, survey, observation, data analysis, and re

3、view. According to the comparison between domestic and overseas correlational research, the research on the evaluation of search engines was lack of data, as well as scientific analysis and verification. The aim of this paper was to improve the scientificity of the evaluation of search engine in Chi

4、na.【关 键 词】搜索引擎/评价/研究方法/综述Search engines/Evaluation/Research method/Overview搜索引擎评价研究涉及很多学科，如计算机科学、图书情报科学、统计学、认知科学、电子通讯、机械工程、自动化和控制系统等。ISI Web of Science数据中搜索引擎评价研究涉及的学科及其分支学科有236个之多（检索时间：2010年10月9日），可见搜索引擎评价研究具有很强的跨学科性质，因而搜索引擎评价的研究方法也不免具有跨学科的特点。Louise提到搜索引擎评价研究方法之一的自然观察法(Naturalistic Studies)1被心理学家、行

5、为学家和社会学家采用，用来观察其研究对象的自然习惯。Orland总结的纵向研究法(Longitudinal Studies)2，被普遍应用于医学观察，常用于观察某一疾病出现的征兆和症状。还有一些其他的方法被应用于各个领域的研究和实践之中，这些研究方法可以很好地与搜索引擎评价研究相结合，不断充实该领域的研究，也逐步加强搜索引擎评价研究的严谨性和科学性。1 搜索引擎评价研究方法Louise归纳出搜索引擎评价的研究方法有评论法(Review)、试验法(Experiments)、自然观察法(Naturalistic Studies)、调查法(Survey)等。Orland综合了可视化检索系统的评价方法

6、：观察法(Inspection Methods)、实验室研究法(Laboratory Studies)、现场实验法(Field Trials)、纵向研究法(Longitudinal Studies)以及系统和日志分析法(Instrumentation and Log Analysis)等。国内的研究人员也对搜索引擎评价方法进行了归纳总结，如比较分析法和测试实验法3，如以描述为主的搜索引擎评价方式，以查询结果的命中个数作为评价标准等4。综合国内外关于搜索引擎评价研究，笔者将搜索引擎评价研究方法分为以下几种。1.1实验方法实验方法越来越多地被应用于搜索引擎评价的研究，研究人员根据其研究课题，力图探

7、明现象与结果之间的关系。在实验中，研究者首先要提出有关研究目的的问题或假设，并定义变量与自变量，从实验中获取相关数据，通过数据分析来给出问题的答案或论证假设是否成立。实验方法有较强的可控性和操作性，其可控性体现为对实验中变量和自变量的定义以及数据采集的标准和数据量的大小等方面。操作性则体现为研究人员按照科学的实验方法，结合研究课题本身的需求，对实验步骤进行科学合理的设计，规范数据采集的标准并依此标准收集和采集数据，并应用科学的工具对采集的数据进行分析。Jansen等在搜索引擎检索电子商务信息的性能评价研究中提出了3个假设，分别定义了变量和自变量，通过检索实例收集了相关数据，并应用方差分析法、T

8、ukeys HSD检验以及回归分析法等分析了实验数据5。通过实验研究表明，相较于全文检索，基于概念的检索能显著提升检准率，越多的语义因素加入检索式中，检准率就越高6。搜索引擎评价研究越来越重视实验方法，也越来越多地采取实验的研究方法。如研究用户个性对信息检索系统心理模型的影响的评价研究7，PageRank检索学术信息能力的评价研究8，语言及检索任务对相关性评价的影响研究9，网页是否含有元数据对网页被搜索引擎检索的影响研究10，用户在强化主题词检索环境下检索式扩张行为的研究等11。实验方法极大地促进了搜索引擎评价研究的发展，研究人员针对搜索引擎的各个方面展开评价研究，并取得了一系列的成果。实验方

9、法具有较强的针对性、可控性和操作性，不过这也从某种程度上说明实验方法具有一定的主观性，在实验设计、标准制定、数据采集等步骤中难免融入了研究人员的主观因素，这或多或少会对搜索引擎评价的客观性造成影响。因此，用实验的方法进行搜索引擎评价研究需要尽量减少实验过程中的主观性因素，这就对实验设计、标准制定以及数据采集等各方面提出了更高的要求。1.2调查方法在搜索引擎的评价研究中，研究人员会针对利用搜索引擎的行为用户进行调研，包括用户的背景，如性别、职业、学历等，用户选择搜索引擎的原因，如用户惯性、搜索引擎性能、搜索引擎口碑等，用户利用搜索引擎的行为，如检索词的选择、检索式的构造、检索时间的长短、对检索结

10、果的处理等。这些信息对搜索引擎的评价研究具有重要的意义，其数据直接反映了用户利用搜索引擎的各方面信息，很具参考价值，对搜索引擎的设计和优化研究尤为重要。调查方法首先要设计切实可行的调查问卷，保证问卷的逻辑性，必须围绕研究问题进行有针对性的设计。Amanda等对Excite搜索引擎的用户特征与检索行为之间的关系进行了研究，其数据收集主要包括用户背景、检索主题、检索词和检索式、连续检索行为等。研究结果显示大多数用户的检索式比较简短，很多用户的检索行为具有持续性，并依次递进，但是搜索引擎在其检索策略的透明度方面还显得不够12。Kruschwitz和Al-Bakour研究了用户对搜索引擎检索帮助系统的

11、要求，并对基于任务的检索结果进行了评价。在研究中，作者根据TREC-9交互轨迹(Interact Track)的调查问卷设计了针对其研究目的的调查问卷，包括输入(Entry)、后检索(Postsearch)、后系统(Postsystem)和输出(Exit)4个分问卷。结合问卷数据和检索任务的数据分析，研究结果显示，相比于标准的搜索引擎只提供排序的检索结果，用户更倾向于利用提供检索式修正的搜索引擎，即使在某些方面这些搜索引擎并没有那些标准的搜索引擎做得更好13。由于调查方法能客观反映用户利用搜索引擎的行为习惯和特点，从数据中可以分析获知当前搜索引擎的流行度、检索性能的满意度、用户的检索行为等，所

12、以一直深受研究人员的青睐。如针对用户利用搜索引擎经验的调查，结果显示检索经验对用户选择搜索引擎具有重要影响，而且关键词搜索引擎比目录式搜索引擎更受欢迎等14。对全球搜索引擎利用情况的调查，发现搜索引擎的使用具有很强的政治、文化和地域色彩。而且，相比于其他因素，搜索引擎的结果、检准率、检全率和可靠性对用户而言更为重要15。还有对搜索引擎检索式翻译功能效果的调查研究16，结果描述对相关性影响的研究17，用户的品牌意识对其利用搜索引擎的影响等18。通过以上研究实例不难看出，搜索引擎评价研究采用调查的方法多是从用户角度来分析搜索引擎的使用情况，从客观上展示了当前用户利用搜索引擎的情况，如不同性别、年龄

13、、职业、学历的用户群使用搜索引擎的行为特征，搜索引擎的满意度，不同类型搜索引擎的用户群，搜索引擎功能的实际性能等。在搜索引擎评价研究的过程中需要注意的是，用户的行为特征固然具有很大的参考价值，但不能过分倚重用户的经验。因为用户的经验反映的是用户利用搜索引擎的习惯，并不能完全说明搜索引擎发展的趋势。一些研究表明，用户利用搜索引擎的行为和检索策略还略显简单，有关机构和单位需要对用户利用搜索引擎进行必要的培训和采取积极的引导19-21。1.3数据分析法数据分析是指收集、处理和转化数据的一个过程，以突出效用信息、提出结论并支持决策。数据分析具有多方面、多途径和多技术的特点，在商业、自然科学和社会科学等

14、领域有不同的术语表达方式。如数据挖掘就是典型的数据分析方法，通过建模和知识发掘来发现规律和实现预测，而不仅仅对信息和数据进行描述。相较于实验方法和调查方法，数据分析方法的数据来源要略显快捷，不用设计实验步骤和调查问卷，而是从公开的渠道获取有关搜索引擎的数据和信息进行分析研究。其主要数据和信息来源于有关搜索引擎研究的信息机构、有搜索引擎的网站以及专业搜索引擎网站，Internet Usage World Stats()、Pew(http:/pewinternet.org/)、中国互联网络中心()、iResearch公司()、Search Engine Watch()等机构会不定期公布有关搜索引擎

15、的统计数据，如中国互联网络中心发布的2008年中国搜索引擎市场广告主调查报告以及2008年中国搜索引擎用户行为研究报告等。一些具有搜索引擎功能的热门网站，其搜索数据也是进行搜索引擎评价的研究人员较为关注的，如BBC网站的搜索日志22，美国犹他州政府网站的检索日志等23。不少专业搜索引擎网站也会不定期公布其日志，如Excite、Altavista、Alltheweb、搜狗、天网等。搜索引擎研究机构公布的数据多为描述性的信息，对其数据进行深度分析的意义不大。数据分析方法在搜索引擎评价研究中的应用，主要还是对搜索日志中海量信息的析取和提炼。如Martin Whittle等对Excitel天中的102

16、5910个检索式进行分析研究，并从日志的研究分析中获知用户的检索习惯24。Bernard J.Jansen等分析了元搜索引擎D的检索日志，对2005年5月6日534507名用户的2465145次检索行为进行了研究，从中分析了用户的检索式长短和检索时间的长短等25。David Nicholas等对Blackwell网站500000条用户检索记录、OhioLlNK的2250000条用户记录以及Oxford Scholarship Online(OSO)的4240条用户记录进行了分析，对在数字环境下学生查询信息的行为进行了研究，比较分析了学生群体与其他学术团体查询信息的行为特征26。数据分析法主要应

17、用在对大数据和大信息量的用户检索日志的解析，从中发掘用户利用搜索引擎的行为习惯等有价值信息，据此对搜索引擎的设计、改进和完善提出积极的策略，并对用户利用搜索引擎的行为缺陷提出修补建议。研究人员或编写程序对数据进行分析，或利用科学的统计软件（如SPSS、SAS等）从数据中发掘规律性的信息。与实验方法和调查法相比，数据分析更为客观。各检索系统和搜索引擎网站的检索日志直接来源于用户真实的信息检索行为，并且这些数据以海量呈现，所以通过数据分析得出的结论能较为客观地反映出用户的行为特征和搜索引擎的性能。1.4观察法观察法是指研究人员观察用户利用搜索引擎这一现象，借助一定的技术手段记录用户检索行为和搜索引

18、擎工作状况。在观察的过程中，研究人员只记录相关的数据和信息，并不进行人工干预。研究人员应用观察法进行搜索引擎评价研究时会根据其预设的问题，挑选合适的观察对象，分配一定的检索任务。在观察对象利用搜索引擎完成检索任务的过程中，研究人员直接观察或者用电脑屏幕视频软件记录观察对象的检索行为。通过观察，研究人员能直观地了解观察对象的行为特征，如检索式的构造、检索策略的选择、点击结果数量、查询页数、检索过程中不同阶段的检索效率等。一些研究人员通过观察研究性别与检索行为之间的关系，如Large等通过观察学生的检索行为发现，男生和女生在使用搜索引擎时具有明显的区别，男生使用较少的检索词，浏览单个结果页面的时间

19、要短，单位时间内点击的网页数量要多，男生的检索行为表现得更为积极27。Roy和Chi根据检索结果的反馈，发现男生倾向于选择与女生不同的检索模式，但检索模式对检索结果的选择没有决定性的影响28。Lori Lorigo等观察发现，性别对检索模式和检索结果的选择具有明显的影响，女性会查阅更多的结果文摘29。还有对特定人群的检索行为的研究，如Ian Rowlands等对所谓Google一代（Google Generation，1993以后出生的人群）的信息获取行为进行研究，结果显示现代通讯技术的作用被夸大了，这些技术并不能有效地提升信息检索、获取和评价的能力30。Andrey等对儿童使用搜索引擎行为的

20、观察研究，研究人员给15名儿童分配了检索任务，观察其检索行为，结果显示检索经历、指导、适应虚拟环境能力等对其检索效率具有明显的影响31。还有其他的一些搜索引擎评价研究通过观察法来实施32-34。与实验方法相比，观察法获取的数据量可能不大，但是实验方法只能获取用户的检索判断及其产生的检索结果，不能通过检索过程获知用户如何做出检索判断。观察法不仅可以分析检索结果，更为重要的是可以通过观察和记录对象的检索行为，对搜索引擎的检索性能进行定性研究。但是使用观察法的不足之处表现为搜索引擎的选取、观察对象的选取和检索任务的分配都受研究人员的主观想法的影响。同时，研究人员在观察记录的时候，虽然记录的是客观现象

21、，但在记录的过程中难免会有主观判断和选择。上述这些因素都会影响到评价研究的客观性。因此如何尽量客观地实施实验和记录观察到的现象，减少人为因素的干扰，是在应用观察法时需要特别注意的。1.5综述和评论综述和评论也是搜索引擎评价研究中常用的方法，专门的综述和评论，其目的在于理清某一阶段搜索引擎评价研究某一方面的状况，揭示研究的不足并总结出发展的趋势。如Konstantina对网络信息检索行为的研究进行了总结，认为要从用户利用搜索引擎的各个方面进行整体研究，要充分考虑用户的经历、信息需求、个性、社会以及文化背景等35。Manoj和Elizabeth概述了各种元搜索引擎的功能、工作机制、数量增长、演进和

22、普及程度等方面的研究现36。秦喜艳、陆伟等对搜索引擎检索结果相关性的研究成果进行了比较分析，包括相关性的判断、检索系统的评价指标、评价方法等37。还有对外国搜索引擎检索结果研究的综述38，元搜索引擎研究综述39，元搜索引擎排序技术研究综述等40。与专题研究相结合的综述和评价研究，其目的与专门的综述和评价研究相异，一方面在于为研究人员的专题研究提供参考资料，另一方面也阐述了进行研究的必要性和可行性。此类综述和评论常见于期刊和会议论文中的相关章节，如文献评述(literature review)、相关研究(related studies/research)、相关论著(related work)、前

23、人研究(previous research)等。综述和评论是搜索引擎评价研究必不可少的研究环节。研究人员只有认识和熟知了研究现状，包括科学的研究方法、已有的研究成果等，并充分认识到研究的不足之处后，才能进一步开展相关研究。2 结论搜索引擎研究的评价方法并非单独存在，而是被综合应用。综述是研究的基础，实验、调查和观察等方法开展研究的保障，科学的数据分析方法和谨慎的论证则是提高研究质量的保证。比照中外研究，国内搜索引擎评价研究的方法较为单一，多为描述性评价，缺乏数据的支撑和科学的分析论证。因此，本文的目的也旨在通过对研究方法的总结和归纳来促进我国搜索引擎评价研究的科学化发展。【参考文献】1Su,

24、L.T.A Comprehensive and Systematic Model of User Evaluation of Web Search Engines: I. Theory and Background J. Journal of the American Society for Information Science and Technology, 2008,(13):1175- 1192.2Orland Hoeber. User Evaluation Methods for Visual Web Search Interfaces. Proceedings of the 200

25、9 13th International Conference Information Visualisation, 2009: 139-145.3陈海龙.搜索引擎的评价标准及其方法研究J.情报杂志，2001,(9):50-51.4赵华.一种搜索引擎性能的简便评价方法和案例J.图书馆理论与实践，2005,(6):114-115.5Bernard J. Jansen, Paulo R. Molina. The Effectiveness of Web Search Engines for Retrieving Relevant Ecommerce links J. Information Pro

26、cessing and Management, 2006, (4):1075-1098.6Moskovitch R, Martins SB, Behiri E, Weiss A, Shahar Y. A Comparative Evaluation of Full-text, Concept-based, and Context-sensitive Search J. Journal of the American Medical Informatics Association, 2007, (2): 164-174.7Zhang, X. M, Chignell, M. Assessment

27、of the Effects of User Characteristics on Mental Models of Information Retrieval SystemsJ. Journal of the American Society for Information Science and Technology,2001,(6):445-459.8Mike Thelwall. Can Googles PageRank be Used to Find the most Important Academic Web Pages? J. Journal of Documentation,

28、2003,(2):205-217.9Preben Hanse, Jussi Karlgren. Effects of Foreign Language and Task Scenario on Relevance Assessment J. Journal of Documentation,200, (5): 623-639.10Zhang, J., Dimitroff, A. The Impact of Metadata Implementation on Webpage Visibility in Search Engine Results (Part )J. Information Pr

29、ocessing and Management, 2005, (3): 691-715.11Shift, A., Rede, Crawfont. Query Expansion Behavior within a Thesaurus-Enhanced Search Environment: A User-Centered Evaluation J. Journal of the American Society for Information Science and Technology, 2006,(4):462-478.12Spink, A., Bateman, J. and Jansen

30、, B.J. Searching the Web: Survey of Excite Users J. Internet Research: Electronic Networking Applications and Policy, 1999, (2): 117-128.13Kruschwitz, U., Al-Bakour, H. Users Want More Sophisticated Search Assistants: Results of a Task- Based Evaluation J. Journal of the American Society for the Inf

31、ormation Science and Technology, 2005,(13):1377-1393.14Liaw, S., Huang, H.M. Information Retrieval from the World Wide Web: a User-focused Approach based on Individual Experience with Search Engines J. Computers in Human Behavior, 2006,(3):501-517.15Dudek, D., Mastora, A., Landoni, M. Is Google the answer? A Study into Usability of Search Engines J. Library Review, 2006,(3): 224-233.16Airio, E. Who Benefits from CLIR in Web Retrieval? J. Journal o