QTI规范的考试系统设计与实现.docx

QTI规范的考试系统设计与实现.docx

《QTI规范的考试系统设计与实现.docx》由会员分享，可在线阅读，更多相关《QTI规范的考试系统设计与实现.docx（75页珍藏版）》请在冰豆网上搜索。

QTI规范的考试系统设计与实现

封面

作者：

PanHongliang

仅供个人学习

电子科技大学

UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA

工程硕士学位论文

ENGINEERINGMASTERDISSERTATION

（电子科技大学图标）

论文题目：

基于QTI规范的考试系统设计与实现

工程领域：

软件工程

指导教师：

纪禄平

作者姓名：

张麟

班学号：

200792323058

独创性声明

本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。

据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。

与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。

签名：

日期：

年月日

关于论文使用授权的说明

本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。

本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。

（保密的学位论文在解密后应遵守此规定）

签名：

导师签名：

日期：

年月日

摘要

伴随计算机及网络技术的不断发展，无纸化考试正在逐步取代传统的纸质考试方式。

和传统方式相比，这种新颖的考试方式因其具有灵活性高、公正性强和安全性好等有点，将会成为考试领域未来发展的主流趋势。

本文首先简要地对“问题-测试互操作”即QTI（Question&TestInteroperability）规范进行分析，并对该规范核心的“试卷节项模型”和“结果报告模型”的体系结构和功能情况进行了介绍。

随后，还着重论述了QTI规范和无纸化考试系统在国内外的研究和发展情况，并结合一些典型系统进一步介绍了无纸化考试系统目前的开发和具体应用状况。

本文还对一个典型的考试系统其对运行环境、性能要求和功能约束方面的情况进行了深入分析，整理归纳出了考试系统在综合管理、题库业务、应考业务、考务处理以及信息发布平台方面的具体要求。

在需求分析的基础上，对考试系统总体方案、后台数据库和各功能模块进行了充分设计，详细展示了系统的网络结构、数据关系模式和各子模块的处理流程设计结果。

本文还进一步对考试系统的编程实现情况进行了介绍，给出了实现核心功能模块所需要的关键变量、数据结构和函数定义。

本文还简要展示了系统开发完成以后的运行情况，给出了一些典型的操作界面。

最后，还展示了系统的测试情况，列出了在测试过程中使用过的测试用例。

试运行结果表明，该考试系统结构良好、功能完善、性能稳定，界面美观、操作使用方便，具有较好的市场应用价值和推广意义。

关键词：

通用考试系统，问题测试互操作，试卷节项模型，结果报告模型，试题库，浏览器-服务器结构模式

Abstract

Withsustainingdevelopmentofthecomputerandnetworktechnologis,sometraditionalexaminationmeansisreplacedbysomeno-paperoneslittlebylittle.Comparedwithtraditionalexaminations,suchtheseno-paperoneswithhighflexibility,satisfiedfairenessandfinesafetywillproperlybecomeamainstreamoffuturedevelopmenginexaminationfields.

Firstly,thisdissertationbrieflyintroducestheQuestionandTestInteroperability,andthenanalyzesthesetwoimportantpartsofQTI,oneisAssessmentSectionItemmodelandanotherisResultsReportingmodel.Subsequently,itgivesadetailedanalysisontheQTIandno-paperexaminationinChinaandothercountries,andthenonthebasisofsometypicalapplications,furthermore,italsointroducestheresearchanddevelopmentstatusofno-paperexaminationsytems.

Moreover,thisdissertationdoesdeepanalysisonageneralexaminationsytem,especiallyonworkenvirmentrequirement,runningperformanceneedfunctionrestrict,andthenItconcludessystematicmanmangement,itemwarehouseandotherfunctions.Basedontherequirementanlysis,itdesignesthesynopticscheme,backgrounddatabase,andthosefunctionalmodulesforthesystem,givingalgorithmicflowcharts.Inaddition,thisdissertationalsoshowssomeimportantvariables,datastructures,andfunctionsinthesoftwarecodeprogrammingoffunctionmodules.Intheend,therunningstatusandtestingresultsareexhibited,andsometypicaloperationwindowpictures,aswellassometestingdataformsarealsopresented.Theworkandtestingresultsshowsthatthedevelopedno-paperexaminationsystemcontainssuchthesespecilitiesoffinestructure,powerfulfunctions,stableperformance,beautifulwindowsandconvenientoperation,soithasgoodapplicationworthinessandspreadsignification.

KeyWords:

Generalexaminationsystem,questionandtestinteroperability,assessmentsectionitem,resultsreporting,itemwarehouse,browser/servicemodel

第一章绪论

1.1背景及研究意义

考试是伴随人类几千年文明发展的一项重要活动。

比如，在我国古代便有广大知识分子热衷并想据此改变命运的“科举”考试。

在现代社会中，更是有明目繁多、纷繁复杂的各级各类“小升初”、“中考”以及“高考”和“托福”等选拔性或资格性考试[1,2]。

因此可以说，参加考试几乎是与每个人密切相关甚至是一生当中不可或缺的重要活动，在充满竞争的当今社会更是如此。

在目前的教学工作中，考试也是教学体系中的一项重要组成部分。

通过考试，教师可以了解学生的学习情况，并借此了解教学效果，改进教学方法，提高教学质量。

学生则可以通过考试了解自己对学习内容的掌握情况，进而有目的的进行学习。

与此同时，受我国的历史文化传统、社会成员结构以及社会体制建设等多方面因素的影响，考试也将仍然是未来相当长一段时间内藉以衡量社会成员综合素质和技能的主要手段之一[4]，同时也是各行各业选拔人才的主要依据。

然而，伴随着当代考试活动的多样化和普及化，传统的考试方式逐渐暴露出了许多不足，备受诟病[5,6,7]。

其一是传统的纸质现场考试方式，涉及到考生报名、专家出卷、试卷制作、安排考场、考试监考、考后阅卷等众多环节，这些环节带来的人力、物力等社会资源消耗十分惊人。

根据官方数据显示，仅2010年全国参加高考的考生人数就达到957万人，与此相关的资料消耗更是难以计数。

另外，对于传统的纸质化考试而言，从出题到阅卷几乎都需要人手工参与，这会导致出卷、阅卷等环节受人为影响的可能性大大升高，试卷题量、难度等指标起伏不定，人工阅卷带来的影响则更大，对不同的阅卷人其对评分标准的落实很难做到规范和统一，这也会认为地增加考试的不公平性。

所幸的是，进入新世纪以来，伴随着计算机及网络技术的不断普及和快速发展，在考试领域逐渐开始采用无纸化“机试”方式来逐步取代传统的纸质试卷考试。

这种无纸化的考试方式从试卷出题、参加考试到阅卷评分等环节都是在人员操纵计算机的方式下[8]，由计算机辅助完成。

这种考试方式，可以有效地避免传统的纸质考试中试卷不规范、试题难度不易控制、考试必须准时到指定地点参加考试、阅卷受人为影响因素较大等确定，这种考试方式在技术上也得到了较大发展，正在考试领域逐渐推广和应用，深受好评。

这种突破传统的新型考试方式因其具有很好的随机性、公证性、灵活性、及时性、方便性、安全性等优点[9,10,11]，它将在不久的将来发展成为一种主流考试方式。

它具有下述一些优点：

（1）试卷题库可以集中管理和共享使用

各级各类分散运行的题库，一般都很难保持一个固定的专家群体，因此通过相关人员的试卷自主修订后，容易导致题库总体质量下降，所以一般情况下同类题库都可以由统一的权威机构来进行维护和管理[12]，也能够由管理机构统一向各考试需求机构定向发布，因而可以完全做到“同一题库、多点使用”，实现真正意义上的集中管理和使用共享，从而提高出卷效率、资源使用率，降低人力消耗。

（2）快速和高效率

在传统的纸质考试中，教师要准备一次考试，从搜集资料开始，到选考题、印制考卷、学生考试、试卷批改、以及统计分数，工作量十分繁重，工作周期也会持续数周到数月不等[13,14]。

而使用了计算机的辅助考试系统，这些环节的人力消耗可以降低为简单的电脑操作，能有效地避免人力重复性劳动，从而显著地提高考务工作效率，缩短考试周期。

（3）出卷更加合理和科学

在传统的考试方式下，要提供一份高质量的试卷来测试考生的技能水平非常困难，常常会出现知识点覆盖面太过狭窄，试题难度、题型题量控制等更是十分苦难。

要产生一份高质量的考试试卷，必须要有一套科学的出卷方法。

采用新型无纸化考试，可以充分利用计算机的智能化特定，设计相应的科学组卷软件算法来替代人工组卷[15,16,17]，从候选题库中按出题人意图抽取满足组卷条件的试题，更加科学地生成的一套完整试卷，尽可能满足组卷要求。

（4）考试方式更加灵活

如今，计算机和互联网在社会上的普及已经十分广泛，通过互联网，新型的无纸化考试方式可以突破传统的地域和时间限制，任何人都可以随时随地，甚至可以在家中通过计算机开始一场考试，以达到检验自己知识和技能的目的。

尽管，对于类似考高这样一些规模较大也比较正式的考试，仍然还需要进行科学严密的考试组织，目前无纸化考试方式还难以适应，但它相比传统的现场纸质考试方式而论，其可以采用考试形式已经更加灵活和方便了[18,19]。

综上所述，传统的纸质现场考试已经运行了数千年，它随社会考试需求的不断发展已经暴露出了许多不足，一种更加方便快捷高效的无纸化考试方式正逐步进入历史舞台，将会逐渐取代传统的考试方式从而成为不久以后一种主流的考试方式。

鉴于此，本文力图设计实现一套通用的无纸化考试系统[20,21]，并在湖南财专率先点定推广和使用，从而提升我校的教学管理信息化程度水平，提高我校师生考试活动的效率，进一步提高我校各级各类考试的科学性和规范性。

1.2QTI标准介绍

为了解决形态各异的考试系统之间的内容交互问题，教育管理系统组织IMS（InstructionalManagementSystem）颁布了一套完整的问题与测试QTI（Question&TestInteroperability）规范，它是一个关于测试的互操作规范，由一系列的单个文本规范组成。

它主要是想克服目前练习/测试数据的独享性和缺乏开放性等问题。

它提供了试题及测试结果的标准模型，旨在使得测试数据能在不同的学习管理系统、开发系统和资源库等之间进行互换共享使用。

QTI可为内容提供者（即试题与测验的作者与出版者）、编辑与内容管理工具、测评传递系统及学习系统之发展者使用。

该规范用XML定义，具有可扩展性且易于实现[22]，主要特点：

（1）广泛的环境适应性，不论用户处于学校、家庭等何种学习环境，考试中心都能为用户提供规范试题[23]；

（2）资源的共享性，所有用户均能使用所处学习环境中的各种试题资源；

（3）优良的扩张性，能支持各种工具来开发兼容的题项并扩充题库；

（4）结果报告的可交互性，它能支持在多种不同形式的结果报告之间，以及处于不同平台的结果报告之间平滑交互。

QTI规范主要包括两个核心组成部分：

第一部分为ASI（AssessmentSectionItem）即试卷节项模型，此模型制定了测验内容需要遵守的基本规范；第二部分为RR（ResultsReporting）即结果报告模型，其主要是定义关于测验结果报告需要的遵守的基本规范[24,25,26]。

1、评价选择项（ASI）模型

ASI模型主要定义了考试试题的类型、试卷的组卷方式、选题的方式、成绩的计算规则等信息。

IMS将此模型分别细化为三个不同的部分加以介绍，分别包括用于描述ASI逻辑结构的ASI信息模型、用于描述QTI规范XML呈现方式的ASIXML绑定模型和提供了许多应用范例和实际操作指导的ASI最佳实践指南。

归纳起来，ASI模型实际上是用XML方式完整地定义了一套试卷各组成部分的基本格式[27]，如图1-1用一种更加直观的方式描述了ASI基本模型。

图1-1标准的ASI模型组成结构展示

在QTIV2.1公共草案中，信息模型主要定义了三个基本的模型，即Item（题项）、Section（题节）和Test（测试），如图1-1所示。

在这三个模型中，Test可以被看成是考试试卷的一个整体，也是试卷内容节（Section）的集合，在考试系统中主要用来测试应试者知识与技能水平，同时它还包含了试题的节和排序（SectionandOrdering）、与应试者的交互方式和评分规则（也叫输出环节，OutcomeProcess）等。

Section可以被看成是试题的节，它是个聚合的概念，可以被看成是传统纸质试卷中的一个大题，在另一个角度也可被看成是诸如选择题、简答题等不同题型。

进一步分析，题节又是由若干题项构成。

在QTI标准中，Section还承担了两种不同的需求导向，可以将多个属于同一主题的试题归纳为一个单一的Section，也可以套用选题与排序的规则来将某些试题归为同一Section。

此外，Item则可以看成是传统考试中的试题本身，与传统试题的主要差别在于试题是包含于题项中的，题项则又包括了试题表示、请求响应、反馈提示和标识项特征等基本信息，它也是交互式试卷对象的最小基本可操作单元[28,29]。

2、结果报告（RR）模型

在QTI规范中[30,31,32]，结果报告（ResultReporting）模型主要用来定义考试参与者（即应试者）测试结果和应试答题回复格式。

结果报告的表达范围具有很大的弹性，在实际应用条件下，只要符合结果报告模型那么应试者就既可以选择输出单一试题的考试结果、单一答题的结果，甚至也可以定义输出一套完整试卷的考试结果。

所以，结果报告可以提供简略或者详尽的考试结果信息。

结果报告模型一共定义了12种答题方式，分别是“多选”、“是非”、“多响应”、“图像热区”、“填空”、“文本选择”、“滑动”、“对象拖动”、“目标拖动”、“对象排序”、“配对”、“断点连接”，等等。

根据QTI规范文档[33]，“结果报告”模型主要由上下文、结果汇总、试卷结果、大题结果、题项（小题）结果等核心组件构成，如图1-2所示。

图1-2结果报告模型的4个核心组件

如上图示，上下文（context）主要用来记录与考试相关联的信息，如考生姓名、班学号等等；概要（summary）主要用来记录评估用例的简要描述信息，每个“结果”只能有一个概要信息；试卷（assessment）用来记录试卷完整的详细信息，每个“结果”中只包含一个试卷信息，且应该包括构成试卷的所有答题和小题信息；大题组件是用来记录每个答题的详细信息，在一个结果中，只能包含一个大题，实际上是包含该大题下所有的小题信息；小题组件用来记录试卷各小题的信息，与大题组件类似，一个结果中也只能包含一个小题信息。

图1-3QTI结果报告（resultreporting）的体系结构

在QTI的结果报告（resultreporting）模型中[34,35]，除了前述的4个核心组件之外，实际上它还包括了另外一些附加内容，如评述（comment）和扩展区（extension）等等，完整的QTI结果报告模型体系架构如图1-3所示。

3、系统及角色用例分析

教育管理系统组织颁布的QTI规范其主要目标是为试题和测试的表示和考试结果报告方式提供一套标准的数据模型。

因此，只要符合这个标准，那么就可以方便地在考试题、考试、考试结果等数据由试题编辑工具、标准考试题库、组卷方式、试题分发等公共环节进行无缝挂接和数据的共享[36]。

在实际的考试应用系统中，不同的出题人只要按照QTI标准来设计考试试题，就能够很方便地将自己设计的考试题目与其它符合标准的考试系统之间进行共享和重复使用，因此这种方式就能很好地解决不同平台之间数字资源的接口问题，从而实现试题资源的标准化、共享和相互流通[37]。

在这种情况下，考试系统的组成及各角色之间的相互关系就十分规范合理，涉及到的角色有出题人、考试者、监考人员、教师和阅卷者，具体情况如图1-4所示。

图1-4QTI考试系统组件及角色关系

如上图，考试系统设计到的角色主要有出题者、考生、监考者、教师和阅卷者及评分者，此外还包括4个重要的组件[38,39]：

出题工具，试题库，试卷发布系统和教学/学习系统。

通过出题工具，出题者可以新建、修改试题，新建或修改过的试题仍然以XML格式进行存储。

通过题库的支持，可以从外部单个和批量导入试题，也可到导出试题，也可以根据设置的组卷策略自动组卷，也可以人工方式组卷。

通过试题发布系统，可以组卷结果传输并呈现给考生，以及反馈传输考试结果，考生和监考者还可以与此组件直接交互。

教学/学习系统主要用来实现指导考生考前学习，以及考生和教师之间的教学-学习交互。

图示的组件和角色被有机结合在一起，即构成了一个符合QTI规范的考试系统[40]，依据此系统实现出题、参加考试、阅卷等考试环节之间的标准化和规范化处理。

1.3国内外研究及发展状况

1.3.1QTI规范的发展

国外在标准化测试系统方面的研究相对国内较为成熟，出现了很多实践工具及应用成果。

他们所依据的标准均为IMS组织制定的测试互操作标准。

实践工具方面有IMS公司推出的QTIConstraintsEditor工具，专门支持对其标准的采用，同时，很多国际有名的学习管理系统，如OLAT，Sakai，Atutor，ilias等都积极支持或准备支持QTI标准，这些大型的开源学习管理系统对标准的采用，为标准的采用提供了更好的范例。

此外，IEEELTSCP1484是教育类且与QTI标准类似的另一个基准，以此为基础其他的一些组织制定了涵盖learningobjectmetadata、studentprofiles、coursesequencing、computermanagedinstruction、competencydefinitions、localization、contentpackaging等方面的种种标准。

IEEELTSC还建立了一个下属委员会ISOJointTechnicalCommittee1（JTC1）与InternationalStandardsOrganization（ISO）的相关教育类的标准相衔接[42]。

与此同时，IMSGlobalLearningConsortium主要制定教育内容在线发布的一些标准，包括存放和使用教学内容、教学进度跟踪、学生程度报告、交换学生记录等等。

IMS有以下两个主要目标：

定义远程教育应用及服务的技术标准，此外它还能够支持基于IMS标准的服务和产品全球化[44]。

ADL（AdvancedDistributedLearningInitiative）是由美国国防部推动的，旨在通过教材重用与共享机制的建立，缩短教材开发周期、降低成本、促成教材在各学习平台间流通自如。

ADL计划预估，如果课程的学习内容能达到某些功能，则可减少政府50%至80%的教材开发费用。

这些学习内容须具备可重用（Reusable）、可访问（Accessible）、可持续（Durable）、可交互（Interoperable）、可自适应（Adaptable）、可承受（Affordable）等性能。

为推动厂商开发具备以上特质的教材，创建统一的学习内容模式，ADL集合了教材开发厂商、使用者与AICC,IMS,IEEE等标准推动单位，制定出了一套技术参考规范[45]，这就是在业界非常著名的规范—可共享内容对象参考模型（SharableCourseObjectReferenceModel,SCORM）。

在国内方面，对考试系统涉及到的理论研究比较多，但是有针对性的标准化系统开发和应用则并不多见。

教育技术分委员会已制定出测试互操作系统的信息模型、XML绑定及操作实践指南，尤其是实践指南中，详细列举了XML实例文件，为如何利用该标准制定测试题目的XML结构做了很好的示范。

但就标准本身而言，由于其对试题信息进行了非常全面的节点定义，使标准看起来极为繁杂和冗长，从而破坏了其适用性[46]。

从以往的论文成果及投入适用的测试系统来看，专门针对该标准进行的测试系统的开发并不多。

在此类典型的成果中，盛昌在《支持CELTS10的试题管理系统的设计与实现》中对标准的使用进行了初步探讨，基本实现了对标准化试题的管理。

姜宇清在《QTI规范在网络测试系统中的实践与扩展研究》中为QTI在考试系统的应用做了很好的示范讲解，并开发了标准化试题的出题工具，目前该工具可以独立于网络，建立好的试题需要上传到系统服务器才可被使用。

李美满在她的硕士论文《基于XML的通