广州市基础教育学业质量监测系统三期建设方案.docx

1、广州市基础教育学业质量监测系统三期建设方案1 项目开发的背景1.1 项目开发的依据1.1.1 项目开发的政策依据国家中长期教育改革和发展规划纲要（20102020年）指出：“加强优质教育资源开发与应用。加强网络教学资源体系建设。开发网络学习课程建立开放灵活的教育资源公共服务平台，促进优质教育资源普及共享。使农村和边远地区师生能够享受优质教育资源。”广州市教育信息发展“十二五”规划提出：“根据教育改革的内在需求，以深化教育应用、促进教学改革为目标，不断丰富和完善具有广州本地特色、支持教学改革、服务教育均衡发展的教育教学资源库。通过引进购买、挖掘整理、自主研发等多种渠道，建立涵盖高等教育、中等职业

2、教育公共课程的公共教学资源库和网络精品课程库，建设幼儿教育、特殊教育特色教育资源，完善覆盖基础教育多样化需求的教育教学资源库。”“十二五”期间，我市教育信息化将进入应用转型期，创新应用、加快发展、促进公平是我市教育信息化“十二五”的历史责任。因此，充分发挥信息技术的作用，建设广州市基础教育学业质量测评系统，带动全市教育信息化应用向纵深发展，促进区域教育水平均衡化，对深化我市的教育改革，提高教育质量，促进区域教育均衡发展具有重要的现实意义和深远的历史意义。广州市中小学教育质量阳光评价实验，按照教育部关于“基本建立体现素质教育要求、以学生发展为核心、科学多元的中小学教育质量评价制度”的改革目标，全

3、面推进广州市中小学教育质量综合评价改革。本项目作为中小学教育质量阳光评价的信息化基础，是基础教育学业质量综合评价的工作平台，项目的成功实施和全面推广，将有助于基础教育树立科学的质量评价观，把学业水平评价拓展到归因评价，充分发挥诊断性评价功能，从而通过综合评价改革改进教育教学，提升教育质量，推动优秀校长群体和优秀教师群体的形成，促进区域教育的优质均衡发展，为新型城市化发展奠教育之基，让广大中小学生健康成长。1.1.2 基础教育改革背景下对学业质量监测新方法、技术的需求我国目前正经历社会经济发展阶段，基础教育也随着社会经济的发展作出相应的改革，教育的深化发展，教育公平、资源公平以及多元选择成为社会

4、各阶层的主流诉求。而课程改革使得不同地区、不同学校具有自选教材及自编“校本教材”等多元选择权，这就对各级教育部门以考试分数作为“质量”衡量指标的思路和做法都提出了挑战。在教育发展的大背景下，探讨和寻求一种在多元选择条件下的评价方法或手段成为必要。当前，国内几乎每一次教育改革都会将广州列为试点地区，这与广州人民思想开放、拥有更大的学术自由密不可分。广州市12个区教育主管部门都有教材选择自主权，各区可以根据实际情况，选择不同版本的教材，也可以创设校本教材。但是由于各区的条件不一，发展亦不平衡，教学质量存在较大差别，加上各区之间不实行“统考”，这就为教育管理部门公平、公正、科学、合理的监测学校教学质

5、量带来了一定的难度。在基础教育阶段，不同地区、学校使用不同版本的教材，即使是在一个区，各个学校可以自行命制试题进行考试，因此目前如何有效评价和监控不同地区、不同学校的学业水平质量，这是目前教育管理部门需要思考和急需解决的难题。社会的发展也需要对学生个体的学习作出更为恰当的评价，以达到“因人施教”的目标。1.1.3 教育与心理测量、统计学理论、方法和技术的发展对基础教育学业水平质量监测方法的创新教育与心理测量理论在近20年有了很大的发展，由原来只能对团体作出评价的经典测量理论（Classical Test Theory，CTT），发展到对被试能力水平作出个体评价的项目反应理论(Item Resp

6、onse Theory，IRT)。而计算机技术的引入，不但提高了教育测量教育评价的效率，也提高了教育测量、评价爱的科学性和准确性，因此，以IRT为基础的计算机自适应测验（Computerized Adaptive Testing，CAT）逐渐得到广大教育工作者及社会的认可。CAT是整合了心理学、教育学、测量学、计算机等多学科知识的系统，CAT可根据每个学生的不同情况，用几组不同的试题来测量学生能力水平。通过这种方式，使试题与应试学生的能力水平相符合，为估测学生的能力提供最大的信息量。基于IRT的题库中，试题的属性可以与施测样本无关，故不同时间内进行的考试，其测量结果是可以比较的。近年来，认知诊

7、断诊断理论的发展，促使认知诊断测验的出现，为学生学习作出“诊断性评价”，使“因人施教”、“因人施考”成为可能。“认知诊断评价”可以清楚的呈现学生学习或教师教学存在的问题，从而提出解决问题的方法，省时省力地提升教学质量，并为学业质量评价提供了理论和方法基础。研发具有认知诊断功能的基础教育学业水平质量监测CAT系统，并将此系统应用于实践中，在基础教育学业水平评价中是革命性的突破，是对传统基础教育评价有力的革新。1.2 广州市基础教育学业质量监测现状目前作为教育改革试验区的广州市，各个区、县级市及学校有更大的办学自主权，学校具有教材选择权，有自编和使用校本教材权，而各级教育管理部门、教研部门不得以各

8、种名义举行统考。如何对基础教育学业质量进行监测，进行不同年度比较（纵向比较），和不同地区、学校比较（横向比较），是广州市基础教育学业质量监测管理的一个重要课题。我市天河区、海珠区、越秀区等已经先后建设了以传统的考试方式学科质量监测系统，整套系统包含了题库、考务安排、出题、试卷扫描、人工评分，考试分析等功能，由于系统功能仍按照传统考试模式进行设计，因此实质上属于考试成绩分析与管理系统，并未真正发挥计算机技术的作用，评价功能严重不足，无法对我市的基础教育学业质量进行全面监测。针对广州市在全市学业质量监测方面监测方法相对落后，技术手段较为单一，监测可信度和效率不高等现状，结合教学的实际，设计出一种具

9、有较好性能和实际可操作的测试系统，来提高学生学业水平监测质量及效率，是值得探索的，也是有意义的。基础教育学业质量监测系统引入计算机技术，以现代教育与心理测量、统计理论、方法和技术贯穿基础教育学业质量监测研究的整个过程，通过建设测试平台（要有可靠的测量模型），建立题库（学科/年级），面向不同的区（县）、学校、教师、学生服务。通过测试平台，建立可供比较的质量监测系统。2 项目建设总目标建立一个面向全广州市的基础教育学业质量监测系统，这个系统包括：（1）智能化的学生学业水平诊断评价测试平台，测试平台采用计算机自适应考试方式，可实现基础教育学业质量监测的多样化需求，可实现学生在线的自适应测试、大型测试

10、，收集大量学业水平的数据；（2）建设约80个的学科/年级子题库用于系统的配套使用；（3）建立基础教育学业质量测试数据库，进而建立各县(区)级常模，市级常模；（4）数据分析和学业诊断系统。3 一期、二期建设内容、功能构架及技术概述3.1 一期、二期项目建设的目标（1）搭建“广州基础教育学业水平监测系统”的基础环境和工作平台；（2）研发“广州市基础教育学业质量监测系统”的部分子系统和功能模块（基础系统建设）。（3）建立常模管理子系统，为各县/区、学校的学业水平的比较提供科学参照，使系统功能由整体的学业质量评价和监测升级到对县/区、学校的学业水平的比较。（4）建设相对高中毕业生学业水平评价管理子系统

11、，专门服务于广州市约6万的高中毕业生的学业质量监测。（5）建设题库，将题库嵌入学业质量监测系统，并建设小学四年级、五年级的英语、语文、数学，初中一年级、二年级的英语、语文10个主干课程的学科/年级子题库，完善基础教育学业质量监测的配套试题库。3.2 一期、二期项目建设内容及功能构架3.2.1 计算机自适应测验考试管理子系统在现代测量理论的框架下，结合计算机自适应技术建设计算机自适应考试系统，实现对学生学业水平的测评、分析与评价。计算机自适应测验考试系统包括考试管理、UK管理、考试过程、考试监督、成绩分析及查询5个功能模块，实现：（1）计算机自适应测试；（2）考试过程智能化的管理和监控；（3）对

12、学生作答情况进行评价和分析及时为学生学习辅导提供参考依据；输出报告；（4）建立学业成绩数据库，为学科/年级常模建设做准备。（5）计算机自适应考试系统可根据被试能力水平进行考试，克服传统考试的时间和空间的限制。3.2.2 题库管理子系统题库管理子系统是在项目反应理论的框架下建设，主要用于试题录入人员将种子试题录入或导入至系统的种子题库中，由题库管理人员对录入的题目进行审批，并针对种子题库中各试题的指标进行更新和维护，进而实现对种子试题进行筛选，决定题目的保留、淘汰及进入正式题库或锚题库，对进入各种类型题库的试题进行管理、维护、统计分析、对试题指标进行维护管理等，题库管理子系统包括种子题库管理、锚

13、题库管理、正式题库管理和试题检索四个功能模块。3.2.3 试题组卷管理子系统试题组卷子系统主要用于在题库的基础上，按照测验的要求，设置组卷方式，生成考试试卷。在题库系统规划设计的同时有两种组卷策略：（1）基于经典测量理论的线性规划组卷策略；（2）基于IRT理论的线性组卷策略。用户还可以根据需要预先创建组卷策略模块在试题组卷子系统中，可设计等值设计功能，及在组卷过程中，将等值设计的要求可以嵌入到组卷策略中，以及嵌入到组卷策略模板中。试题组卷子系统主要包括组卷策略设置、自动组卷、人工组卷和试卷检索四个功能模块。3.2.4 系统管理子系统系统管理子系统一方面可以对所有测试结果信息数据、题库中试题信息

14、数据进行管理，对所有用户和角色，包括学生、教师、学校、监考人员、学校管理员、命题专家等进行管理；同时也可对接广州市信息中心管理系统，对所有考试过程，命题过程，题库升级更新过程进行管理。3.2.5 研发常模管理子系统常模管理子系统下包含数据库管理、常模建立与维护、等值分析、常模比较4个功能模块。应用常模管理子系统，可对试题数据库和测验分数数据库进行管理，建设各学科/年级常模，对测试数据进行等值分析，实现不同县/区、不同学校及班级的学业质量的比较。3.2.6 研发高中毕业生学业水平分析与评价管理子系统高中毕业生学业水平分析与评价管理子系统包含毕业生数据管理、毕业生成绩分析、结果输出3个大功能模块，

15、每个大的功能模块下包含共10个子功能模块来实现具体的功能。高中毕业生学业水平分析与评价管理子系统可快速采集试题和考生的数据，建立广州市毕业生各学科学业水平常模，对高三毕业生的测试成绩进行深度的数据挖掘与分析评价，输出详细的学业水平分析报告。3.2.7 建设14个学科/年级学业质量监测系统的配套试题库试题库建设以项目反应理论（IRT）为主要指导思想，根据教学大纲、教学目标、学业水平评价标准、课程双向细目表，确定最终题库指标体系。建设小学四、五年级英语、数学、语文，初中一、二年级英语、语文、生物、数学共14个主干学科（学科/年级）子题库的建设，并把试题库嵌入到学业质量监测系统中用于学业水平监测。图

16、1一期、二期项目建设的结构功能模块3.3 一期、二期项目实施的技术（1）一期、二期项目实施的测量、统计学技术基础教育学业质量监测系统功能实现，运用现代教育与心理测量、统计方面的方法和技术来实现。主要核心理论和技术要点：现代教育与心理测量理论IRT理论计算机自适应技术等值技术题库建设技术现代教育与心理统计分析与评价技术 现代教育与心理测量理论在题库系统建设过程中，命题过程以IRT为理论基础，试题质量指标的参数体系要采用IRT框架下的参数指标。关于项目的测试、项目参数指标、被试能力估计都是在IRT的框架下进行，确保参数估计的精确性和系统性。在计算机自适应测试中，以IRT为基础理论。采用IRT理论模

17、型在计算机自适应考试过程根据被试的能力自动调整选择相匹配难度的试题，把个体能力水平和项目参数放到同一个模型中，在测试过程可根据被试的能力水平选择相匹配难度的试题。 计算机自适应测验技术采用基于IRT的计算机自适应测验(简称CAT)技术来实现对学生学业水平的自适应测试。要求学业监测系统的测试要根据学生对试题的不同回答估计学生的能力水平，根据学生的能力水平选择符合被试能力的试题，进行因人而异的测验，使学业水平评价不受时间和空间的限制。另外，计算机自适应测验技术在题库建设、试题选题策略和试题曝光率控制等方面有系统的理论和方法，同时可实现试题参数在线估计技术、学生能力即时估计、学生知识能力的分析和评价

18、。 等值技术等值技术可以通过锚题对不同的题目和测验进行等值，一方面可对新题目进行参数估计，也是实现学业质量监测过程中的纵向（不同年份）和横向（不同县区、学校、班级）的比较的技术基础。 题库建设技术以项目反应理论作为命题的测量理论基础，并使之能够满足计算机自适应测验的要求；遵循科学的题库建设步骤和流程；制定学业评价标准体系；按照进行命题计划与安排进行命题；对试题进行测试，并根据项目反应理论框架下的参数体系标准来选择项目，反复测试，入库，建设三类题库并进行题库管理，题库可及时充实和更新。 现代教育与心理统计分析与评价技术采用现代教育与心理统计方法，对学业水平测试中蕴含的信息进行深度挖掘，对学业水平

19、进行分析与评价。分析内容包括百分位等级分析，能力水平的分层分析，知识掌握详细信息分析，横向与纵向比较分析，试题分析等。分析报告包括知识点掌握的分析报告、试卷分析报告及学业水平的纵向比较报告等。（2）一期、二期项目实施的信息化技术 采用SOA面向服务体系架构采用面向服务架构降低模块之间的耦合度，增强系统的可扩展性。在SOA中，具体应用程序的功能是由一些松耦合并且具有统一接口定义方式的组件（服务）组合构建起来的。灵活性是SOA带来的最大利益之一，因为业务流程和数据处理逻辑不再受制于潜在底层结构的限制。服务在设计时就考虑到集成的需要，服务以及相关的接口必须保持稳定，而且可以被重新设置、整合以满足数据

20、接口上的不断变化。 采用Web Services技术采用Web Service技术降低应用接口的复杂性。XML Web services是提供特定功能元素（如应用程序逻辑）的可编程实体，任意数量的、可能是完全不同的系统都可以用常见的Internet标准（如XML和HTTP）访问它。 采用Microsoft SQL Server数据库Microsoft SQL Server数据库能提供超大型系统所需的数据库服务。大型服务器可能有成千上万的用户同时连接到SQL Server实例。SQL Server为这些环境提供了全面的保护，具有防止问题发生的安全措施，例如，可以防止多个用户试图同时更新相同的数据

21、。4 本期项目建设内容4.1 本期项目建设目标在“广州市基础教育学业质量监测系统” （简称学业质量监测系统）一期、二期建设的基础上，第三期进一步开发学业质量监测系统，建设基础教育阳光评价信息管理子系统、义务教育阶段学业水平档案子系统，对12个主干课程的学科/年级子题库进行适合性设置和（语文、数学和英语）学科的兼容性开发；根据一、二期系统初步试用提出的新需求，增强题库管理子系统、试题组卷管理子系统和计算机自适应测验考试管理子系统的功能。从而达到对学业质量监测系统持续开发，以期对广州市学业质量进行科学、高效、准确、多元的监测，推动广州市中小学教育质量阳光评价实验项目的启动与开展，提升广州市中小学生

22、的学业质量监测水平，实现更多学科/年级的个性化教学与评价，以提高教育质量，推动教育改革与发展。4.2 本期项目建设内容（1）开发基础教育阳光评价信息管理子系统。基础教育阳光评价信息管理子系统包含“阳光评价问卷调查”、“问卷分析报告”、“阳光评价综合分析诊断报告”和“子系统管理”4个一级功能模块。应用基础教育阳光评价信息管理子系统，心理测量专家等相关专业人员可以编辑问卷、对学生进行问卷的调查和评价。（2）开发义务教育阶段学业水平档案子系统。义务教育阶段学业水平档案子系统包含“学生基本数据采集”、“学业水平诊断与分析”和“学生与教师互动交流模块”。义务教育阶段学业水平档案子系统可实现结合计算机自适

23、应考试系统的考试数据、模拟考试数据、作业数据进行学业水平诊断，为学生学习与复习提供依据。（3）学科/年级子题库的适合性设置与学科兼容性开发。包括12个学科（学科/年级）子题库的适合性设置，以及语文、数学和英语特定要求的定制开发，可实现12个学科（学科/年级）子题库的命题功能和各学科命题规范化的功能。（4）题库管理子系统的功能增强。根据一、二期试用过程，教研人员和命题教师提出的题库系统功能需求，对题库功能再进行完善和增强，包括“新增一种题库工作流程（模块题型）”、“试题内容相似性检查程序”、“学科知识点模块”、“试题审核任务管理与分配”、“小题编辑模块”、“题型分类显示与管理”、“特殊符号检查程

24、序”、“试题内容、详细解答的保存格式的升级”以及“题库基础数据模块”9个一级模块。（5）试题组卷管理子系统的功能增强。根据教育科研的需要，在一、二期基础上，完善试题组卷管理子系统的功能，增加“试卷模块编辑”和“纸笔试卷导出”2个一级模块。（6）计算机自适应测验考试管理子系统的功能增强。在一、二期基础上，为匹配题库管理系统在本期进行的功能调整和实现考试（在线考试、纸笔考试）的全面信息化目标，增强计算机自适应测验考试管理子系统的功能。包含：“与题库管理系统进行对应性调整的功能模块”、“主观题评分与评分任务安排”、“学生模拟测验模块”、“学生课后练习模块增加”、“计算机自适应测验的试题曝光率分析模块

25、”和“纸质试卷测验数据的分析”6个一级模块。（7）培训。常规使用、常规系统管理维护培训外，对业务人员进行深入培训，让业务人员熟练掌握系统的功能。5 本期项目建设5.1 项目建设总体需求5.1.1 项目建设总体功能（1）管理、调查和分析问卷的功能。对基础教育阳光评价信息数据库子系统进行信息化开发，能够为子系统功能的实现提供计算机平台，使子系统具有问卷目录管理、问卷编辑、问卷发布调查、问卷作答记分、问卷数据分析、问卷诊断报告等功能。（2）采集、管理和挖掘数据的功能。基础教育阳光评价信息管理子系统、义务教育阶段学业水平档案子系统都具有数据采集、管理和挖掘功能，能对计算机自适应考试系统的考试数据、模拟

26、考试数据、作业数据进行采集、管理和挖掘。（3）诊断性评价功能。基础教育阳光评价信息管理子系统能提供学生知识技能的掌握水平、学习能力发展水平及发展潜能的诊断性信息。义务教育阶段学业水平档案子系统能对学生进行学业水平的诊断与评价。（4）12个主干学科（学科/年级）命题的功能。增加建设小学一、二、三、六年级数学，初中一年级思想品德，初中二年级物理、思想品德，初中三年级语文、数学、物理、化学、思想品德共12个主干学科（学科/年级）子题库的题库功能，使得教研人员能在子题库进行题目的命制、编辑和管理。（5）命题规范化的功能。通过增加试题相似性检查、题型分类显示与管理、特殊符号检查等功能，提高教研人员命题的

27、规范性和效率；通过增加学科知识模块、题库基础数据等功能，为教研人员命题提供参考依据。（6）组卷形式多样化的功能。三期建设中增加直接编辑试卷模块，教研人员或者测量专家可直接编写试题，形成试卷，另外系统可在线组卷完成试题并能导出纸笔测验的Word试卷。可满足不同考试的组卷要求。（7）考试全面信息化的功能。为了实现纸笔考试的全面信息化，增加网络在线的主观题评分任务模块。同时，计算机自适应测验考试管理子系统增加模拟测验、课后练习的信息化，增加试题曝光率分析模块以控制在线试题的曝光率。5.1.2 项目建设总体技术需求（1）心理测量学的问卷编制技术本期项目建设中，以心理测量学的问卷编制和评价的理论建设基础

28、教育阳光评价信息管理子系统。在建设过程中，问卷质量和问卷题目质量的参数体系采用心理测量学的标准，以实现系统能够满足问卷编辑和问卷分析的需要。（2）项目反应理论技术在子题库建设过程中，以项目反应理论（IRT）为命题基础，试题质量指标的参数体系采用IRT框架下的参数指标。关于项目的测试、项目参数指标、被试能力估计都是在IRT的框架下进行，确保参数估计的精确性和系统性。在计算机自适应测验考试管理子系统的功能增强中，通过基于IRT的计算机自适应技术，控制试题的曝光率。（3）现代教育与心理统计方法本项目的数据分析要求采用现代教育与心理统计方法，对学业水平进行具体到知识点的细致分析，并结合阳光评价问卷对测

29、试中蕴含的信息进行深度挖掘，对学业水平分析结果进行科学、有针对性的解释与评价。基础教育阳光评价信息子系统功能模块中，要求对学生问卷调查结果进行评价，并结合学生的学业水平进行多角度、全方位的相关分析。义务教育阶段学业水平档案子系统要结合基础义务教育的具体情况，综合计算机自适应考试系统的考试数据、模拟考试数据、作业数据进行分析，提供学生个人、班级、学校、行政区域等各层次的诊断性分析。5.2 学业质量监测系统的结构及角色5.2.1 系统的网络构架5.2.2 系统功能模块结构图注：图中虚线框为三期项目新增加的重点建设的子系统及功能模块，实线框为一、二期建设但在三期项目中进行功能增强的子系统。5.3 学

30、业质量监测系统的软件建设上述系统结构图中，系统管理、题库管理、试题组卷管理、计算机自适应测验管理、常模子系统管理和高中毕业生学业水平分析与管理子系统在第一、二期建设已经完成，第三期的软件系统建设主要是研发基础教育阳光评价信息管理子系统、义务教育阶段学业水平档案子系统，同时建设学科/年级子题库的适合性设置与学科兼容性开发，以及题库管理子系统、计算机自适应测验考试管理子系统、试题组卷管理子系统3个子系统的功能增强，软件需求描述如下。5.3.1 基础教育阳光评价信息管理子系统建设5.3.1.1 测量技术（1）用心理测量技术分析问卷质量。基础教育阳光评价信息子系统所采用的调查问卷的编制与实施均需结合国

31、内外相关研究成果以及国内学生知识技能学习的实际，按照教育测量学规定的程序编制，评价工具各项测量学指标均需达到测量学的要求，保证获得的评价结果全面、科学、可信。主要的技术指标：符合心理与测量学要求的信效度分析、项目分析以及建立常模。（2）现代统计分析与数据挖掘技术的应用对在线测试的问卷、以及纸笔测验导入的问卷进行数据分析，分市、地区、学校、个人四个层级进行横向分析、纵向分析，并形成分析报告。主要技术指标：问卷的最高分/最低分、平均分、标准差，问卷的平均数差异分析，对学生学业水平和问卷调查结果的数据进行相关分析。5.3.1.2 功能需求（1）阳光评价问卷调查功能模块能够实现阳光评价相关的问卷调查，

32、能实现对学会学习（1份问卷）、学业负担状况（包括学习时间、课业质量、课业难度、学习压力4份问卷）、对学校和老师的认同(包括学校认同、师生关系、教学方式、家校关系4份问卷)共9份问卷的问卷目录管理、问卷编辑、问卷发布调查。（2）根据收集到的问卷调查数据，对全市、各地区、各学校、各学段的学生的每份问卷进行横向分析和纵向分析。（3）接入计算机自适应测验数据、广州一模测验的数据，形成对全市、区、学校的知识技能的评鉴，并结合阳光评价问卷调查的相关分析，形成全市、各区域、各学校的阳光评价综合分析诊断报告。5.3.1.3 软件功能模块基础教育阳光评价信息管理子系统包括“阳光评价问卷调查”、“问卷分析报告”、“阳光评价综合分析诊断报告”和“子系统管理”4个一级功能模块，下面是各个子系统的功能模块的详细介绍。（一）阳光评价问卷调查（1）问卷目录管理问卷目录管理主要包含阳光评价问卷相关信息的目