广博课程课堂反映问卷分析报告.docx
《广博课程课堂反映问卷分析报告.docx》由会员分享,可在线阅读,更多相关《广博课程课堂反映问卷分析报告.docx(30页珍藏版)》请在冰豆网上搜索。
![广博课程课堂反映问卷分析报告.docx](https://file1.bdocx.com/fileroot1/2023-2/24/887d030f-4c8f-4af6-84a1-e0eb3322ed84/887d030f-4c8f-4af6-84a1-e0eb3322ed841.gif)
广博课程课堂反映问卷分析报告
92~94年度广博课程课堂反应问卷分析报告
2006/8/14
一、主要发现概述1
二、重要统计数据3
一、基本描述统计4
(一)主要变量之最大值、最小值及平均数、标准差4
(二)学生整体满意度和教师评分或学生预期得分的相关5
(三)各课堂反应题项和整体满意、教师评分或学生预期得分的相关7
(四)教师对学生的考评成绩和学生自评用功程度的关联8
(五)学生自评的用功程度和各个课堂反应问卷题项间的关联9
(六)科目别(广博科目类别,共六类)和各种变量间的关联10
(七)年度别或学期别和各个反应问卷题项间的关联11
二、因素分析:
从学生反应分析课堂反应问卷的意义结构13
(一)因素分析一13
(二)因素分析二14
(三)因素分析三(本报告采用此一分析结果)15
(四)主要因素和教师评分的关联16
一、附录17
附录一、学生课堂反应问卷分析计划18
附录二、数据档名称及变量结构19
附录三、数据档名称及变量转换程序(SPSS程序档)21
课堂反应问卷分析报告
做这个分析的主要目的是希望了解学生对于课堂反应问卷题项之回答所代表的真正意义,相信这是利用学生反应作任何教育行政决策之前必须先厘清的问题。
这次分析的资料包括92至94年度上学期全校广博课程的课堂反应问卷,以班级为单位,共有将近400个班级的资料,班级修课人数平均约64人,平均答卷率约为修课人数的70%。
这份报告将呈现各个课程的学生反应以及这些反应和教师评分、班级大小等相关现象之间的关联。
解释这些数据的意义之前,有几个该留心的陷阱。
首先应特别留心这套数据是以班级为单位,我们用每个班级学生回答课堂反应问卷的平均数来代表学生对于该科目的观感,所以大概是一个模糊的整体印象,并不能代表任何个人。
作统计或关联分析时,反映的是简单的整体趋势,比较微妙的细节不太能看得出来。
另一个该留心的陷阱,是过度解读的可能性。
「这份问卷能问到什么」几乎是最重要的框架问题,因为我们不能把结论推出框架之外去。
所以我们先做了因素分析,结果发现因素结构非常简单(这和数据单位是班级平均数有关,平均数已经把很多独特的、敏锐的个别差异给泯没了):
这份数据看来有很多的变量,因为学生回答了二十多个问题,但其实只有两个简单的因素:
1.对老师的满意或喜欢;2.对课堂的参与程度。
不过,真正稳定且解释最多变异量的因素是第一个因素,第二个因素能解释的比例,大约只有第一个因素的十分之一,而且其内涵意义也比较不稳定。
以下先将分析结果作摘要性的陈述,之后再作比较详细的说明。
一、主要发现概述
1.课堂反应问卷所包含的内容在求取平均数之后,主要反映两种成分:
学生对老师的满意或喜欢,以及学生对课堂的参与。
不过关于学生对课堂的参与方面,这份问卷其实相当弱,测量的稳定度或精确度都有待商榷。
2.整体而言,学生对广博课程的满意度尚佳,课堂参与可能有待加强(平均的答卷率大约70%,合理的推论是:
未答卷者的参与度会比我们看到的数据更差)。
3.上述两个因素(对老师的满意或喜欢和本身对课堂的参与)有一些关联,但彼此相关不大(相关系数约0.27)。
4.个别学生也许有独特的满意或喜欢的理由,然而就整体趋势而言,所有学生对老师的评价项目都和满意度有高相关(相关系数接近0.9或更高),只有「按时上下课」或者「上足授课时数」是比较独立于满意度的「事实」,但它们和满意度的相关还是颇高。
课堂反应问卷中的各个题项原本应该都和满意度有关,不过因为它们都只代表教师表现的部分层面,如果和满意度的相关过高而只剩下单一因素,反而显现测量效度的缺陷,表示学生们在填写问卷时,并没有用心区分教师的不同特质,只是依据相当笼统的整体评价。
5.问卷题项中和满意度关联最高的,大致是与学习与理解的难易程度有关的题项,所以笼统的来说,「对老师的满意或喜欢」这个因素所代表的意涵大致接近「易学易懂」。
所谓易学易懂,也和课程的趣味性高度相关。
进一步分析满意度特别偏低的少数课程,可以发现最明显的共同特征并非教师不够认真,而是「不够有趣」和「难懂」。
6.老师的评分方式和学生的满意度之间有相当明显的关联。
学生对老师的平均满意度和老师对学生的平均评分有中度正相关(相关系数约0.45),但和老师评分的标准差(也就是给分范围的大小)有负相关(相关系数约-0.33);学生的课堂参与也和评分有中度正相关(相关系数大约也是0.45),也同样和评分的标准差有负相关(相关系数约-0.25)。
学生的满意度或课堂参与和他们预期成绩的关联则更加明显(相关系数超过0.70),而学生预期的平均成绩和老师实际上的平均评分大体上也相当一致(相关系数为0.64),显示学生的「现实感」还相当正确。
这些资料表示整体而言,学生对课程或老师的满意度,有相当程度建立在老师的评分方式上,平均评分较高(无论预期或实际)、评分差异较小的老师好像比较受到欢迎。
当然评分方式和满意度之间的关联也可能是双向的,换言之,学生可能因为喜欢老师而对课程有较多参与,因此成绩(或预期成绩)较佳,不过从各种数据综合来看,这种路径的强度可能比较弱一点。
7.大体上自认在该科目比较用功(包括出席较佳或课外花较多时间)的班级在各个题项上的反应也倾向于比较正面,不过相关程度并不高(相关系数大约在0.2到0.3之间,表示例外情况不少)。
而生学自评的用功程度和实际上老师的评分之间关联更低(低于0.20或统计上根本不显著),表示不同的老师有相当不同的评分标准,用功程度的「投资报酬率」在不同课程中颇难相提并论。
8.答题人数(或答题者与修课人数之比例)、答题者性别比例、科目别等变量和学生的满意度、课堂参与或老师评分都没有很大关联。
9.学年度别在各种变量上,都没有造成任何显著差异,但有趣的是学期间的差异却相当显著(虽然统计上达到显著水平,但其实差异相当有限)。
大多数和满意度有关的题项都达到.01显著水平,而且都是第二学期略优于第一学期。
学生用功程度、教师按时上下课、是否上足时数或评分等变量上的差异则都没有达到.01显著水平。
目前还不知道这个结果应如何解释?
(注:
第二学期学生修课人数比第一学期少,也许会有上述现象,是因为很多全学年的课程到了第二学期,已经淘汰了部分学生?
)
10.整体而言,学生在广博科目上并没有花很多精力,也许也并不打算这么做。
「易学易懂、好成绩」是在这份反应问卷中得到好评价的重要元素。
(这次分析仅限于广博科目,也许这个结论并不适于推论到各系的专业科目。
)
11.以上分析结果是以班级平均数为基础,历年来变化不大,应该相当稳定。
未来如果没有重大课程变革,继续以班级作为分析单位,猜想这种结论不会有很大的改变。
如果希望能看到比较多的师生互动特性,也许要以个别学生为分析单位,问卷题项的内涵也有进一步检讨和扩充的必要。
(但若根据国内外既有的文献资料来看,其实学生对老师的评价,基本上一个是不太用心、非常简化的历程。
虽然有一定的参考价值,但想要靠学生的反馈来评量老师的教学表现,恐怕极为困难)。
二、重要统计数据
这份报告的数据由本校电算中心提供,课程代号已经事先经过改码(参见附录中的「分析计划」)。
原始资料档名为Q0186,使用SPSS统计软件进行分析时,曾对若干变量进行更名或转换(参见附录中的「数据档名称及变量结构」以及「变量转换程序」)。
以下将依据分项主题,呈现比较详细的统计数据
一、基本描述统计
(一)主要变量之最大值、最小值及平均数、标准差:
平均而言,各科目学生的反应相当正面(对教师的正面描述平均在4点左右,也就是表示「同意」),但学生用功程度似乎稍有不足(每周花在各科目的平均时间可能只有1小时左右)。
老师们的平均评分变异极大,从全班平均39分到全班平均92分皆有(由于只拿到分数级距的次数分配资料,这是约略估计值。
由于低分的级距特别大,从0分到49分都属于第一级距,所以全班平均39分的班级可能估计误差较大)
注:
register是班级修课人数,个数是有效样本数。
「笔试监考确实」只有92年度包含在问卷中,93年度起改为对该科目之整体满意度,因此这两个变量的样本较小。
(二)学生整体满意度和教师评分或学生预期得分的相关:
以班级为单位,学生的预期成绩和教师实际的评分大体还算一致(相关系数0.63)。
教师对全班学生的平均评分确实和学生的满意度有正相关(.465)--班级平均评分较高者,学生的满意度也倾向较高。
不过学生自己预期的成绩和满意度的关联比实际教师的评分和满意度的关联更高(.710)。
表示学生对教师的满意,相当程度上建立在可以得到不错的成绩。
教师对学生评分的标准差(代表评分的变异程度)却和学生的满意度有负相关(-.352)--教师越用各种方式来考评学生(学生的成绩差异较大),学生的满意度则倾向较低。
下列分布图可以很清楚的看出预期成绩和满意度的相关走势:
若用学生的预期成绩来对课堂整体满意度作线性回归预测,我们可以用下列方程式来预估:
平均课堂整体满意度=1.283+0.862X平均预期成绩
如果多数学生预期成绩偏低,平均成绩在及格边缘(例如平均2.0,也就是60~69分),那么可预期的满意度大约在3.0上下。
用这个方程式来估计,发现几乎所有的课程都在合理的误差范围之内,在全部237门课程中(92年度课程没有这项资料),只有2门课的误差较大(用SPSS的残差诊断,也就是上图中最低的两个数据点,偏离回归线较远)。
学生对这两门课的预期成绩还不算太差,因此回归线预估的学生满意度大约都是3.66左右,实际满意度分别只有2.33和2.43,显现较大的估计误差。
(三)学生各课堂反应题项和整体满意、教师评分或学生预期得分的相关:
和其他分析一致,学生对其他各种问项的反应和整体满意度也都有相当高的正相关。
各项反应和预期成绩的相关也相当高,和实际评分的相关则略低,和得分标准差则有负相关。
(四)教师对学生的考评成绩和学生自评用功程度的关联:
(请特别注意这是以班级为单位的分析,而不是以个人为分析单位)
学生的预期成绩大抵上还算符合教师实际的评分情况(相关系数为0.63,表示学生的现实感不算太差,他们已经大概知道老师的评分标准)。
各科目的预期成绩和用功程度(出席或课外花费的时间)虽然也有正相关,但其间关联不高(相关系数0.31~0.38),教师的实际评分和用功程度关联更低,代表不同科目教师对学生的要求可能颇有差异。
如果以用功为投资,以成绩为报酬,学生在不同广博科目的「投资报酬率」并没有一致的预期。
(五)学生自评的用功程度和各个课堂反应问卷题项间的关联:
大体上学生在该科目比较用功(包括出席较佳或课外花较多时间)的话,在各个题项上的反应也倾向于比较正面,不过相关程度并不高(相关系数大约在0.2到0.3之间,表示例外情况不少)。
(六)科目别(广博科目类别,共六类)和各种变量间的关联:
各种变量中,科目别仅对下列4个变量达到.01显著水平,其平均数及相关描述统计如下。
由于文理学院的性别比例颇有差异,因此不同科目别的性别比例有显著差异是必然的,但性别比例在课堂反应上并没有任何显著意义。
因此下列科目别的主要差异在于教师的评分方式,人文艺术类以及经典选读类的平均成绩稍高、变异稍小,不过这些差异都不算太大。
至于学生的课堂反应则并没有因为科目别的差异而有不同。
总之,科目别的差异极为有限,同一种科目间的差异可能大于不同科目间的差异。
注:
所谓科目别是指广伯科目的分类,其中
1=人与文化、思维方法;2=文学与艺术;3=自然与环境;
4=社会与发展;5=经典选读;6=通识讲座
(七)年度别或学期别和各个反应问卷题项间的关联:
在各种变量上,学年度都没有任何显著差异,但有趣的是学期间的差异却相当显著:
大多数和满意度有关的题项都达到.01显著水平,而且都是第二学期略优于第一学期,学生用功程度、教师按时上下课、是否上足时数或评分等变量上的差异则都没有达到.01显著水平(见下表)。
目前还不知道这个结果应如何解释?
二、因素分析:
从学生反应分析课堂反应问卷的意义结构
从因素分析的结果看来,课堂反应问卷对学生而言,只有两种主要成分:
一个是学生对老师的整体满意或喜欢(包括老师对学生意见所表现的重视程度与沟通能力、评分方式等;学生并不那么仔细分辨这些内涵的不同意义),以及学生对课堂的参与程度。
这两种成分之间有某种程度的相关,但并不算高(低于0.30)。
以下呈现的是分析过程及主要数据。
(一)因素分析一
首先我们用下列题项进行因素分析,并用直交转轴法简化其结构(所谓直交转轴是让抽取出来的因素保持互相独立,也就是两个因素所解释的部分不互相重叠)。
发现因素结构相当简单,两个因素大约可以解释所有变异量的75%。
其中第一个因素大约解释所有变异量的60%,第二个因素大约解释所有变异量的15%。
(二)因素分析二
从分析一可以看出老师是否准时上下课或者上足授课时数在整个因素结构中意义较不明确,如果将这两个题项剔除,九可以得到更清楚的因素结构如下,两个因素可以解释更多变异量(约79%)。
其中第一个因素大约解释所有变异量的62%,第二个因素大约解释所有变异量的17%。
其意义结构也变得更加清楚,我们试着将两个因素分别命名为:
因素一:
教师易于沟通(学生觉得老师重视学生、善于表达)
因素二:
学生的课堂参与度(自评;和主动学习程度或努力程度并不相同:
成分矩阵中,每周所花时间的多寡和这两个因素都没有什么关系,系数小于0.30)
(三)因素分析三
前述因素分析均采用直交转轴法,假设课堂反应问卷的相关结构是由若干互相独立的意义或因素来决定。
如果因素间并不互相独立,则可能又有不同的面貌会出现。
以下是用斜交转轴法来试图简化因素结构,总变异量被解释的比例不变,允许两个因素间有微弱相关(.274),得到如下因素结构。
很明显的第一因素的意义变成了整体满意度,第二因素的意义则改变不大:
因素一:
教师表现令人满意
因素二:
学生的课堂参与度(自评;和主动学习程度或努力程度并不相同)
经斜交转轴后的因素结构
(四)主要因素和教师评分的关联:
factorscore1:
学生的满意度,这个变量是SPSS计算机程序依据上述
因素分析(三)所估算的因素分数值。
factorscore2:
学生的课堂参与,估算过程同上。
得分平均数:
教师对全班评分的平均数(以分数级距及人次估算)
得分标准差:
教师对全班评分的离散程度(以分数级距及人次估算)
参、附录
附录一、学生课堂反应问卷统计分析计划书
(1)分析构想
目的:
了解学生对于课堂反应问卷题项之回答所代表的真正意义(这是利用学生反应作任何教育行政决策之前必须先厘清的问题)
作法(分析细目):
(暂时针对广博科目作分析)
1.分析教师对学生的考评成绩(包括平均成绩及成绩的分布特性)和各个课堂反应问卷题项间的关联
2.分析教师对学生的考评成绩和学生自评的用功程度(到课率、复习
时间等)的关联
3.分析学生自评的用功程度和各个课堂反应问卷题项间的关联
4.分析学生自评的用功程度和教师对学生的考评成绩的关联
5.分析学生自估的成绩和实际上教师对学生的考评成绩的关联
6.分析答题人数(或答题者与修课人数之相对比例)和各个反应问卷
题项间的关联
7.分析科目别(广博科目类别)和各个反应问卷题项间的关联
8分析必修、选修和各个反应问卷题项间的关联
9.其他变量和各个反应问卷题项间的关联(任何怀疑可能影响学生
反应之变量,如排课时间是否在特早或特晚、答卷者性别比例、
考试次数等)
以上1~3分析均会考虑答卷者比例、必选修、少数极端反应是否剔除等因素作对照比较,必要时考虑发展回归预测模型,以了解不同反应题项主要受到哪些哪些因素的影响。
(目前已经考虑到的因素包括成绩、答题比例、学生用功程度、必修或选修)但要发展此一预测模型,首先要评断上述因素1~3和课堂反应之间的关系是否稳定[例如成绩和课堂反应间的关联是否会因为答卷者比例高或低、科目性质的不同等因素而有明显的差异],才能决定究竟要发展几种预测模型,或者也可能因为需分别处理的变量太多而使得目前资料尚不足以发展这些模型。
(2)保护个别课程资料隐私之作法:
本分析的目的只在统计学生反应之趋势或关联性,无意也不会显现任何个别课程的资料,分析及发表过程都不会呈现任何可以辨认个别科目的信息。
处理步骤如下:
重新编码:
先制作科目编码与科目名称表,将各个科目重新编码(用8位数编码,第1码代表学年尾数,第2码代表学期数,第3码代表校区别,第4码代表科目别,最后4码代表新编之课程代号)。
此一新编码仅课务组长知其对照关系(课务组长负保密之责),重新编码后,分析者或该资料的其他使用者皆无法得知。
(3)资料合并:
与各科目的班级成绩统计资料合并(科目编码也先经过重新编码,以新的科目编码为合并依据)。
需要的成绩统计资料包括:
班级平均分数、标准差、中数、偏态系数、峰态系数。
(4)档案管理:
(针对91~93年度资料)
(1)分别整理不同学期的资料,每学期存为一个汇整档案(合并课堂反应问卷以及班级成绩统计,数据档案内所应包含的变量内容及名称表请见下一页表列),档名要能辨认学年和学期。
(2)将资料交给分析小组的主责老师作必要的后续合并及转换。
(此时该资料已经不包括原始科目编码,而是新编码,因此分析者不会知道科目代号分别代表哪一个实际课程)。
附录二、数据档名称及变量结构说明(数据档名称:
evaluate.sav)
这份报告的数据由本校电算中心提供,课程代号已经事先经过改码(参见附录中的「分析计划」)。
原始资料档名为Q0186,使用SPSS统计软件进行分析时,先尽量将原始变量名称改为与问卷题号或意义一致,原始变量与新变量代号对照,并依据若干变量进行转换或新增(变量转换程序参见附录三)。
数据内容及编码
变量
原始变量
新变量代号
说明/备注
科目编号
ID
重新编码后之科目代号,这个变量将用来合并成绩资料
修课人数
V1
Register
答卷人数
V2
Anstotal
男生答卷人数
V3
Ansmale
女生答卷人数
V4
Ansfem
学年度
Year
这三个变量是从科目编号衍生出来,转换程序见evaluate.sps。
其中科目别1=人与文化、思维方法;2=文学与艺术;3=自然与环境;4=社会与发展;5=经典选读;6=通识讲座
学期
Semester
科目别
Course
课堂反应题项1
V501~505
I011~I015
每个题项包含五个变量,依序代表回答1到5之人次;这13个题目的1代表非常不同意,5代表非常同意
题项内容:
1.教师按时上下课
2.教师能引发学生学习兴趣
3.教师鼓励学生表达意见
4.教师乐于回答学生问题
5.教师重视学生的反应,并做适当调整
6.授课内容符合授课计划
7.教材内容难易适中
8.授课内容有组织、有连贯
9.教师表达方式易于学生学习
10.教师确实上足授课时数
11.考核方式公平合理
12.考评方式能反映学习成效
13.笔试时监考确实
(本题仅92年度为有效资料)
课堂反应题项2
V601~605
I021~I025
课堂反应题项3
V701~705
I031~I035
课堂反应题项4
V801~805
I041~I045
课堂反应题项5
V901
I051~I055
课堂反应题项6
V101~105
I061~I065
课堂反应题项7
V111~115
I071~I075
课堂反应题项8
V121~125
I081~I085
课堂反应题项9
V131~135
I091~I095
课堂反应题项10
V141~145
I101~I105
课堂反应题项11
V151~155
I112~I115
课堂反应题项12
V161~165
I121~I125
课堂反应题项13
V171~175
I131~I135
数据内容及编码(续)
变量
原始变量
变量代号
说明/备注
课堂反应题项18
V171~175
Satis01~Satis05
19.我对本科目之整体满意度
本题仅93年度以后才有资料,从原始问卷V17衍生得来,之后将93、94年度之I131~I135数据定义为missingdata。
课堂反应题项14
V181~185
I141~I145
五个变量依序代表回答1到5之人次;
14.我在本科的缺课情形:
(1)缺课16小时以上
(2)缺课10-15小时(3)缺课5-9小时(4)缺课1-4小时(5)从未缺课
15.我平均每星期花费在本科目的时间:
(1)0小时
(2)1小时以下(3)1-3小时(4)3-5小时(5)5小时以上
16.我对本科目授课内容的理解程度:
(1)40%以下
(2)40%-59%(3)60%-75%(4)76%-89%(5)90%-100%
17.以我对本科目投入的程度,我预期学期成绩将为:
(1)60分以下
(2)60-69分(3)70-79分(4)80-89分(5)90-100分
(以上题号是以92年度问卷为准,
93及94年度的这四题题号并不一致)
课堂反应题项15
V191~195
I151~I155
课堂反应题项16
V201~205
I161~I165
课堂反应题项17
V211~215
I171~I175
各反应题项的
班级平均数
I01mean~
I17mean
衍生变量,每一题平均数都由五种原始人次数计算得来
班级整体满意度
Satmean
衍生变量,由Satis01~Satis05五个原始人次数计算得来
答卷比例
Ansrate
衍生变量,
Ansrate=Anstotal/Register
答卷性别比
(男生:
女生)
sexratio
衍生变量,
Sexratio=Ansmale/Ansfem
班级平均成绩
Gradmean
衍生变量,从原始变量V31计算而来
(目前只计算了平均数与标准差)
班级成绩的标准差
GradSD
班级成绩的中数
班级成绩的偏态系数
班级成绩的峰态系数
附录三、变量转换程序(SPSS程序档名称:
evaluate.sps)
这份报告的数据由本校电算中心提供,课程代号已经事先经过改码。
原始资料档名为Q0186,使用SPSS统计软件进行分析时,先将原始变量名称改为与题号一致(对照表见附录二),再对若干变量进行转换或新增如下:
「学年度别(Year)」和「学期别(Semester)」的产生:
computeyear=94.
computesemester=1.
if(idlt30000000)year=92.
if(idlt40000000andidgt30000000)year=93.
if(idlt30000000andidgt22000000)semester=2.
if(idlt40000000andidgt32000000)semester=2.
if(idgt42000000)semester=2.
「科目别(Course)」的产生:
computecourse=1.
if