高等学校绩效评价报告Word文档下载推荐.docx
《高等学校绩效评价报告Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《高等学校绩效评价报告Word文档下载推荐.docx(17页珍藏版)》请在冰豆网上搜索。
为此,本研究选择的评价方法有典型相关方法、聚类分析方法、主成分分析法,以便于设计和筛选投入、产出指标,将其降维后计算投入综合指标得分和产出综合指标得分,再运用“产出/投入”数学模型计算出高校的绩效分值。
2评价指标的确定
(1)初设指标
投入指标确立的依据是能重点反映高校办学在人力、物力、财力三方面的投入,产出指标的确立依据是能重点反映高校在人才培养、科学研究与社会服务三方面的职能。
为此,结合相关文献研究成果,经过专家讨论设立的最初投入指标14项和产出指标16项。
其中,当量在校生数=普通本、专(高职)生数+硕士生数×
1.5+博士生数×
2+留学生数×
3+预科生数+进修生数+成人脱产班学生数+夜大(业余)×
0。
3+函授生×
1。
当量学历在校留学生数=本、专留学生数+硕士留学生数×
5+博士留学生数×
2。
初设的投入指标(14个)初设的产出指标(16个)
校本部教职工总数(num)当量在校生数(stu)
博士学历教师占专任教师比例(doc_per)当量学历在校留学生数(for_stu)
副高以上比例(fg_per)百篇优秀博士学位论文数(hundreds_doc)
研究与发展全时人年数(r_d)国内学术刊物发表论文数(homepaper)
社科/科技活动人员数(s_r)国外学术刊物发表论文数(forpaper)
科研经费投入(r_input)国际学术会议提交论文数(inter_con)
教育经费投入(edu_input)出版专著数(book)
其他经费拨款投入(other_input)国家最高科学技术奖特等奖数(m_prize)
本年完成基建投资总额(bnwctz)国家三大科技奖一等奖数(f_prize)
固定资产总额(cap_assert)国家三大科技奖二等奖数(s_prize)
实验室(实习场所)面积(lab)省部级科学研究与发展成果奖数(pp_prize)
图书册数(lib_book)发明专利授权数(right)
图书馆面积(lib_area)鉴定成果数(iden_res)
教室面积(cla_room)国家级项目验收数(country_pro)
技术转让当年实际收入金额(tech_income)
专利出售当年实际收入金额(right_income)
(2)筛选与确定指标
第一轮筛选:
典型相关分析
典型相关是研究两组变量之间相关性的一种统计学分析方法.在统计分析中,针对单一变量间的相关关系可以计算简单相关系数,针对单一变量与一组变量之间的关系可以计算复相关系数或者回归,但是计算两组变量之间的相关系数要计算典型相关系数.
典型相关方法可以将多变量与多变量的相关转变为两组典型变量间的相关,典型相关分析建立的第一对典型变量的原则,是尽量使所建立的两个典型变量之间的相关系数最大化,即在两个变量组各自的总变化中寻找它们之间最大的一部分共变关系,并用一对典型变量所描述。
然后,继续在两组变量剩余的变化中寻找第二个最大的共变部分,形成第二对典型变量,并解出第二维度上的典型相关。
这样的过程不断继续,直至所有变化部分被提取完毕。
第二轮筛选:
聚类分析
聚类分析是多元统计分析中的一种定量分类方法,旨在把“性质相近”或“相似"
的变量(R型聚类针对变量)聚在一起,使每一类变量之间具有较大的相似性,更具代表性和简明性,既能保留指标信息,又能避免指标信息的重复.在进入指标的聚类分析前,先将投入指标和产出指标进行标准化处理(Z分数转换),目的是消除各指标的量纲影响,使指标之间具有可比性。
聚类分析的过程:
①基于R型聚类,分别对投入指标和产出指标进行聚类;
②基于产出指标组和投入指标组的阕值,分别确定产出指标组以及投入指标组划分的类别,每一类通过计算相关系数、变异系数等方法进行分析,确定筛掉的指标;
③基于筛选前指标对样本进行聚类,并基于筛选后指标对样本进行分类,比较前后分类结果,如果结果较为稳定,则说明所挑选指标在最具代表性的同时,保留了原有指标信息的最大化。
四、高校绩效评价的尝试
为了使高校绩效评价思想和方法不停留于描述层次,本研究对72所高校2006-2008三年的投入与产出进行了绩效评价的初步尝试,数据来源为2006年、2007年、2008年三年的《教育部直属高校基本情况统计资料汇编》。
(一)筛选评价指标
1第一轮基于典型相关分析的指标筛选:
相关性角度
在最初确定的投入指标组(14个指标)和产出指标组(16个指标)之间,采用STATA统计软件的canon命令进行处理,得出如下结果。
(1)典型相关系数及其检验
表1典型相关系数
序号
典型相关系数
Pr>
P
1
0.9719
0000**
2
8980
0.0000**
3
0.8416
0.0000**
4
0.6142
0.0000**
5
5322
0000**
6
0.4181
0004**
7
0.3728
0.0070**
8
3515
0364*
9
0.304
0.1474
由表1可知,经过χ2统计量检验,以0.05为显著性水平,前八对典型变量间的相关系数较高,因此,我们基于前八对典型变量作进一步的投入与产出变量筛选。
(2)投入与产出变量的选择
分别计算每一个投入变量和每一个产出变量与前八组典型变量之间的典型负荷,在P〈0.05的显著性水平,除鉴定成果(iden_res)这项指标外,其余的投入(产出)指标间都与某项典型投入(产出)变量之间存在显著的相关关系,这说明所选择的产出指标组和投入指标组之间存在不同程度的相关关系。
因此,经过投入—产出指标组相关性的筛选后,有15项产出指标和14项投入指标进入下一轮的筛选.
2第二轮基于聚类分析的指标筛选:
代表性的角度
在进入指标的聚类分析前,先将投入指标和产出指标进行标准化处理(计算Z分数),目的是消除各个指标的量纲影响,从而使得指标之间具有可比性。
在图1和图2中,我们呈现了基于平均距离的聚类方法的分类结果,直观地看,在2.5的闋值下,投入指标分为11类,其中{校本部教职工总数、研究与发展全时人员、社科/科技活动人员}为一类,{教育经费投入、固定资产总额}为一类,其余指标各为1类;
产出指标分为13类,其中{当量在校生数、国内学术刊物发表论文数}为一类,{国外学术刊物发表论文数、发明专利授权数}为一类,其余指标各为1类。
图1投入指标的聚类图
图2产出指标的聚类图
基于指标聚类分析结果,需要在投入指标类{校本部教职工总数、研究与发展全时人员数、社科/科技活动人员数},{教育事业经费投入、固定资产总额},以及产出指标类{当量在校生数、国内学术刊物发表论文数}、{国外学术刊物发表论文数、发明专利授权数}中分别挑出最具代表性的指标。
经过统计分析与研究,从这三类指标组中最后挑选出的指标为:
校本部教职工总数、研究与发展全时人员、当量在校生数、国外学术刊物发表论文数.其余指标落选的原因如下:
“社科/科技活动人员数"
指标的落选原因:
一是该指标与“校本部教职工总数"
的相关系数高达0。
947,与“研究与发展全时人员数”的相关系数为0.918,“校本部教职工总数"
与“研究与发展全时人员数”的相关系数为0。
832,这说明这三项指标间的信息重叠性非常大;
二是该指标与“校本部教职工总数”、“研究与发展全时人员数"
指标的原始数据变异系数依次为0。
564、0.630和0.869,从变异系数越大指标区分度越高的角度来看,“社科/科技活动人员数”的代表性较低。
“固定资产总额”指标落选原因:
高校财力成本主要表现为教育投入、科研投入以及基建投入,固定资产来自于这三方面投入的多年累积,它与教育投入、科研投入以及基建投入的相关性都比较大,其所含信息可以由其余几项指标包含。
“国内学术刊物发表论文数”指标落选原因:
①该指标与“当量在校生数”的相关性高达0.91,说明这两项指标所含信息重叠较大;
②该指标更多体现了学校产出的规模特点,而当量学生数是衡量学校规模的传统指标.
“发明专利授权数”指标落选原因:
①该指标与“国外学术刊物发表论文数”指标的相关系数高达0.87,说明“发明专利授权数”与“国外学术刊物发表论文数”两项指标的信息重叠量非常之大;
②15所财经类院校在这项指标上全为0,从可比性而言,该项指标并不理想;
③“专利出售当年实际收入"
较好地体现了学校发明专利的质量状况。
(二)验证与确定评价指标
1入选指标包含的信息量分析
为了衡量删除指标后样本信息的流失情况,我们基于原始的14项投入指标、16项产出指标,以及筛选后的12项投入指标、13项产出指标,在每一年度,分别对72所高校进行快速聚类分析(均分为3类,共进行了12次快速聚类)。
表2呈现了各个年度基于投入(产出)指标组进行聚类分析所得到的学校所属类别间的简单相关系数,从中可以看出,前后两次样本聚类信息的相关系数最低为0。
6165,最高达到0.9752,表明删除两个投入指标以及3个产出指标并未对样本聚类情况造成太大的影响,这说明筛选的指标代表性比较好,基本包含了分析对象具有代表性的特征信息,能够较好满足指标设计的特异性原则和代表性原则。
表2原始指标样本聚类信息与筛选后指标样本聚类信息间的相关系数
原始14项投入指标
2006年投入指标
2007年投入指标
2008年投入指标
筛选后12项投入指标
0.8432
——-
—-—
———
6165
—--
0.9752
原始16项产出指标
2006年产出指标
2007年产出指标
2008年产出指标
筛选后13项产出指标
8684
-—-
0.9341
---
0.8333
2入选指标对落选指标的替代性分析
用筛选前的14项投入指标对样本进行主成分分析,其中前三个主成分合计包含了7877%的信息;
用筛选后12项投入指标进行主成分分析,包含了9。
34%的信息。
将两组主成分得分进行典型相关分析,计算得到三对典型变量间的相关系数分别为0.9999(0.000)、0。
9994(0。
000)以及0.9979(0.000),其中括号外的数字为对应的相关系数,括号内的数字为该相关系数对应的显著性水平。
接下来,用筛选前的16个产出指标对样本进行主成分分析,其中前四个主成分合计包含了79.64%的信息,用筛选后的13个产出指标对样本进行主成分分析,其中前四个主成分合计包含了81。
61%的信息;
将两组主成分得分进行典型相关分析,计算得到四对典型变量间的相关系数分别为0.9994(0。
000)、0。
9959(0.000)、0.9849(0。
000)以及0.8823(0.000),其中括号外的数字为对应的相关系数,括号内的数字为该相关系数对应的显著性水平。
经过这样的筛选和验证之后,最后确立的12项投入指标和13项产出指标将放入绩效评价模型运行。
(三)测算产出和投入得分
要计算投入指标的综合得分以及产出指标的综合得分,关键在于如何确定单个投入指标和单个产出指标的权重。
权重用于衡量在综合指标中单个指标的贡献程度,研究所确定的权重合理与否,将直接影响到结论的公正性和准确性.本研究选择兼有信息量权数和系统效用权数性质的主成分分析权数.为了能尽可能保留已确立指标的信息,我们运用主成分分析法分别计算年度产出、投入指标得分.
1产出指标得分
对13项产出指标进行主成分分析,计算得到各个主成分的特征值及其方差贡献率,如表3。
表3产出主成分的特征值及其方差贡献率
主成分
原始特征值及方程贡献率
特征值
方差贡献率
累计方差贡献率
6.08832
0.468332
80214
138626
606959
1.5405
1185
0.725459
1.1795
0.090731
816189
534689
04113
0.857319
452027
034771
892091
0.357962
027536
919626
274512
021116
940743
0.257338
0.019795
960538
10
219926
016917
977455
11
129768
0.009982
0.987437
12
0.100715
007747
995185
主成分个数提取的一个原则是提取主成分对应的特征值大于1的前几个主成分。
因此,只需要用四个主成分就可以替代原先13个指标所包含的81.6%的信息.通过因子载荷矩阵,将因子负荷除以对应特征值的平方根,就可以得到每一个主成分对应的特征向量表,进而分别得到3个主成分对应的函数(函数式略).然后,将2006—2008年各学校的各项产出指标数据代入3个主成分函数中,即可计算出各年度各学校的3个主成分得分.由于方差贡献率描述了各主成分在反映各个原始指标信息量方面的能力大小,所以,将各主成分的方差贡献率作为各主成分的权重,实际上就是一种客观赋权。
因此,以各主成分的方差贡献率比重为权数,对4个主成分进行加权平均,就可得到产出指标得分。
计算公式为:
Y=(0.4683×
F1+0.1386×
F2+0。
1185×
F3+0.0907×
F4)÷
0.8162,其中,Y表示产出指标的综合得分,F1表示第一主成分得分(0.4683为第一主成分的方差贡献率),F2表示第二主成分得分(0。
1386为其对应的方差贡献率),F3为第三主成分得分(0。
1185是对应的方差贡献率),F4为第四主成分得分(0。
0907是对应的方差贡献率),0.8162是前4个主成分的累计贡献率.
将各产出指标的值代入公式即可得到各学校各年度的产出指标综合得分,基于各指标的三年算术平均值可得到三年整体产出综合得分。
2投入指标得分
对12项投入指标进行主成分分析,计算得到各个主成分的特征值及其方差贡献率,如表4。
表4投入主成分的特征值及其方差贡献率
6.71515
0.559596
50945
0.125788
0.685383
1.296104
0.108009
793392
804224
0.067019
860411
0.439151
0.036596
0.897007
288161
0.024013
92102
26585
022154
0.943174
0.22384
018653
961828
193344
016112
0.97794
0.14795
012329
0.990269
0.070119
0.005843
996112
046657
003888
基于在产出指标中提取主成分同样的准则,我们对投入指标也取前3个主成分替代原先的12个指标,可以包含全部指标的79.33%的信息.将2006-2008年各学校的各项投入指标数据代入3个主成分的函数中,计算出各年度各学校的3个主成分得分,以各主成分的方差贡献率比重为权数,对3个主成分进行加权平均,得到投入指标综合得分。
投入指标综合得分的计算公式为:
Y=(0.5595×
F1+0。
1257×
F2+0.1080×
F3)÷
7934,其中,Y表示投入指标的综合得分,F1表示第一主成分得分(0.5595为第一主成分的方差贡献率),F2表示第二主成分得分(0。
1257为其对应的方差贡献率),F3为第三主成分得分(0.1080是对应的方差贡献率),0.7934是前3个主成分的累计贡献率.
将各投入指标的值代入公式即可得到各学校各年度的投入指标综合得分,基于各指标的三年算术平均值可得到三年整体投入综合得分.
(四)测算高校绩效得分
在计算绩效得分之前,先将前面研究中得到的投入指标综合得分和产出指标综合得分进行T分数的折算,使其均为正值。
运用高校绩效得分i=mean(T_Outcome)imean(T_Input)i数学模型,测算出72所高校2006—2008年三年的绩效得分。
72所高校的三年整体投入综合得分、三年整体产出综合得分、三年绩效整体得分及排序如表5所示。
表572所高校绩效评价结果与排序
三年整体投入综合得分
三年整体产出综合得分
三年整体绩效得分
分值
排序
清华大学
1.00000
00000
北京大学
91510
77096
84248
东北大学
27192
38
0.22646
16
83281
中国人民大学
37042
27
0.30839
0.83255
电子科技大学
27267
37
21898
20
80307
复旦大学
60960
45740
0.75033
北京语言大学
04984
70
03713
62
0.74500
中南大学
0.45858
0.32172
0.70155
浙江大学
84424
58412
69189
北京科技大学
0.31148
31
0.20114
22
0.64575
华中农业大学
18181
53
0.11483
63159
山东大学
0.58040
35344
0.60896
天津大学
0.39070
25
22688
15
58069
13
中国矿业大学
32070
30
0.18584
24
57947
14
东华大学
20983
49
11967
0.57033
华东理工大学
30689
32
0.17437
26
56819
南京农业大学
20361
50
0.11395
40
55967
17
合肥工业大学
17391
58
09469
45
0.54450
18
西安交通大学
42586
0.22208
0.52149
19
华中科技大学
57567
29929
0.51989
河海大学
18333
52
0.09501
44
51828
21
武汉大学
59632
30393
50967
中国农业大学
43414
21917
504