第六章spss相关分析和回归分析.docx
《第六章spss相关分析和回归分析.docx》由会员分享，可在线阅读，更多相关《第六章spss相关分析和回归分析.docx（20页珍藏版）》请在冰豆网上搜索。
第六章spss相关分析和回归分析
第六章SPSS相关分析和回归分析
第六章
SPSS相关分析与回归分析
6.1相关分析和回归分析概述
客观事物之间的关系大致可归纳为两大类，即
函数关系:
指两事物之间的一种一一对应的关系，如商品的销售额和销售量之间的
关系。
相关关系（统计关系）：
指两事物之间的一种非一一对应的关系，例如家庭收入和
支出、子女身高和父母身高之间的关系等。
相关关系乂分为线性相关和非线性相关。
相关分析和回归分析都是分析客观事物之间相关关系的数量分析方法。
6.2相关分析
相关分析通过图形和数值两种方式，有效地揭示事物之间相关关系的强弱程度
和形式。
6.2.1散点图
它将数据以点的的形式画在直角坐标系上，通过观察散点图能够直观的发现变量间的相关关系及他们的强弱程度和方向。
6.2.2相关系数
利用相关系数进行变量间线性关系的分析通常需要完成以下两个步骤：
第一，计算样本相关系数r;
+1之间，相关系数r的取值在-1
R>0表示两变量存在正的线性相关关系;r〈0表示两变量存在负的线性相关关
系
R,1表示两变量存在完全正相关;r,-1表示两变量存在完全负相关;r,0表
示两变量不相关
|r|>0.8表示两变量有较强的线性关系；r<0.3表示两变量之间的线性关系较
弱
第二，对样本来自的两总体是否存在显著的线性关系进行推断。
对不同类型的变量应采用不同的相关系数来度量，常用的相关系数主要有
Pearson简单
，相关系数、Spearman等级相关系数和Kendall相关系数等。
6.2.2.1Pearson简单相关系数（适用于两个变量都是数值型的数据）
（,）（,）yy,ixxi
r22（,）,（,）yy,,ixxi
Pearson简单相关系数的检验统计量为：
rn,2
2t,
6.2.2.2Spearman等级相关系数
Spearman等级相关系数用来度量定序变量间的线性相关关系，设计思想与
Pearson简1,r
（,）xyii单相关系数相同，只是数据为非定距的，故计算时并不直接采用原始数据，而是利
（,）xy（,）UViiii用数据的秩，用两变量的秩代替代入Pearson简单相关系数计算公式中，于是
xyii其中的和的取值范禺被限制在1和n之间，且可被简化为:
2nn6D,i22,,,,,其中rDUV1（）,,iii,,2,nn（l）iill
nn22DUV,,（）,,iii,,llii,如果两变量的正相关性较强，它们秩的变化具有同步性，于是的值较小，
r趋向于1；
nn22DUV,,（）,,iii,,Uii,如果两变量的正相关性较弱,它们秩的变化不具有
同步性，于是的值较
大，r趋向于0;
在小样本下，在零假设成立时，Spearman等级相关系数服从Spearman分布;在大
样本下，Spearman等级相关系数的检验统计量为Z统计•量，定义为：
Zrn,,1
Z统计量近似服从标准正态分布。
6.2.3计算相关系数的基本操作
相关分析用于描述两个变量间关系的密切程度，其特点是变量不分主次，被置于同等的地位。
在Analyze的下拉菜单Correlate命令项中有三个相关分析功能子命令
Bivariate过
程、Partial程、Distances程，分别对应着相关分析、偏相关分析和相似性测度
（距离）的三个SPSS过程。
Bivariateid程用于进行两个或多个变量间的相关分析，如为多个变量，给出两两相关
的分析结果。
Partial过程，当进行相关分析的两个变量的取值都受到其他变量的影响时，就可以利
用偏相关分析对其他变量进行控制，输出控制其他变量影响后的偏相关系
数。
，Distances程用于对各样本点之间或各个变量之间进行相似性分析，一般不单独使
用，而作为聚类分析和因子分析等的预分析。
Bivariate相关分析步骤
（1）选择菜单Analyze,Correlate,Bivariate,出现窗口：
（2）把参加计算相关系数的变量选到Variables框。
（3）在CorrelationCoefficents框中选择il•算哪种相关系数。
（4）在TestofSignificance框中选择输出相关系数检验的双边（Two-Tailed）概率p值或单边（One-Tailed）概率p值。
（5）选中Flagsignificancecorrelation选项表示分析结果中除显示统汁检验的概率P值外，还输岀星号标记，以标明变量间的相关性是否显著;不选中则不输出星号标记。
（6）在Option按钮中的Statistics选项中，选中Cross-productdeviationsandcovariances表示输出两变量的离差平方和协方差。
6.2.4相关分析应用举例
为研究高等院校人文社会科学研究中立项课题数会受哪些因素的影响，收集
1999年31个省市自治区部分高校有关社科研究方面的数据，研究立项课题数（当年）与投入的具有高级职称的人年数（当年）、发表的论文数（上年）之间是否具有较强的线性关系。
对该问题的研究可以采用相关分析的方法，首先可绘制矩阵散点图;其次可以计算Pearson简单相关系数。
6.3线性回归分析
6.3.1线性回归分析概述
线性回归分析的内容
能否找到一个线性组合来说明一组自变量和因变量的关系
如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量
的能力有多强
整体解释能力是否具有统计上的显著性意义
在整体解释能力显著的情况下，哪些自变量有显著意义
回归分析的一般步骤
，确定回归方程中的解释变量（自变量）和被解释变量（因变量）
确定回归方程
对回归方程进行各种检验
利用回归方程进行预测
6.3.2线性回归模型
一元线性回归模型的数学模型：
,01其中x为自变量;y为因变量;为截距，即常量;为回归系数，表明自变量
对因变量的影响程度。
（x,x）（y,y）,ii
用最小二乘法求解方程中的两个参数，得到：
12（x,x）,i
,y,bxO
多元线性回归模型
多元线性回归方程：
y,,,,x,,x,?
,x01122kk
Bl、B2、Bk为偏回归系数。
Bl表示在其他自变量保持不变的悄况下，自变量xl变动一个单位所引起的因变
量y的平均变动。
6.3.3线性回归方程的统讣检验
6.3.3.1回归方程的拟合优度
回归直线与各观测点的接近程度称为回归方程的拟合优度，也就是样本观测值聚集在回归线周围的紧密程度。
1、离差平方和的分解：
2（y,y）,建立直线回归方程可知:
y的观测值的总变动可由来反映，称为总变差。
引起总变差的原因有两个：
，由于x的取值不同，使得与x有线性关系的y值不同；
随机因素的影响。
Ay（y,y）0
（y,y）0"（y,y）
y,a,bx
x
总离差平方和可分解为
:
：
222,,,,,,y,y,y,y,y,y,,,
即:
总离差平方和（SST）二剩余离差平方和（SST）+回归离差平方和（SSR）
其中;SSR是由x和y的直线回归关系引起的,可以由回归直线做出解释;SSE是除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解释的。
，
2、可决系数（判定系数、决定系数），，，，2SSRSSTSSESSE回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量X与Y的R1关系密切程度以及回归直线的代表性好坏，称为可决系数。
对于一元线性回归方程：
SSTSSTSST
22,,,,:
:
yyyy,,,2
,,,SSER122,,,,R,1,,,2,,yyyy对于多元线性回归方程：
SST
SSE/n,p,1
R,1,2
SST/n,1
在多元线性回归分析中，引起判定系数增加的原因有两个:
一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。
如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高。
所以在多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度。
6.3.3.2回归方程的显著性检验（方差分析F检验）
回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。
对于一元线性回归方程，检验统计量为：
2,"（y,y）/lSSR/l
F,广F（1,n,2）2,ASSE/（n,2）（y,y）/（n,2）
对于多元线性回归方程，检验统计量为：
2"（y,y）/p,SSR/pF,,、F（p,n,p,1）2"SSE/（n,p,1）（y,y）/（n,p,1）,6.3.3.3回归系数的显著性检验（t检验）
回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。
t,〜t（n,2）
1
，对于一元线性回归方程，检验统计量为：
（x,x）
2
1
A（y,y）
2,,S,,iit,（n,p,1）其中，，i
n,2yi,对于多元线性回归方程，检验统计量为：
（X,X）
•••
1J1
=y,y）
2,S,,ii其中，，
n,p,ly6.3.3.4残差分析
残差是指山回归方程计算得到的预测值与实际样本值之间的差距，定义为：
"e,y,y,y,（,,,x,,x,…，,x）iiii01122pp
对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差疗;列中应不包含明显的规律性。
残差分析包括以下内容:
残差服从正态分布，其平均值等于0;残差取值与X的取值无关;残差不存在自相关;残差方差相等。
1、对于残差均值和方差齐性检验可以利用残差图进行分析。
如果残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。
如果残差的方差随着解释变量值（或被
n解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。
22、DW检验。
DW检验用来检验残差的自相关。
检验统计量为：
DW二2表示无自相关，在0-2之间说明存在正自相关，在2-4之间说明存在负的自相关。
tt,lee,—般情况下，DW值在1.5-2.5之间即可说明无自相关现象。
t,2（,）
nDW2
,2（1,,）te,t,26.3.3.5多重共线性分析
多重共线性是指解释变量之间存在线性相关关系的现象。
测度多重共线性一般有以下方式：
1、容忍度：
Tol,l,Rii
2Ri其中，是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。
容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。
2、方差膨胀因子VIF。
方差膨胀因子是容忍度的倒数。
VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。
3、特征根和方差比。
根据解释变量的相关系数矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。
如果某个特征根既能够刻画某解释变量方差的较大部分比例（0.7以上），乂能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。
4、条件指数。
指最大特征根与第i个特征根比的平方根。
通常，当条件指数在0-10之间时说明多重共线性较弱；当条件指数在10-100之间说明多重共线性较强;当条件指数大于100时说明存在严重的多重共线性。
，m
ik,
1
6.3.3线性回归分析的基本操作
（1）选择菜单Analyze,Regression,Linear,出现窗口：
（2）选择被解释变量进入Dependent框。
（3）选择一个或多个解释变量进入Independent（s）框。
（4）在Method框中选择回归分析中解释变量的筛选策略。
其中Enter表示所选变量强行进入回归方程，是SPSS默认的策略，通常用在一元线性回归分析
中;Remove表示从回归方程中剔除所选变量;Stepwise表示逐步筛选策略;Backward表示向后筛选策略;Forward表示向前筛选策略。
注：
多元回归分析中，变量的筛选一般有向前筛选、向后筛选、逐步筛选三种基本策略。
向前筛选（Forward）策略:
解释变量不断进入回归方程的过程。
首先，选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程的各种检验；然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种检验;这个过程一直重复，直到再也没有可进入方程的变量为止。
向后筛选（Backward）策略:
变量不断剔除出回归方程的过程。
首先，所有变量全部引入回归方程，并对回归方程进行各种检验;然后，在回归系数显著性检验不显著的一个或多个变量中，剔除t检验值最小的变量，并重新建立回归方程和进行各种检验;如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建立结束。
否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。
逐步筛选（Stepwise）策略:
在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。
因此，逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。
（5）笫三和笫四步中确定的解释变量及变量筛选策略可放置在不同的块（Block）中。
通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击\ext和Previous按钮设置多组解释变量和变量筛选策略并放置在不同的块中。
（6）选择一个变量作为条件变量放到SelectionVariable框中，并单击Rule按钮给定一个判断条件。
只有变量值满足判定条件的样本才参与线性回归分析。
（7）在CaseLabels框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的输出图形中。
6.3.4线性回归分析的其他操作
1、Statistics按钮，出现的窗口可供用户选择更多的输出统计量。
（1）Estimates：
SPSS默认输出项，输出与回归系数相关的统计量。
包括回归系数（偏回归系数）、回归系数标准误差、标准化回归系数、回归系数显著性检验的t统讣量和概率P值，各解释变量的容忍度。
（2）ConfidenceIntervals：
输出每个非标准化回归系数95,的置信区间。
（3）Descriptive：
输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及单侧检验概率P值。
幻灯片44
（4）Modelfit:
SPSS默认输出项，输出判定系数、调整的判定系数、回归方程的标准误差、回归方程显著F检验的方程分析表。
（5）Rsquaredchange:
输出每个解释变量进入方程后引起的判定系数的变化量和F值的变化量。
（6）Partandpartialcorrelation：
输出方程中各解释变量与被解释变量之间的简单相关、偏相关系数。
幻灯片45
（7）Covariancematrix：
输出方程中各解释变量间的相关系数、协方差以及各
回归系数的方差。
（8）CollinearityDiagnostics：
多重共线性分析，输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。
（9）在Residual框中:
Durbin-waston表示输出DW检验值:
CasewiseDiagnostic表示输出标准化残差绝对值大于等于3（SPSS默认值）的样本数据的相关信息，包括预测值、残差、杠杆值等。
2、Options选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准以及缺失值的处理方式。
3、Plot选项，出现的窗口用于对残差序列的分析。
（1）窗口左边框中各变量名的含义是:
DEPENDNT表示被解释变量，水ZPRED表示标准化预测值，*ZRESID表示标准化残差，和RESID表示剔除残差，*ADJPRED表示调整的预测值，*SRESID表示学生化残差，拓DRESID表示剔除学生化残差。
（2）绘制多对变量的散点图，可根据需要在scatter框中定义散点图的纵坐标
和横坐标变量。
（3）在StandardizedResidualPlots框中选择Histogram选项绘制标准化残差丿了列的直方图;选择Normalprobabilityplot绘制标准化残差丿了:
列的正态分布累讣概率图。
选择Produceallpartialplots选项表示依次绘制被解释变量和各个解释变量的散点图。
4、Save选项，该窗口将回归分析的某些结果以SPSS变量的形式保存到数据编辑窗口中，并可同时生成XML格式的文件，便于分析结果的网络发布。
（1）PredictedValues框中：
保存非标准化预测值、标准化预测值、调整的预测值和预测值的均值标准误差。
（2）Distance框中：
保存均值或个体预测值95,（默认）置信区间的下限值和上限值。
（3）Residual框中：
保存非标准化残差、标准化残差等。
nfluenceStatistics框中：
保存剔除第i个样本后统计量的变化量。
（4）I
3、WSL选项，采用加权最小二乘法替代普通最小二乘法佔计回归参数，并指定一个变量作为权重变量。
6.3.5应用举例
以高校科研研究数据为例，建立回归方程研究
1、课题总数受论文数的影响
2、以课题总数为被解释变量，解释变量为投入人年数（X2）、受投入高级职称的人年数（X3）、投入科研事业费（X4）、专著数（X6）、论文数（X7）、获奖数（X8）。
（1）解释变量采用强制进入策略（Enter）,并做多重共线性检测。
（2）解释变量采用向后筛选策略让SPSS自动完成解释变量的选择。
（3）解释变量采用逐步筛选策略让SPSS自动完成解释变量的选择。
练习
1、为研究收入和支出的关系，收集1978-2002年我国的年人均可支配收入和年人均消费性支出数据，研究收入与支出之间是否具有较强的线性关系。
2、以年人均支出和教育数据为例，建立回归方程研究年人均消费支出、恩格尔系数、在外就餐、教育支出、住房人均使用面积受年人均可支配收入的影响。
6.4曲线估计
6.4.1曲线估计概述
变量间的相关关系中，并不总是表现出线性关系，非线性关系也是极为常见的。
变量之间的非线性关系可以划分为本质线性关系和本质非线性关系。
本质线性关系是指变量关系形式上虽然呈非线性关系，但可通过变量变换为线性关系，并最终可通过线性回归分析建立线性模型。
本质非线性关系是指变量关系不仅形式上呈非线性关系，而且也无法变换为线性关系。
本节的曲线估计是解决本质线性关系问题的。
常见的本质线性模型有：
2yxx,,,,,,1、二次曲线（Quadratic）,方程为，变量变换012
2yxxxx,,,,,,,（）后的方程为
01211x
y,,,012、复合曲线（Compound）,方程为
ln（）ln（）ln（）yx,,,,01,变量变换后的方程为
,,xOlye,3、增长曲线（Growth）,方程为
ln（）yx,,,,01,变量变换后的方程为
yx,,,,ln（）014、对数曲线（Logarithmic）,方程为
yx,,,,011,变量变换后的线性方程为
23yxxx,,,,,,,,5、三次曲线（Cubic）,方程为0123
yxxx,,,,,,,,012132,变量变换后的方程为
,,/xOlye,6、S曲线（S）,方程为，
ln（）yx,,,,011变量变换后的方程为
X
lye,,07、指数曲线（Exponential）,方程为
ln（）ln（）yx,,,,01,变量变换后的线性方程为
yx,,,,/018、逆函数（Inverse）,方程为
yx,,,,011变量变换后的方程为
lyx,,（）09、幕函数（Power）,方程为
ln（）ln（）ln（）yx,,,,01变量变换后的方程为
ly,x,,,0110、逻辑函数（Logistic）,方程为
111/,,,,,011n（）ln（ln（））x变量变换后的线性方程为，ySPSS曲线估计
中，首先，在不能明确究竟哪种模型更接近样本数据时，可在多种可选择的模型中选择儿种模型;然后SPSS自动完成模型的参数估讣，并输出回归方程显著性检验的F值和概率p值、判定系数R2等统计量;最后，以判定系数为主要依据选择其中的最优模型，并进行预测分析等。
另外，SPSS曲线估计还可以以时间为解释变量实现时间序列的简单回归分析和趋势外推分析。
6.4.2曲线估计的基本操作
可通过绘制并观察样本数据的散点图粗略确定被解释变量和解释变量之间的相关关系，为曲线拟合中的模型选择提供依据。
SPSS曲线佔计的基本操作步骤是：
（1）选择菜单Analyze,Regression,CurveEstimation^出现窗口如下页所示。
（2）把被解释变量选到Dependent框中。
3）曲线估讣中的解释变量可以是相关因素变量也可是时间变量。
如果解释变量为相关因（
素变量，则选择Variable选项，并把一个解释变量指定到Independent框；如果选择Time参数则表示解释变量为时间变量。
（4）在Models中选择儿种模型。
（5）选择PlotModels选项绘制回归线;选择DisplayANOVAtable输出各个模型的方差分析表和各回归系数显著性检验结果。
至此，完成了曲线估计的操作，SPSS将根据选择的模型自动进行曲线佔计，并将结果显示到输出窗口中。
6.4.3应用举例
1、教育支出的相关因素分析
为研究居民家庭教育支出和消费性支出之间的关系，收集到1978年至2002年全国人均消费性支出和教育支出的数据。
首先绘制教育支出和消费性支出的散点图。
观察散点图发现两变量之间呈非线性关系，可尝试选择二次、三次曲线、复合函数和幕函数模型，利用曲线估计进行本质线性模型分析。
其中，教育支出为被解释变量，消费性支出为解释变量。
2、分析和预测居民在外就餐的费用
利用收集到1978年至2002年居民在外就餐消费的数据，对居民未来在外就餐的趋势进行分析和预测。
首先绘制就餐费用的序列图，选择菜单Graphs,Sequenceo得到的序列图表明自80年代以来居民在外就餐费用呈非线性增加，90年代中期以来增长速度明显加快，大致呈指数形式，可利用曲线估计进行分析。
由于要进行预测，因此在曲线估计主窗口中要单击Save按钮，出现如下窗口：
SaveVariables框中:
Predictedvalues表示保存预测值;Residual表示保存残差:
Prediction
interval表示保存预测值默认95,置信区间的上限和下限值。
升级会员 