第六章spss相关分析和回归分析.docx

1、第六章spss相关分析和回归分析第六章SPSS相关分析和回归分析第六章SPSS相关分析与回归分析6.1相关分析和回归分析概述客观事物之间的关系大致可归纳为两大类，即,函数关系:指两事物之间的一种一一对应的关系，如商品的销售额和销售量 之间的关系。,相关关系（统计关系）：指两事物之间的一种非一一对应的关系，例如家庭收 入和支出、子女身高和父母身高之间的关系等。相关关系乂分为线性相关和非线性 相关。相关分析和回归分析都是分析客观事物之间相关关系的数量分析方法。6. 2相关分析相关分析通过图形和数值两种方式，有效地揭示事物之间相关关系的强弱程度和形式。6.2. 1散点图它将数据以点的的形式画在直角坐

2、标系上，通过观察散点图能够直观的发现变 量间的相关关系及他们的强弱程度和方向。6.2.2相关系数利用相关系数进行变量间线性关系的分析通常需要完成以下两个步骤：第一，计算样本相关系数r;,+1之间，相关系数r的取值在-1,R0表示两变量存在正的线性相关关系;r0表示两变量存在负的线性相关关系,R,1表示两变量存在完全正相关;r, -1表示两变量存在完全负相关;r, 0表示两变量不相关,|r|0.8表示两变量有较强的线性关系；r 0.3表示两变量之间的线性关 系较弱第二，对样本来自的两总体是否存在显著的线性关系进行推断。对不同类型的变量应采用不同的相关系数来度量，常用的相关系数主要有Pearson

3、 简单，相关系数、Spearman等级相关系数和Kendall相关系数等。6. 2. 2. 1 Pearson简单相关系数(适用于两个变量都是数值型的数据)(,)(,)yy, ixxi,r 22(,), (,) yy, ixxiPearson简单相关系数的检验统计量为：rn, 22t,6. 2. 2. 2 Spearman等级相关系数Spearman等级相关系数用来度量定序变量间的线性相关关系，设计思想与Pearson 简 1, r(,)xyii单相关系数相同，只是数据为非定距的，故计算时并不直接采用原始 数据，而是利(,)xy(,)UViiii用数据的秩，用两变量的秩 代替代入Pearson

4、简单相关系数 计算公式中，于是xyii其中的和的取值范禺被限制在1和n之间，且可被简化为:2nn6D, i22,其中 rDUV1 (), iii, 2, nn(l)iillnn22DUV, (), iii, llii,如果两变量的正相关性较强，它们秩的变化具有同 步性，于是的值较小，r趋向于1；nn22DUV, (), iii, Uii,如果两变量的正相关性较弱,它们秩的变化不具有同步性，于是的值较大，r趋向于0;,在小样本下，在零假设成立时，Spearman等级相关系数服从Spearman分布; 在大样本下，Spearman等级相关系数的检验统计量为Z统计量，定义为：Zrn, 1Z统计量近似

5、服从标准正态分布。6. 2.3计算相关系数的基本操作相关分析用于描述两个变量间关系的密切程度，其特点是变量不分主次，被置 于同等的地位。,在Analyze的下拉菜单Correlate命令项中有三个相关分析功能子命令Bivariate 过程、Partial 程、Distances 程，分别对应着相关分析、偏相关分析和相 似性测度(距离)的三个SPSS过程。,Bivariate id程用于进行两个或多个变量间的相关分析，如为多个变量，给 出两两相关的分析结果。,Partial过程，当进行相关分析的两个变量的取值都受到其他变量的影响 时，就可以利用偏相关分析对其他变量进行控制，输出控制其他变量影响后

6、的偏相关系数。，Distances 程用于对各样本点之间或各个变量之间进行相似性分析，一 般不单独使用，而作为聚类分析和因子分析等的预分析。Bivariate相关分析步骤(1)选择菜单 Analyze, Correlate, Bivariate,出现窗口：(2)把参加计算相关系数的变量选到Variables框。(3)在Correlation Coefficents框中选择il算哪种相关系数。(4)在Test of Significance框中选择输出相关系数检验的双边(Two-Tailed) 概率p值或单边(One-Tailed)概率p值。(5)选中Flag significance corr

7、elation选项表示分析结果中除显示统汁检 验的概率P值外，还输岀星号标记，以标明变量间的相关性是否显著;不选中则不 输出星号标记。(6)在Option按钮中的Statistics选项中，选中Cross-product deviations and covariances表示输出两变量的离差平方和协方差。6. 2.4相关分析应用举例为研究高等院校人文社会科学研究中立项课题数会受哪些因素的影响，收集1999年31个省市自治区部分高校有关社科研究方面的数据，研究立项课题数（当 年）与投入的具有高级职称的人年数（当年）、发表的论文数（上年）之间是否具有较 强的线性关系。对该问题的研究可以采用相关分

8、析的方法，首先可绘制矩阵散点图;其次可以 计算Pearson简单相关系数。6.3线性回归分析6. 3.1线性回归分析概述线性回归分析的内容,能否找到一个线性组合来说明一组自变量和因变量的关系,如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测 因变量的能力有多强,整体解释能力是否具有统计上的显著性意义,在整体解释能力显著的情况下，哪些自变量有显著意义回归分析的一般步骤，确定回归方程中的解释变量（自变量）和被解释变量（因变量）,确定回归方程,对回归方程进行各种检验,利用回归方程进行预测6.3.2线性回归模型一元线性回归模型的数学模型：,01其中x为自变量;y为因变量;为截距，即常

9、量;为回归系数，表明自变量对因变量的影响程度。(x, x) (y, y), ii用最小二乘法求解方程中的两个参数，得到：,12(x, x), i,y, bxO多元线性回归模型多元线性回归方程：y, ,x, ,x, ? , ,x01122kk,Bl、B2、Bk为偏回归系数。,Bl表示在其他自变量保持不变的悄况下，自变量xl变动一个单位所引起的 因变量y的平均变动。6. 3.3线性回归方程的统讣检验6. 3. 3.1回归方程的拟合优度回归直线与各观测点的接近程度称为回归方程的拟合优度，也就是样本观测值 聚集在回归线周围的紧密程度。1、离差平方和的分解：2 (y, y),建立直线回归方程可知:y的观

10、测值的总变动可由来反映，称为总变 差。引起总变差的原因有两个：，由于x的取值不同，使得与x有线性关系的y值不同；,随机因素的影响。Ay (y,y)0(y, y) 0 (y, y)y, a, bxx总离差平方和可分解为:：222, , , , , , y, y, y, y, y, y,即:总离差平方和(SST)二剩余离差平方和(SST) +回归离差平方和(SSR)其中;SSR是由x和y的直线回归关系引起的,可以由回归直线做出解释;SSE 是除了 x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解 释的。，2、可决系数(判定系数、决定系数)，2SSRSSTSSESSE回归平方和在总

11、离差 平方和中所占的比例可以作为一个统计指标，用来衡量X与Y的R1关系密切程度 以及回归直线的代表性好坏，称为可决系数。对于一元线性回归方程：SSTSSTSST22,:yyyy, 2,SSER122, , ,R, 1, 2, , yyyy 对于多元线性回归方程：SSTSSE/n, p, 1R, 1,2SST/n, 1在多元线性回归分析中，引起判定系数增加的原因有两个:一个是方程中的解 释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。如 果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方 和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数

12、提高。所 以在多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的 拟合优度。6. 3. 3. 2回归方程的显著性检验(方差分析F检验)回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系 是否显著。对于一元线性回归方程，检验统计量为：2, (y, y)/lSSR/lF,广F (1, n, 2) 2,A SSE/ (n, 2) (y, y)/ (n, 2)对于多元线性回归方程，检验统计量为：2 (y, y) /p, SSR/pF,、F(p, n, p, 1) 2 SSE/ (n, p, 1) (y, y)/ (n, p, 1), 6. 3. 3. 3 回 归系数

13、的显著性检验(t检验)回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间 的线性关系是否显著。,t,t (n, 2)1，对于一元线性回归方程，检验统计量为：(x, x)2,1A(y, y)2,S, iit,(n, p, 1)其中，in, 2y i,对于多元线性回归方程，检验统计量为：(X, X) ,1J1=y, y)2,S,ii 其中，n, p, ly 6. 3. 3. 4 残差分析残差是指山回归方程计算得到的预测值与实际样本值之间的差距，定义为：e, y, y, y, (, , ,x, ,x,，,x) iiii01122pp对于线性回归分析来讲，如果方程能够较好的反映被解释

14、变量的特征和规律 性，那么残差疗;列中应不包含明显的规律性。残差分析包括以下内容:残差服从正 态分布，其平均值等于0;残差取值与X的取值无关;残差不存在自相关;残差方差 相等。1、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值 为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。如果残差的方 差随着解释变量值(或被n解释变量值)的增加呈有规律的变化趋势，则出现了异方差现象。22、DW检验。DW检验用来检验残差的自相关。检验统计量为：DW二2表示无自相关，在0-2之间说明存在正自相关，在2-4之间说明存在负的 自相关。tt,lee, 般情况下，DW值在1. 5-2. 5之

15、间即可说明无自相关现象。 t,2(,)nDW2,2(1,) te, t, 2 6. 3. 3. 5多重共线性分析多重共线性是指解释变量之间存在线性相关关系的现象。测度多重共线性一般 有以下方式：1、容忍度：Tol, l,Rii2Ri其中，是第i个解释变量与方程中其他解释变量间的复相关系数的平方， 表示解释变量之间的线性相关程度。容忍度的取值范围在0-1之间，越接近0表示 多重共线性越强，越接近1表示多重共线性越弱。2、 方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越大多重共线性越强，当VIF大于等于10 时，说明存在严重的多重共线性。3、 特征根和方差比。根据解释变量的相关系数矩阵求

16、得的特征根中，如果最大的特征根远远大于其 他特征根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够 刻画某解释变量方差的较大部分比例(0.7以上)，乂能刻画另一解释变量方差的较 大部分比例，则表明这两个解释变量间存在较强的线性相关关系。4、 条件指数。指最大特征根与第i个特征根比的平方根。通常，当条件指数在0-10之间时 说明多重共线性较弱；当条件指数在10-100之间说明多重共线性较强;当条件指数 大于100时说明存在严重的多重共线性。，mik,16. 3.3线性回归分析的基本操作(1)选择菜单 Analyze, Regression, Linear,出现窗口 ：(2)选择被

17、解释变量进入Dependent框。(3)选择一个或多个解释变量进入Independent (s)框。(4)在Method框中选择回归分析中解释变量的筛选策略。其中Enter表示所选 变量强行进入回归方程，是SPSS默认的策略，通常用在一元线性回归分析中;Remove表示从回归方程中剔除所选变量;Stepwise表示逐步筛选策略;Backward 表示向后筛选策略;Forward表示向前筛选策略。注：多元回归分析中，变量的筛选一般有向前筛选、向后筛选、逐步筛选三种 基本策略。向前筛选(Forward )策略:解释变量不断进入回归方程的过程。首先，选择与 被解释变量具有最高线性相关系数的变量进入方

18、程，并进行回归方程的各种检验； 然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回 归方程，并对新建立的回归方程进行各种检验;这个过程一直重复，直到再也没有 可进入方程的变量为止。向后筛选(Backward )策略:变量不断剔除出回归方程的过程。首先，所有变 量全部引入回归方程，并对回归方程进行各种检验;然后，在回归系数显著性检验 不显著的一个或多个变量中，剔除t检验值最小的变量，并重新建立回归方程和进 行各种检验;如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建 立结束。否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量 为止。逐步筛选(Ste

19、pwise )策略:在向前筛选策略的基础上结合向后筛选策略，在 每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策 略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。(5)笫三和笫四步中确定的解释变量及变量筛选策略可放置在不同的块(Block) 中。通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单 击ext和Previous按钮设置多组解释变量和变量筛选策略并放置在不同的块中。(6)选择一个变量作为条件变量放到Selection Variable框中，并单击Rule 按钮给定一个判断条件。只有变量值满足判定条件的样本才参与线性回归分析。(7)在C

20、ase Labels框中指定哪个变量作为样本数据点的标志变量，该变量的 值将标在回归分析的输出图形中。6. 3.4线性回归分析的其他操作1、Statistics按钮，出现的窗口可供用户选择更多的输出统计量。(1)Estimates：SPSS默认输出项，输出与回归系数相关的统计量。包括回归系 数(偏回归系数)、回归系数标准误差、标准化回归系数、回归系数显著性检验的t 统讣量和概率P值，各解释变量的容忍度。(2)Confidence Intervals：输出每个非标准化回归系数95,的置信区间。(3)Descriptive：输出各解释变量和被解释变量的均值、标准差、相关系数矩 阵及单侧检验概率P值

21、。幻灯片44(4)Model fit:SPSS默认输出项，输出判定系数、调整的判定系数、回归方程 的标准误差、回归方程显著F检验的方程分析表。(5)R squared change:输出每个解释变量进入方程后引起的判定系数的变化量 和F值的变化量。(6)Part and partial correlation：输出方程中各解释变量与被解释变量之间 的简单相关、偏相关系数。幻灯片45(7)Covariance matrix：输出方程中各解释变量间的相关系数、协方差以及各回归系数的方差。(8)Col linearity Diagnostics：多重共线性分析，输出各个解释变量的容忍 度、方差膨胀因

22、子、特征值、条件指标、方差比例等。(9)在 Residual 框中:Durbin-waston 表示输出 DW 检验值:Casewise Diagnostic表示输出标准化残差绝对值大于等于3 (SPSS默认值)的样本数据的相 关信息，包括预测值、残差、杠杆值等。2、 Options选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选 的标准以及缺失值的处理方式。3、 Plot选项，出现的窗口用于对残差序列的分析。(1)窗口左边框中各变量名的含义是:DEPENDNT表示被解释变量，水ZPRED表示 标准化预测值，*ZRESID表示标准化残差，和RESID表示剔除残差，*ADJPRED表示

23、 调整的预测值，*SRESID表示学生化残差，拓DRESID表示剔除学生化残差。(2)绘制多对变量的散点图，可根据需要在scatter框中定义散点图的纵坐标和横坐标变量。(3)在Standardized Residual Plots框中选择Histogram选项绘 制标准化残差丿了列的直方图;选择Normal probability plot绘制标准化残差丿了:列 的正态分布累讣概率图。选择Produce all partial plots选项表示依次绘制被解 释变量和各个解释变量的散点图。4、Save选项，该窗口将回归分析的某些结果以SPSS变量的形式保存到数据编 辑窗口中，并可同时生成XM

24、L格式的文件，便于分析结果的网络发布。(1)Predicted Values框中：保存非标准化预测值、标准化预测值、调整的预测 值和预测值的均值标准误差。(2)Distance框中：保存均值或个体预测值95,(默认)置信区间的下限值和上限 值。(3)Residual框中：保存非标准化残差、标准化残差等。nfluence Statistics框中：保存剔除第i个样本后统计量的变化量。(4) I3、WSL选项，采用加权最小二乘法替代普通最小二乘法佔计回归参数，并指定 一个变量作为权重变量。6.3.5应用举例以高校科研研究数据为例，建立回归方程研究1、 课题总数受论文数的影响2、 以课题总数为被解释

25、变量，解释变量为投入人年数(X2)、受投入高级职称 的人年数(X3)、投入科研事业费(X4)、专著数(X6)、论文数(X7)、获奖数(X8)。(1)解释变量采用强制进入策略(Enter),并做多重共线性检测。(2)解释变量采用向后筛选策略让SPSS自动完成解释变量的选择。(3)解释变量采用逐步筛选策略让SPSS自动完成解释变量的选择。练习1、 为研究收入和支出的关系，收集1978-2002年我国的年人均可支配收入和 年人均消费性支出数据，研究收入与支出之间是否具有较强的线性关系。2、 以年人均支出和教育数据为例，建立回归方程研究年人均消费支出、恩格 尔系数、在外就餐、教育支出、住房人均使用面积

26、受年人均可支配收入的影响。6.4曲线估计6. 4.1曲线估计概述变量间的相关关系中，并不总是表现出线性关系，非线性关系也是极为常见 的。变量之间的非线性关系可以划分为本质线性关系和本质非线性关系。本质线性 关系是指变量关系形式上虽然呈非线性关系，但可通过变量变换为线性关系，并最 终可通过线性回归分析建立线性模型。本质非线性关系是指变量关系不仅形式上呈 非线性关系，而且也无法变换为线性关系。本节的曲线估计是解决本质线性关系问 题的。常见的本质线性模型有：2yxx, , , ,1、二次曲线(Quadratic),方程为，变量变换0122yxxxx, ,()后的方程为01211 xy, ,012、复

27、合曲线(Compound),方程为ln()ln()ln()yx, ,01,变量变换后的方程为,xOlye, 3、增长曲线(Growth),方程为ln()yx, ,01,变量变换后的方程为yx, , , ln()014、对数曲线(Logarithmic),方程为yx, ,011 ,变量变换后的线性方程为23yxxx, , , , ,5、三次曲线(Cubic),方程为 0123yxxx, , ,012132,变量变换后的方程为,/xOlye, 6、S 曲线(S),方程为，ln()yx, , ,011变量变换后的方程为X,lye, ,07、指数曲线(Exponential),方程为ln()ln()y

28、x, ,01,变量变换后的线性方程为yx, , ,/018、逆函数(Inverse),方程为yx, , ,011变量变换后的方程为,lyx, ,()09、幕函数(Power),方程为ln()ln()ln()yx, , ,01变量变换后的方程为ly, x, ,0110、逻辑函数(Logistic),方程为,111/, ,011n()ln(ln()x变量变换后的线性方程为，y SPSS曲线估计中，首先，在不能明确究竟哪种模型更接近样本数据时，可在多种可选择的模型中 选择儿种模型;然后SPSS自动完成模型的参数估讣，并输出回归方程显著性检验的 F值和概率p值、判定系数R2等统计量;最后，以判定系数为

29、主要依据选择其中的 最优模型，并进行预测分析等。另外，SPSS曲线估计还可以以时间为解释变量实 现时间序列的简单回归分析和趋势外推分析。6. 4.2曲线估计的基本操作可通过绘制并观察样本数据的散点图粗略确定被解释变量和解释变量之间的相 关关系，为曲线拟合中的模型选择提供依据。SPSS曲线佔计的基本操作步骤是： (1)选择菜单 Analyze, Regression, Curve Estimation 出现窗口如下页所示。(2)把被解释变量选到Dependent框中。3)曲线估讣中的解释变量可以是相关因素变量也可是时间变量。如果解释变量 为相关因(素变量，则选择Variable选项，并把一个解释

30、变量指定到Independent框；如 果选择Time参数则表示解释变量为时间变量。(4)在Models中选择儿种模型。(5)选择Plot Models选项绘制回归线;选择Display ANOVA table输出各个模 型的方差分析表和各回归系数显著性检验结果。至此，完成了曲线估计的操作，SPSS将根据选择的模型自动进行曲线佔计，并 将结果显示到输出窗口中。6. 4.3应用举例1、 教育支出的相关因素分析为研究居民家庭教育支出和消费性支出之间的关系，收集到1978年至2002年 全国人均消费性支出和教育支出的数据。首先绘制教育支出和消费性支出的散点图。观察散点图发现两变量之间呈非线 性关系，

31、可尝试选择二次、三次曲线、复合函数和幕函数模型，利用曲线估计进行 本质线性模型分析。其中，教育支出为被解释变量，消费性支出为解释变量。2、 分析和预测居民在外就餐的费用利用收集到1978年至2002年居民在外就餐消费的数据，对居民未来在外就餐 的趋势进行分析和预测。首先绘制就餐费用的序列图，选择菜单Graphs, Sequenceo得到的序列图表明 自80年代以来居民在外就餐费用呈非线性增加，90年代中期以来增长速度明显加 快，大致呈指数形式，可利用曲线估计进行分析。由于要进行预测，因此在曲线估 计主窗口中要单击Save按钮，出现如下窗口：,Save Variables 框中:Predicted values 表示保存预测值;Residual 表示保 存残差:Predictioninterval表示保存预测值默认95,置信区间的上限和下限值。