相关与回归分析.docx

相关与回归分析.docx

《相关与回归分析.docx》由会员分享，可在线阅读，更多相关《相关与回归分析.docx（15页珍藏版）》请在冰豆网上搜索。

相关与回归分析

相关与回归分析

Ⅰ.学习目的和要求

本章所要学习的相关与回归分析是经济统计分析中最常重要的统计方法之一。

具体要求：

1.掌握有关相关与回归分析的基本概念；2.掌握单相关系数的计算与检验的方法，理解标准的一元线性回归模型，能够对模型进行估计和检验并利用模型进行预测；3.理解标准的多元线性回归模型，掌握估计、检验的基本方法和预测的基本公式，理解复相关系数和偏相关系数及其与单相关系数的区别；4.了解常用的非线性函数的特点，掌握常用的非线性函数线性变换与估计方法，理解相关指数的意义；5.能够应用Excel软件进行相关与回归分析。

Ⅱ.课程内容要点

第一节相关与回归分析的基本概念

一、函数关系与相关关系

当一个或几个变量取一定的值时，另一个变量有确定值与之相对应，这种关系称为确定性的函数关系。

当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但仍按某种规律在一定的范围内变化。

这种关系，称为具有不确定性的相关关系。

变量之间的函数关系和相关关系，在一定条件下是可以互相转化的。

二、相关关系的种类

　按相关的程度可分为完全相关、不完全相关和不相关。

按相关的方向可分为正相关和负相关。

按相关的形式可分为线性相关和非线性相关。

按所研究的变量多少可分为单相关、复相关和偏相关。

三、相关分析与回归分析

　相关分析是用一个指标来表明现象间相互依存关系的密切程度。

回归分析是根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。

通过相关与回归分析虽然可以从数量上反映现象之间的联系形式及其密切程度，但是无法准确地判断现象内在联系的有无，也无法单独以此来确定何种现象为因，何种现象为果。

只有以实质性科学理论为指导，并结合实际经验进行分析研究，才能正确判断事物的内在联系和因果关系。

四、相关图

相关图又称散点图。

它是以直角坐标系的横轴代表变量X，纵轴代表变量Y,将两个变量间相对应的变量值用坐标点的形式描绘出来，用来反映两变量之间相关关系的图形。

第二节简单线性相关与回归分析

一、相关系数及其检验

（一）相关系数的定义

总体相关系数的定义式是：

γ＝　

样本相关系数的定义公式是：

样本相关系数是总体相关系数的一致估计量。

（二）相关系数的特点

1.ｒ的取值介于－１与１之间。

2.当ｒ＝０时，Ｘ与Ｙ的样本观测值之间没有线性关系。

　3.在大多数情况下，０＜｜ｒ｜＜１，即Ｘ与Ｙ的样本观测值之间存在着一定的线性关系，当ｒ＞０时，Ｘ与Ｙ为正相关，当ｒ＜０时，Ｘ与Ｙ为负相关。

　4.如果｜ｒ｜＝１，则表明Ｘ与Ｙ完全线性相关，当ｒ＝１时，称为完全正相关，而ｒ＝－１时，称为完全负相关。

5.ｒ是对变量之间线性相关关系的度量。

ｒ＝０只是表明两个变量之间不存在线性关系，它并不意味着Ｘ与Ｙ之间不存在其他类型的关系。

（三）相关系数的计算公式：

（四）相关系数的检验

对总体相关系数是否等于０进行检验：

首先，计算相关系数ｒ的ｔ值：

ｔ＝　

　其次，根据给定的显著性水平和自由度（ｎ－２），查找ｔ分布表中相应的临界值ｔα/2。

若｜ｔ｜≥ｔα/2，表明ｒ在统计上是显著的。

若｜ｔ｜≤ｔα/2，表明ｒ在统计上是不显著的。

二、标准的一元线性回归模型

（一）总体回归函数

　　Ｙt＝β1＋β2Ｘt＋ut　

式中的β1和β2是未知的参数，又叫回归系数。

Ｙt和Ｘt分别是Ｙ和Ｘ的第ｔ个观测值。

ut是随机误差项。

（二）样本回归函数

（ｔ＝１，２，...ｎ）（7.9）

式中ｅt称为残差，在概念上，ｅt与总体误差项ut相互对应；ｎ是样本的容量。

样本回归函数与总体回归函数之间的区别。

1.总体回归线是未知的，它只有一条。

而样本回归线则是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。

2.总体回归函数中的β1和β2是未知的参数，表现为常数。

而样本回归函数中的和是随机变量。

3.总体回归函数中的ut是Ｙt与未知的总体回归线之间的纵向距离，它是不可直接观测的。

而样本回归函数中的ｅt是Ｙt与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，可以计算出ｅt的具体数值。

（三）误差项的标准假定

假定１：

误差项的期望值为０，即Ｅ（ut）＝０；　　　　　　　　

假定２：

误差项的方差为常数，即Var（ut）＝Ｅ（）＝

假定３：

误差项之间不存在序列相关关系，其协方差为零，即当ｔ≠ｓ时有：

Cov（utus）＝Ｅ（utus）＝０

假定４：

自变量是给定的变量，与随机误差项线性无关。

假定５：

随机误差项服从正态分布。

满足以上标准假定的一元线性模型，称为标准的一元线性回归模型。

三、一元线性回归模型的估计

（一）回归系数的点估计

最小二乘法是通过使残差平方和为最小来估计回归系数的一种方法。

利用最小二乘法可得正规方程组：

求解这一方程组可得：

（二）总体方差的估计

　　σ2的无偏估计S2＝

式中，分子是残差平方和；分母是自由度，其中ｎ是样本观测值的个数，２是一元线性回归方程中回归系数的个数。

Ｓ2的正平方根又叫做回归估计的标准误差。

一般采用以下公式计算残差平方和：

（三）最小二乘估计量的性质

高斯.马尔可夫定理：

回归系数的最小二乘估计量是最优线性无偏估计量和一致估计量。

这一定理表明，在标准的假定条件下，最小二乘估计量是一种最佳的估计方式。

但是这并不意味着根据这一方式计算的每一个具体的估计值都比根据其他方式计算的具体估计值更接近真值，而只是表明如果反复多次进行估计值计算或是扩大样本的容量进行估计值计算，按最佳估计方式计算的估计值接近真值的可能性（概率）最大。

（四）回归系数的区间估计

回归系数区间估计的公式：

±ｔα／2（n-2）×（j=1,2）

式中，是回归系数估计的样本标准误差，ｔα／2（n-2）是显著水平为α，自由度为（n-2）的ｔ分布双侧临界值。

＝S

＝

三、一元线性回归模型的检验

（一）回归模型检验的种类

理论意义检验主要涉及参数估计值的符号和取值区间，如果它们与实质性科学的理论以及人们的实践经验不相符，就说明模型不能很好地解释现实的现象。

一级检验是对所有现象进行回归分析时都必须通过的检验。

二级检验又称经济计量学检验，它是对标准线性回归模型的假定条件能否得到满足进行检验。

（二）拟合程度的评价

拟合程度是指样本观测值聚集在样本回归方程周围的紧密程度。

判断回归模型拟合程度优劣最常用的数量尺度是样本决定系数。

ｒ2＝=1-

　　决定系数ｒ2具有如下特性：

1．ｒ2具有非负性。

2．决定系数的取值范围为０≤ｒ2≤１。

3．决定系数是样本观测值的函数，它也是一个统计量。

4．在一元线性回归模型中，决定系数是单相关系数的平方。

（三）显著性检验

回归系数的显著性检验，就是根据样本估计的结果对总体回归系数的有关假设进行检验。

回归系数显著性检验的基本步骤：

1.t检验

（1）提出假设。

Ｈo：

β2＝，Ｈ1：

β2≠

在许多回归分析的计算机程序里，常常令＝0。

这是因为β2是否为０，可以表明Ｘ对Ｙ是否有显著的影响。

（2）确定显著水平α。

显著水平的大小应根据犯哪一类错误可能带来损失的大小确定。

（3）计算回归系数的ｔ值。

＝

（4）确定临界值。

ｔ检验的临界值是由显著水平和自由度ｄｆ决定的。

这时应该注意，原假设和备择假设设定的方式不同，据以判断的接受域和拒绝域也不相同。

（5）做出判断。

如果的绝对值大于临界值的绝对值，就拒绝原假设，接受备择假设；反之，如果的绝对值小于临界值的绝对值，表明没有充分理由拒绝原假设。

2.p检验

前三步与t检验相同，但t值计算出来之后，并不与t分布的临界值进行对比，而是直接计算自由度为n-2的t统计量大于或小于根据样本观测值计算的的概率即p值。

然后将其与给定的显著水平对比，如果p小于α，则拒绝原假设，反之则接受原假设。

利用Excel进行回归分析时，计算机将直接给出回归系数估计的p值。

四、一元线性回归模型预测

（一）回归预测的基本公式

　　＝＋Ｘf　　　　　

式中，Ｘf是给定的Ｘ的具体数值；是Ｘf给定时Ｙ的预测值；和是已估计出的样本回归系数。

回归预测是一种有条件的预测，在进行回归预测时，必须先给出Ｘf的具体数值。

当给出的Ｘf属于样本内的数值时，利用该式去计算称为内插检验或事后预测。

而当给出的Ｘf在样本之外时，利用该式去计算称为外推预测或事前预测。

（二）预测误差

在实际的回归模型预测中，发生预测误差的原因可以概括为以下四个：

　1.模型本身中的误差因素所造成的误差；2.由于回归系数的估计值同其真值不一致所造成的误差；3.由于自变量Ｘ的设定值同其实际值的偏离所造成的误差。

4.由于未来时期总体回归系数发生变化所造成的误差。

　　Ｅ（ｅf）＝０

Ｖar（ｅf）＝σ2

（三）区间预测

Ｙf的（１－α）的置信区间为：

Ｙf±ｔα／2（n-2）×Ｓｅf

式中，Sｅf＝Ｓ,ｔα／2（n-2）是置信度为（１－α）、自由度为（ｎ－２）的ｔ分布的临界值。

第三节多元线性相关与回归分析

一、标准的多元线性回归模型

研究在线性相关条件下，两个和两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析.

多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型相类似。

　　多元线性回归模型总体回归函数的一般形式：

多元线性回归模型的样本回归函数：

;（t＝1,2,…,n）

式中，et是Yt与其估计之间的离差，即残差。

多元线性回归分析的标准假定除了包括上一节中已经提出的的假定外，还要追加一条假定：

回归模型所包含的自变量之间不能具有较强的线性关系，同时样本容量必须大于所要估计的回归系数的个数即n＞k。

二、多元线性回归模型的估计

（一）回归系数的估计

多元线性回归模型中回归系数的估计同样采用最小二乘法。

　　总体回归函数的矩阵形式：

Y＝XB＋U

样本回归函数矩阵形式：

Y＝X＋e

回归系数最小二乘估计的矩阵形式：

＝（X'X）－1X'Y

（二）总体方差的估计

　　Ｓ2＝

（三）最小二乘估计量的性质

　在标准的多元线性回归模型中，高斯.马尔可夫定理同样成立。

三、多元线性回归模型的检验和预测

（一）拟合程度的评价

在多元回归分析中常用的评价指标是修正自由度的决定系数。

＝１－＝１－（１－Ｒ2）

　　修正自由度的决定系数具有以下特点：

1.≤Ｒ2；

2.小于１，但未必都大于０。

在拟合极差的场合，有可能取负值。

（二）显著性检验

　　1．回归系数的显著性检验

　　多元模型中回归系数的检验同样采用ｔ检验，其原理和基本步骤与一元回归模型中的ｔ检验基本相同。

回归系数显著性检验ｔ统计量的一般公式：

ｔ＝　j=1,2,…,k

式中，是回归系数的估计值，Ｓ是的标准差的估计值。

Ｓ＝

式中，是（X'X）-1的第ｊ个对角线元素，Ｓ2是误差项方差的估计值。

　　2．回归方程的显著性检验

（1）假设总体回归方程不显著，即有

　　Ｈ0：

β2＝β3＝……＝βk＝０

（2）进行方差分析，列出回归方差分析表

回归模型方差分析表

离差名称

平　方　和

自由度

方　差

回归平方和

SSR=

k-1

SSR/（k-1）

残差平方和

SSE=

n-k

SSE/（n-k）

总离差平方和

SST=