回归分析方法总结全面.docx

回归分析方法总结全面.docx

《回归分析方法总结全面.docx》由会员分享，可在线阅读，更多相关《回归分析方法总结全面.docx（9页珍藏版）》请在冰豆网上搜索。

回归分析方法总结全面

一、什么是回归分析回归分析（RegressionAnalysis）是研究变量之间作用尖系的一种统计分析方法'其基本组成是一个（或一组）自变量与一个（或一组）因变量。

回归分析研究的目的是通过收集到的样本数据用一泄的统计方法探讨自变量对因变量的影响尖系，即原因对结果的影响程度。

回归分析是指对具有高度相尖尖系的现象，根据其相尖的形态，建立一个适当的数学模型（函数式），来近似地反映变疑之间尖系的统计分析方法。

利用这种方法建立的数学模型称为回归方程，它实际上是相尖现象之间不确定、不规则的数量尖系的一般化。

二、回归分析的种类

1•按涉及自变量的多少，可分为一元回归分析和多元回归分析一元回归分析是对一个因变量和一个自变量建立回归方程。

多元回归分析是对一个因变量和两个或两个以上的自变量建立回归方程。

2.按回归方程的表现形式不同，可分为线性回归分析和非线性回归分析

若变量之间是线性相尖尖系，可通过建立直线方程来反映，这种分析叫线性回归分析。

若变量之间是非线性相尖尖系，可通过建立非线性回归方程来反映，这种分析叫菲线性回归分析。

三、回归分析的主要内容

1.建立相尖矢系的数学表达式。

依据现象之间的相尖形态，建立适当的数学模型，通过数学模型来反映现象之间的相尖尖系，从数量上近似地反映变量之间变动的一般规律。

2.依据回归方程进行回归预测。

由于回归方程反映了变量之间的一般性尖系，因此当自变量发生变化时，可依据回归方程估计出因变量可能发生相应变化的数值。

因变虽:

的回归估计值，虽然不是一个必然的对应值（他可能和系统貞•值存在比较大的差距）5但至少可以从一般性角度或平均意义角度反映因变量可能发生的数量变化。

3JI•算估计标准误差。

通过估计标准误差这一指标，可以分析回归估计值与实际值之间的差

异程度以及估讣值的准确性和代表性，还可利用估il标准渓差对因变量估计值进行在一定把握程度条件下的区间估计。

四、一元线性回归分析

1.一元线性回归分析的特点

1）两个变疑不是对等尖系，必须明确自变量和因变量。

2）如果x和y两个变呈:

无明显因果尖系，则存在着两个回归方程：

一个是以x为自变疑，y为因变疑建立的回归方程；另一个是以y为自变量，x为因变量建立的回归方程。

若绘出图形，则是两条斜率不同的回归直线。

3）宜线回归方程中，回归系数b可以是正值，也可以是负值。

若0b＞，表示直线上升，说明两个变量同方向变动；若0b＜，表示直线下降，说明两个变量是反方向变动。

2.建立一元线性回归方程的条件

任何一种数学模型的运用都是有前提条件的，配合一元线性回归方程应具备以下两个条件：

D两个变量之间必须存在髙度相尖的尖系。

两个变疑之间只有存在着髙度相尖的尖系，回归方程才有实际意义。

2）两个变量之间确实呈现直线相尖尖系。

两个变疑之间只有存在直线相尖尖系，才能配合直线回归方程。

3.建立一元线性回归方程的方法

一元线性回归方程是用于分析两个变量（一个因变量和一个自变量）线性尖系的数学表达式，一般形式为：

yc=a+bx式中：

x代表自变量；

yc代表因变量y的估计值（又称理论值）：

ab为回归方程参数。

其中，3是直线在y轴上的截距‘它表示当自变量x等于0时，因变量所达到的数值；b是直线的斜率，在回归方程中亦称为回归系数，它表示当自变量x每变动一个单位时，因变量y平均变动的数值。

一元线性回归方程应根据最小二乘法原理建立，因为只有用最小二乘法原理建立的回归方程才可以同时满足两个条件：

D因变量的实际值与回归估计值的离差之和为零:

2）因变量的实际值与回归估计值的离差平方和为最小值。

只有满足这两个条件，建立的直线方程的误差才能最小，苴代表性才能最强。

现在令要建立的一元线性回归方程的标准形式为yc二3+bx,依据最小二乘法原理，因变量实际值y与估计值*的离差平方和为最小值，即Q=L（y-yc）2取得最小值。

为使Q=L（y-yc）2=最小值

根据微积分中求极值的原理，需分别对1b求偏导数，并令苴为0,经过整理，可得到如下方程组：

Ly=an+b£x

Lxy=aLx+bSx2

解此方程组，可求得比b两个参数

4・计算估计标准误差

回归方程只反映变量x和y之间大致的、平均的变化尖系。

因此，对每一个给过的x值，回归方程的估计值*与因变量的实际观察值y之间总会有一定的离差，即估计标准误差。

估汁标准误差是因变量实际观察值y与估计值*离差平方和的平均数的平方根，它反映因变量实际值y与回归直线上各相应理论值yc之间离散程度的统汁分析指标。

估计标准误差：

式中：

Sy——估计标准误差；y——因变量实际观察值；yc——因变量估计值：

n-2——自由度

如何描述两个变量之间线性相尖尖系的强弱？

利用相尖系数「来衡量

x（一v-A-）（v-ri

/-I

Yr-l

当「＞0时，表示X与y为正相尖；当「＜0时，表示X与y为负相尖。

5.残差分析与残差图：

残差是指观测值与

预测值（拟合值）之间的差，即是实际观察值与回归估计值的差

在研究两个变量间的尖系时，

a）要根据散点图来粗略判断它们是否线性相尖；

b）判断是否可以用回归模型来拟合数据；

0可以通过残差来判断模型拟合的效果，判断原始数搦中是否存在可疑数据，这方面的分析工作就

称为残差分析。

6.残差图的制作及作用。

坐标纵轴为残差变量，横轴可以有不同的选择：

若模型选择的正确，残差图中的点应该分布在以横轴为心的带状区域，带状区域的宽度越窄精度越高。

对于远离横轴的点，要特别注意。

15

10000-

5000-

2000（）

•5000-

J0.0（K）.

-15.000-

7・几点注解:

第一个样本点和第6个样本点的残差比较大，需要确认在采集过程中是否有人为的错误。

如果数据采集有错误，就应该予以纠正，然后再重新利用线性回归模型拟合数据：

如果数据采集没有错误，则需要寻找其他的原因。

列外，残差点比较均匀地落在水平的带状区域中，说明选用的模型计较合适，这样的带状区域的宽度越窄，说明模型拟合精度越高，回归方程的预报精度越高。

还可以用判左系数0来刻画回归的效果，该指标测度了回归直线对观测数据的拟合程度，其汁算公式是：

SSTSST7/、2

其中：

SSR-回归平方和：

SSE■残差平方和；

Sst二ssr+sse总离差平方和。

由公式知，R（相尖指数）的值越大，说明残差平方和越小•也就是说模型拟合效果越好。

在含有一个解释变量的线性模型中「三恰好等于相尖系数「的平方，即R2=r2在线性回归模型中，R2表示解释变量对预报变量变化的贡献率。

R2越接近1，表示回归的效果越好（因为R2越接近1，表示解释变量和预报变量的线性相尖性越强）。

如果某组数据可能采取几种不同回归方程进行回归分析，则可以通过比较R2的值来做出选择，即选取R2较大的模型作为这组数据的模型。

总的来说：

相尖指数R2是度量模型拟合效果的一种指标。

在线性模型中，它代表自变量刻画预报变量的能力。

五、多元线性回归分析

在一元线性回归分析中，因变量y只受某一个因素的影响，即只由一个自变量X来估计。

但对于复杂的自然界中的问题，影响因素往往很多，在这种情况下，因变量y要用多个自变量同时进行估讣。

例如，某种产品的总成本不仅受原材料价格的影响，而且也与产品产量、管理水平等因素有尖；农作物产量的髙低受品种、气候、施肥量等多个因素的影响。

描述因变量与两个或两个以上自变量之间的数量尖系的回归分析方法称为多元线性回归分析。

它是一元线性回归分析的推广，苴分析过程相对复杂一些，但基本原理与一元线性回归分析类似。

多元线性回归方程的一般表达式为：

儿二+力內+b?

X2++bnXn

为便于分析，当自变量较多时可选用两个主要的自变虽：

X］和X2。

其线性回归方程标准式为：

yc二”方內+也

其中：

宜为二元回归估计值：

a为常数项；X和b2分别为y对Xi和X2的回归系数，比表示当自变疑X2为一泄时，由于自变量xi变化一个单位而使y平均变动的数值，b2表示当自变量xi为一泄时，由于自变量X2变化一个单位而使y平均变动的数值，因此，5和b2称为偏回归系数。

要建立二元回归方程，尖键问题是求岀参数15和b2的值，求解方法仍用最小二乘法，

即分别对a,bi和b2求偏导数，并令函数的一阶导数等于零，可得如下方程组:

川7+〃工X[+/h£x»

丨边〉1+勺工xl+20內二工2

也+妬工沁+2工X；二£7

（二）

在回归分析中，通常称自变量为回归因子，一般用“，吃，・・•，兀表示5而称因变量为指标，一般用

为』2,…，儿表示。

预测公式：

吩也，疋，…心），称之为回归方程。

回归

模型，按照各种原则可以分为各种模型：

1.当曰时，称为一元（单因子）回归；当n22时，称为多元（多因子）回归。

2.当f为线性函数时，称为线性回归：

当f为非线性函数时，称为非线性（曲线）回归。

最小二乘准则：

假设待左的拟合函数为y=另据m个数据点，相当于求解以下规划问题：

min工悅一/（七）「

2=1

即使得总离差平方和最小。

具体在线性拟合的过程中，假设拟合函数为y二0+bx,a与b为待泄系数，

已知有m个数据点，分别为（兀，必），，=1,2,-・•，加，应用最小二乘法，就是要使：

达到最小值。

把S看成自变量为a和b的连续函数，则根据连续函数达到及致电的必要条

-S=

因此，当S取得最小值时，有:

可得方程组为:

mmpit

追X厂

/=|

称这个方程组为正规方程组，解这个二元一次方程组，得到:

用工£・（工沂

Mfi

b—心uim心I

miM

LU》•寸一（》兀fur-lMl

如果把已有数据描绘成散点图，而且从散点图中可以看出，各个数据点大致分布在一条直线附近，不妨设他们满足线性方程：

+加+*其中，x为自变量，y为因变量，3与b为待泄系数；£成为误差项或者扰动项。

这里要对数据点做线性回归分析，从而a和b就是待立的回归系数，£为随机误差。

不妨设得到的线性拟合曲线为：

y二a^bx这就是要分析的线性回归方程。

一般情况下'得到这个方程以后，主要是描绘出

回归曲线，并且观测拟合效果和计算一些误差分析指标，例如最大点误差、总方差和标准差等。

这里最缺乏的就是一个统一的评价系统，以下说明从概率角度确立的尖于线性回归的一套评价系统。

在实际的线性回归分析中，除了估计岀线性回归系数a和b,还要计算y和x的相尖程度，即相尖性检验。

相尖性检验主要通过计算相尖系数来分析，相尖系数的讣算公式为：

U工兀必

S工（兀）'汀-（工X）'

其中n为数据点的个数，（兀，必）为原始数据点，「的值能够很好地反映出线性相尖程度的高低，一般来说，存在以下一些标准：

1.当「-1或者「时，表示y与x髙度线性相矢，于是由原始数据描绘出的散点图中所有数据点都分布在一条直线的附近，分别称为正相尖和负相尖：

2.当「-0时，表示y与x不相尖，由原始数据描绘出的散点图的数据点一般呈无规律的特点四散分布；

3.当」

4.如果「一1，则y与x线性相尖程度越高：

反之'如果「-0，则y与x线性相尖程度越低。

实际计算「值的过程中，长列表计算‘即:

序号

X:

2y:

1

X』

2

X2

妙2

•••

999

•••

•••

■■

n

心儿

求和

n

&J1

n

/•I

Zw/-I

n

M

>1

在实际问题中，一般要保证回归方程有最低程度的线性相尖。

因为许多实际问题中，两个变量之间并非线性的相尖尖系，或者说线性相尖程度不髙，此时硬给他建立线性回归方程，显然没有太大意义，也没有什么实用价值。

拿

一般来说，把这个最低限度的值记为临界值尸，称之为相尖性检验标准。

因此，如果计算出「的值，并

且满足广n几则符合相尖性要求，线性回归方程作用显著。

反之，如果/

，则线性回归方程作用不显著，就尽量不要采用线性回归方程。

临界值的数值表如下：

自由度

显著性力

K平

自由度

显著性力

评

自由度

显著性力

评

n-2

0.05

0.01

in-2

0.05

0.01

n-2

0.05

0.01

5

0.754

0.874

15

0.482

0.606

25

0.381

0.487

6

0.707

0.834

16

0.468

0.590

30

0.349

0.449

7

0.666

0.798

17

0.456

0.575

35

0325

0.418

8

0.632

0.765

18

0.444

0.561

40

0.304

0.393

9

0.602

0.735

19

0.433

0.549

45

0.288

0.372

10

0.576

0.708

20

0.423

0.537

50

0.273

0.354

11

0.553

0.684

21

0.413

0.526

100

0.195

0.254

12

0.532

0.661

22

0.404

0.515

200

0.138

0.181

13

0.514

0.64!

23

0.396

0.505

300

0.113

0.148

14

0.497

0.632

24

0.388

0.496

1000

0.062

0.081

其中，自由度可以由原始数据点的个数减去相应的回归方程的变量个数，例如线性回归方程中有两个变量，而数据点的个数为n个，则自由度为n-2.自由度一般记为f，但不要与一般的函数发生混淆。

显著性水平一般取为0.01,0.02,0.05等，利用它可以计算y与x之间相尖尖系的可信程度或者称为置信水平，计算公式为:

（1-0.05）x100%=95%（这里取显箸性水平为a=0.05）现在介绍置信区间的问题'由于实际误差的存

在，由线性拟合得到的il•算值跟实际值之间必然存在一左的差距，英差值就是计算误差。

假设原始数据点为（兀，只），计算得到的数据点为（耳，）’；），再给泄夕：

附近的一个区间：

则实际值y可能落在这个区间内，也可能落在这个区间外。

如果所有的这些区间

（以）’；为中心，长度为2"）包含实际值的个数占总数的比例达到95%或者以上，则称这些区间的程信水平不少于95%

根据以上的分析，可以知道置信区间的概念，如果确定了置信水平为95%,从而可以找到相应的最小

的At值，使得95%以上的实际值落在区间｛“；・$』：

+$〕｝内，则〔》；・$』；+$〕称为预测值X满足置信水平95%的巻信区间。

一般情况下，如果不做特別说明，宜信区间的相应置信水平默认为95%,置信区间反映了回归方程的适用范用和精确度，特别的，当所有离散数据分布在回归曲线的附件，大致呈现为正态分布时，置信区间为：

［y；-2S』：

+2S］其中$为该回归模型的标准差，计算公式为：

或者为：

那么，如果回归方程为y二a+bx,则有两条控制直线分别为丿上+加+2S和

下二a+bx-2S,他们代表了置信区间的上限和下限'如下图所示：

那么，可以预料实际的数据点几乎全部（至少95%）落在上图两条虚线所夹的区域内。

这里对回归方程的应用做一个总结：

1•估讣、预测指标值。

对于因子x的一个给泄值xo，代入回归预测方程即可求出相应的指标值）

'；=°+加也称咗为指标y°的点估计，相应预测误差为*=%-J;但是，真实指标yo的值一般无法确知，预测精度只能根据回归误差来做估计。

在回归预测中，预测的精度可以用均方差和标准差的比值来估计；

2.估计指标值范围。

估汁指标值的范围，就是求给立xo,相应于某个给泄的宜信水平的置信区间。

具体的求法，要应用到t分布；

3.控制因子取值。

在某些实际问题中，特别当因子值可以人为的控制、调解时，也可以根拯所要达到的指标值，反过来推出因子的取值，这就是因子值的控制。