回归分析方法总结全面.docx

1、回归分析方法总结全面一、什么就是回归分析回归分析(Regression Analysis)就是研究变量之间作用关系的一种统计分析方法,其基本组成就是一个(或一组)自变量与一个(或一组)因变量。回归分析研究的目的就是通过收集到的样本数据用一定的统计方法探讨自变量对因变量的影响关系,即原因对结果的影响程度。回归分析就是指对具有高度相关关系的现象,根据其相关的形态,建立一个适当的数学模型(函数式),来近似地反映变量之间关系的统计分析方法。利用这种方法建立的数学模型称为回归方程,它实际上就是相关现象之间不确定、不规则的数量关系的一般化。二、回归分析的种类1、按涉及自变量的多少,可分为一元回归分析与多元

2、回归分析一元回归分析就是对一个因变量与一个自变量建立回归方程。多元回归分析就是对一个因变量与两个或两个以上的自变量建立回归方程。2、按回归方程的表现形式不同,可分为线性回归分析与非线性回归分析若变量之间就是线性相关关系,可通过建立直线方程来反映,这种分析叫线性回归分析。若变量之间就是非线性相关关系,可通过建立非线性回归方程来反映,这种分析叫非线性回归分析。三、回归分析的主要内容1、建立相关关系的数学表达式。依据现象之间的相关形态,建立适当的数学模型,通过数学模型来反映现象之间的相关关系,从数量上近似地反映变量之间变动的一般规律。2、依据回归方程进行回归预测。由于回归方程反映了变量之间的一般性关

3、系,因此当自变量发生变化时,可依据回归方程估计出因变量可能发生相应变化的数值。因变量的回归估计值,虽然不就是一个必然的对应值(她可能与系统真值存在比较大的差距),但至少可以从一般性角度或平均意义角度反映因变量可能发生的数量变化。3、计算估计标准误差。通过估计标准误差这一指标,可以分析回归估计值与实际值之间的差异程度以及估计值的准确性与代表性,还可利用估计标准误差对因变量估计值进行在一定把握程度条件下的区间估计。四、一元线性回归分析1、一元线性回归分析的特点 1)两个变量不就是对等关系,必须明确自变量与因变量。 2)如果x与 y两个变量无明显因果关系,则存在着两个回归方程:一个就是以x为自变量,

4、y为因变量建立的回归方程;另一个就是以y为自变量,x为因变量建立的回归方程。若绘出图形,则就是两条斜率不同的回归直线。3)直线回归方程中,回归系数b可以就是正值,也可以就是负值。若 0 b ,表示直线上升,说明两个变量同方向变动;若 0 b 0时,表示x与y为正相关; 当r0时,表示x与y为负相关。5、残差分析与残差图: 残差就是指观测值与预测值(拟合值)之间的差,即就是实际观察值与回归估计值的差在研究两个变量间的关系时,a) 要根据散点图来粗略判断它们就是否线性相关; b) 判断就是否可以用回归模型来拟合数据; c) 可以通过残差来判断模型拟合的效果,判断原始数据中就是否存在可疑数据,这方面

5、的分析工作就称为残差分析。6、残差图的制作及作用。坐标纵轴为残差变量,横轴可以有不同的选择;若模型选择的正确,残差图中的点应该分布在以横轴为心的带状区域,带状区域的宽度越窄精度越高。对于远离横轴的点,要特别注意。7、几点注解: 第一个样本点与第 6 个样本点的残差比较大, 需要确认在采集过程中就是否有人为的错误。如果数据采集有错误,就应该予以纠正,然后再重新利用线性回归模型拟合数据;如果数据采集没有错误,则需要寻找其她的原因。另外,残差点比较均匀地落在水平的带状区域中,说明选用的模型计较合适,这样的带状区域的宽度越窄,说明模型拟合精度越高,回归方程的预报精度越高。还可以用判定系数r2来刻画回归

6、的效果,该指标测度了回归直线对观测数据的拟合程度,其计算公式就是:其中:SSR -回归平方与; SSE -残差平方与; Sst=ssr+sse总离差平方与。由公式知,R(相关指数)的值越大,说明残差平方与越小,也就就是说模型拟合效果越好。在含有一个解释变量的线性模型中r2恰好等于相关系数r的平方,即R2=r2在线性回归模型中,R2表示解释变量对预报变量变化的贡献率。R2越接近1,表示回归的效果越好(因为R2越接近1,表示解释变量与预报变量的线性相关性越强)。如果某组数据可能采取几种不同回归方程进行回归分析,则可以通过比较R2的值来做出选择,即选取R2较大的模型作为这组数据的模型。总的来说:相关

7、指数R2就是度量模型拟合效果的一种指标。在线性模型中,它代表自变量刻画预报变量的能力。五、多元线性回归分析在一元线性回归分析中,因变量y只受某一个因素的影响,即只由一个自变量x来估计。但对于复杂的自然界中的问题,影响因素往往很多,在这种情况下,因变量y要用多个自变量同时进行估计。例如,某种产品的总成本不仅受原材料价格的影响,而且也与产品产量、管理水平等因素有关;农作物产量的髙低受品种、气候、施肥量等多个因素的影响。描述因变量与两个或两个以上自变量之间的数量关系的回归分析方法称为多元线性回归分析。它就是一元线性回归分析的推广,其分析过程相对复杂一些,但基本原理与一元线性回归分析类似。多元线性回归

8、方程的一般表达式为:为便于分析,当自变量较多时可选用两个主要的自变量x1与x2。其线性回归方程标准式为:其中:yc为二元回归估计值;a为常数项;b1与b2分别为y对x1与x2的回归系数,b1表示当自变量x2为一定时,由于自变量x1变化一个单位而使y平均变动的数值,b2表示当自变量x1为一定时,由于自变量x2变化一个单位而使y平均变动的数值,因此,b1与b2称为偏回归系数。要建立二元回归方程,关键问题就是求出参数a,b1与b2的值,求解方法仍用最小二乘法,即分别对a,b1与b2求偏导数,并令函数的一阶导数等于零,可得如下方程组:(二)在回归分析中,通常称自变量为回归因子,一般用表示,而称因变量为

9、指标,一般用表示。预测公式:,称之为回归方程。回归模型,按照各种原则可以分为各种模型:1、 当n =1 时,称为一元(单因子)回归;当n 2时,称为多元(多因子)回归。 2、 当 f 为线性函数时,称为线性回归;当 f 为非线性函数时,称为非线性(曲线)回归。最小二乘准则: 假设待定的拟合函数为,另据m个数据点,相当于求解以下规划问题:即使得总离差平方与最小。具体在线性拟合的过程中,假设拟合函数为y=a+bx,a与b为待定系数,已知有m个数据点,分别为,应用最小二乘法,就就是要使:达到最小值。把S 瞧成自变量为a与b的连续函数,则根据连续函数达到及致电的必要条件,于就是得到:因此,当S 取得最

10、小值时,有:可得方程组为:称这个方程组为正规方程组,解这个二元一次方程组,得到:如果把已有数据描绘成散点图,而且从散点图中可以瞧出,各个数据点大致分布在一条直线附近,不妨设她们满足线性方程:其中,x为自变量,y为因变量,a与b为待定系数;成为误差项或者扰动项。这里要对数据点做线性回归分析,从而a与b就就是待定的回归系数,为随机误差。不妨设得到的线性拟合曲线为: 这就就是要分析的线性回归方程。一般情况下,得到这个方程以后,主要就是描绘出回归曲线,并且观测拟合效果与计算一些误差分析指标,例如最大点误差、总方差与标准差等。这里最缺乏的就就是一个统一的评价系统,以下说明从概率角度确立的关于线性回归的一

11、套评价系统。在实际的线性回归分析中, 除了估计出线性回归系数a与b, 还要计算y与x的相关程度,即相关性检验。相关性检验主要通过计算相关系数来分析,相关系数的计算公式为:其中n为数据点的个数,为原始数据点,r的值能够很好地反映出线性相关程度的高低,一般来说,存在以下一些标准:1、 当 r 1 或者 r 1时,表示 y与x高度线性相关,于就是由原始数据描绘出的散点图中所有数据点都分布在一条直线的附近,分别称为正相关与负相关; 2、 当 r 0 时,表示 y与x不相关,由原始数据描绘出的散点图的数据点一般呈无规律的特点四散分布;3、 当1r 0或者0r1 时,y与x的相关程度介于1与2之间; 4、

12、 如果r 1,则y与x线性相关程度越高;反之,如果r 0 ,则y与x线性相关程度越低。实际计算r值的过程中,长列表计算,即:在实际问题中,一般要保证回归方程有最低程度的线性相关。因为许多实际问题中,两个变量之间并非线性的相关关系,或者说线性相关程度不高,此时硬给她建立线性回归方程,显然没有太大意义,也没有什么实用价值。一般来说,把这个最低限度的值记为临界值,称之为相关性检验标准。因此,如果计算出r的值,并且满足,则符合相关性要求,线性回归方程作用显著。反之,如果,则线性回归方程作用不显著,就尽量不要采用线性回归方程。临界值的数值表如下:其中,自由度可以由原始数据点的个数减去相应的回归方程的变量个数,例如线性回归方程中有两个变量,而数据点的个数为n个,则自由度为n 2、自由度一般记为 f ,但不要与一般的函数发生混淆。显著性水平一般取为 0、01,0、02,0、05等,利用它可以计算y与x之间相关关系的可信程度或者称为置信水平,计算公式为: (这里取显著性水平为 =0、05 ) 现在介绍置信区间的问题,由于实际误差的存在,由线性拟合得