SAS系统和数据分析逐步回归分析.docx

1、SAS系统和数据分析逐步回归分析595382827.doc商务数据分析电子商务系列第三十三课 逐步回归分析一、 逐步回归分析在一个多元线性回归模型中，并不是所有的自变量都与因变量有显著关系，有时有些自变量的作用可以忽略。这就产生了怎样从大量可能有关的自变量中挑选出对因变量有显著影响的部分自变量的问题。在可能自变量的整个集合有 40 到 60 个，甚至更多的自变量的情况下，使用“最优”子集算法可能并不行得通。那么，逐步产生回归模型要含有的 X 变量子集的自动搜索方法，可能是有效的。逐步回归方法可能是应用最广泛的自动搜索方法。这是在求适度“好”的自变量子集时，同所有可能回归的方法比较，为节省计算工

2、作量而产生的。从本质上说，这种方法在每一步增加或剔除一个 X 变量时， 产生一系列回归模型。 增加或剔除一个 X 变量的准则，可以等价地用误差平方和缩减量、偏相关系数或 F 统计量来表示。无疑选择自变量要靠有关专业知识，但是作为起参谋作用的数学工具，往往是不容轻视的。通常在多元线性模型中，我们首先从专业角度选择有关的为数众多的因子，然后用数学方法从中选择适当的子集。本节介绍的逐步回归法就是人们在实际问题中常用的，并且行之有效的方法。逐步回归的基本思想是，将变量一个一个引入，引入变量的条件是偏回归平方和经检验是显著的，同时每引入一个新变量后，对已选入的变量要进行逐个检验，将不显著变量剔除，这样保

3、证最后所得的变量子集中的所有变量都是显著的。这样经若干步以后便得“最优”变量子集。逐步回归是这样一种方法，使用它时每一步只有一个单独的回归因子引进或从当前的回归模型中剔除。 Efroymoson (1966) 编的程序中， 有两个 F 水平，记作 F in 和 Fout，在每一步时，只有一个回归因子，比如说Xi ，如果剔除它可能引起RSS 的减少不超过残差均方MSE（即ESS/(N-k-1) ）的 Fout 倍，则将它剔除；这就是在当前的回归模型中，用来检验i =0 的 F 比( RSS( x1 , x2 , xi 1 , xi )RSS( x1 , x2 , xi 1 ) / MSE 是小于

4、或等于 Fout 。若剔除的变量需要选择， 则就选择使 RSS减少最少的那一个 （或等价的选择F 比最小的）。用这种方式如果没有变量被剔除，则开始引进一个回归因子，比如Xj，如果引进它后使RSS的增加，至少是残差均方的F in 倍，则将它引进。即若在当前模型加Xj 项后，为了检验j =0的 F 比， F F in 时，则引进 Xj ，其次，若引进的变量需要选择，则选择F 比最大的。程序按照上面的步骤开始拟合，当没有回归因子能够引进模型时，该过程停止。二、 变量选择的方法若在回归方程中增加自变量 Xi ，称为“引入”变量 Xi，将已在回归方程中的自变量 Xj 从回归方程中删除，则称为“剔除”变量

5、Xj。无论引入变量或剔除变量，都要利用F 检验，将显著的变量引入回归方程，而将不显著的从回归方程中剔除。记引入变量F 检验的临界值为Fin（进），剔除变量F 检验的临界值为Fout（出），一般取F in Fout ，它的确定原则一般是对k上海财经大学经济信息管理系 IS/SHUFEPage 1 of 25595382827.doc商务数据分析电子商务系列个自变量的m 个 (m k)，对显著性水平df1=1，df2=Nm 1 的F 分布表的值，记为F* ，则取 F in=F out= F* 。一般来说，也可以直接取Fin =Fout=2.0 或2.5。当然，为了回归方程中还能够多进入一些自变量，

6、甚至也可以取为1.0 或1.5。1.变量增加法首先对全部 k 个自变量，分别对因变量 Y 建立一元回归方程，并分别计算这 k 个一元回归 方 程 的 k 个 回 归 系 数 F 检 验 值 ， 记 为 F11 , F21, Fk1 ， 选 其 最 大 的 记 为 Fi1 =max F11 , F21 , Fk1, 若有 Fi1 F in ，则首先将 X1 引入回归方程，不失一般性，设Xi 就是 X1。接着考虑 X分别与 X,X ,.,Xk与因变量 Y 组成二元回归方程， 对于这 k1 个回归方程中123X ,.,X的回归系数进行F检验，计算F 值，并选其最大的 F 值 F2,若F2 F,则接着

7、就将2kjjinX 引入回归方程，不失一般性，设X就是X。jj2对已经引入回归方程的变量X1 和 X2，如同前面的方法做下去，直至所有未被引入方程的变量的 F 值均小于 F in 时为止。这时的回归方程就是最终选定的回归方程。显然，这种增加法有一定的缺点，主要是，它不能反映后来变化的情况。因为对于某个自变量，它可能开始是显著的，即将其引入到回归方程，但是，随着以后其他自变量的引入，它也可能又变为不显著了，但是，并没有将其及时从回归方程中剔除掉。也就是增加变量法，只考虑引入而不考虑剔除。2.变量减少法与变量增加法相反，变量减少法是首先建立全部自变量X,X ,.,X 对因变量 Y 的回归方12k程

8、，然后对k 个回归系数进行 F 检验，记求得的F 值为 F11, F21,Fk1 ，选其最小的记为Fi1 =min F11 , F21 ,Fk1 , 若有 Fi1 F out，则可以考虑将自变量Xi 从回归方程中剔除掉，不妨设 Xi 就取为 X1 。再对 X ,X ,.,X对因变量 Y 建立的回归方程重复上述过程，取最小的 F 值为 F j2 ，若有 F j223kF out，则将Xj 也从回归方程中剔除掉。不妨设Xj 就是 X2。重复前面的做法，直至在回归方程中的自变量F 检验值均大于 F out，即没有变量可剔除为止。这时的回归方程就是最终的回归方程。这种减少法也有一个明显的缺点，就是一开

9、始把全部变量都引入回归方程，这样计算量比较大。若对一些不重要的变量，一开始就不引入，这样就可以减少一些计算。3. 变量增减法前面的两种方法各有其特点，若自变量 X ,X ,.,Xk完全是独立的， 则可结合这两种方法，1 2但是，在实际的数据中，自变量X ,X ,.,X之间往往并不是独立的，而是有一定的相关性存1 2k在的，这就会使得随着回归方程中变量的增加和减少，某些自变量对回归方程的贡献也会发上海财经大学经济信息管理系 IS/SHUFEPage 2 of 25595382827.doc商务数据分析电子商务系列生变化。因此一种很自然的想法是将前两种方法综合起来，也就是对每一个自变量，随着其对回

10、归方程贡献的变化，它随时可能被引入回归方程或被剔除出去，最终的回归模型是在回归方程中的自变量均为显著，不在回归方程中的自变量均不显著。三、 引入变量和剔除变量的依据如果在某一步时，已有l 个变量被引入到回归方程中，不妨设为X1 , X 2 , , X l ，即已得回归方程：?01X12 X 2l Xl(33.1)Y并且有平方和分解式：TSSRSS ESS(33.2)显然，回归平方和RSS 及残差平方和ESS 均与引入的变量相关。为了使其意义更清楚起见，将其分别设为RSS（ X1, X 2, , X l ）及 ESS（ X 1 , X 2 , X l ）。下面我们来考虑，又有一个变量 X i （

11、 li k）被引入回归方程中，这时对于新的回归方程所对应的平方和分解式为：TSS=RSS（X1, X2 , X l ，X i ） +ESS（X1, X2, X l ,X i ）(33.3)当变量Xi 引入后，回归平方和从RSS（X1, X2, X l ）增加到RSS（X1, X2 , X l ，X i ）,而相应的残差平方和却从ESS（X1, X2, Xl ）降到ESS（X1, X2, X l ,X i )，并有：RSS( X1, X2, X l,X i )- RSS( X 1 , X 2 , X l )ESS( X1, X 2 ,(33.4)=, X l )- ESS( X 1 , X 2

12、, X l, X i )记Wi(,X 2, ,X l,X i)(,X 2, ,X l) , 它反映了由于引入X i后，RSS X1RSS X1X i 对回归平方和的贡献，也等价于引入X i 后残差平方和所减少的量，称其为 X i对因变量Y的方差贡献，故考虑检验统计量：FiWiX 1, X 2 , , X l(33.5)ESS X1, X 2, , X l , X i / N l 1其中 N 为样本量， l 是已引入回归方程的变量个数，这时若有Fi Fin ，则可以考虑将自变量 X i 引入回归方程，否则不能引入。实际上大于 Fin 的变量开始时可能同时有几个， 那么是否将它们都全部引入呢？实际编程上海财经大学经济信息管理系 IS/SHUFEPage 3 of 25595382827.doc商务数据分析电子商务系列序时并不是一起全部引入，而是选其最大的一个引入回归方程。关于剔除变量， 如果已有l