DMD-6-回归模型.ppt

1、第九章第九章 回归模型回归模型对于一个工商管理人员来说，相当重要的管理决对于一个工商管理人员来说，相当重要的管理决策能力之一是敏锐地洞察商业或生产中数据的发展趋策能力之一是敏锐地洞察商业或生产中数据的发展趋势，并且在已认识的趋势基础上对未来做出正确的预势，并且在已认识的趋势基础上对未来做出正确的预测。而能够做到这一点的强有力的工具之一就是所谓测。而能够做到这一点的强有力的工具之一就是所谓的的“回归模型回归模型”。数数 据据 模模 型型 决决 策策19.1 简单线性回归模型及预测简单线性回归模型及预测例例9.1 广告花费与销售额的预测广告花费与销售额的预测 某公司销售额数据某公司销售额数据 yt

2、（第第 t 月的销售额）与月的销售额）与 广告花费数广告花费数据据 xt（第第 t 月的广告花费）如表。月的广告花费）如表。数数 据据 模模 型型 决决 策策29.1 简单线性回归模型及预测简单线性回归模型及预测例例9.1 广告花费与销售额的预测广告花费与销售额的预测由表中数据可以绘制一张散点图！由表中数据可以绘制一张散点图！数数 据据 模模 型型 决决 策策39.1 简单线性回归模型及预测简单线性回归模型及预测 从散点图中，你有何发现？从散点图中，你有何发现？数数 据据 模模 型型 决决 策策yt 与与xt 之间似乎存在不太精确的线性函数关系！之间似乎存在不太精确的线性函数关系！那么，我们能

3、不能想象出（或确定出）一条直线来那么，我们能不能想象出（或确定出）一条直线来反映这一关系（或规律）呢？反映这一关系（或规律）呢？关键的问题是如何才能关键的问题是如何才能“最好地最好地”反映这一关系！反映这一关系！49.1 简单线性回归模型及预测简单线性回归模型及预测 简单线性回归模型（一元线性回归模型）：简单线性回归模型（一元线性回归模型）：数数 据据 模模 型型 决决 策策 yt=+xt+t t=1，2，n 1，2，n，iid，N（0，）称称 y=+x 为为线性回归函数（或回归直线），线性回归函数（或回归直线），是两个重要的参数，是两个重要的参数，为回归系数。为回归系数。为了使回归直线能为了

4、使回归直线能“最好最好”地反映数据对（地反映数据对（x1，y1），），（x2，y2），（xn，yn）所描述的所描述的 y 与与 x 之间的关系，就之间的关系，就需要确定需要确定 ，的的值，所采用的方法值，所采用的方法“最小二乘最小二乘”估计法。估计法。59.1 简单线性回归模型及预测简单线性回归模型及预测最小二乘估计最小二乘估计 ，：数数 据据 模模 型型 决决 策策 =n i=1（xi x）（）（yi y）n i=1（xi x）2 =y -x 69.1 简单线性回归模型及预测简单线性回归模型及预测由上述分析可以计算得到例由上述分析可以计算得到例 9.1中中 数数 据据 模模 型型 决决 策策

5、 =13.88 =-998 如果模型成立如果模型成立，即可得回归直线：，即可得回归直线：y=-998+13.88 x 79.1 简单线性回归模型及预测简单线性回归模型及预测 数数 据据 模模 型型 决决 策策89.1 简单线性回归模型及预测简单线性回归模型及预测 在以上的分析中，我们始终有一个前提在以上的分析中，我们始终有一个前提“如果模型如果模型成立成立”。那么模型究竟能否成立呢？。那么模型究竟能否成立呢？从管理实际角度再对模型加以定性的思考：从管理实际角度再对模型加以定性的思考：广告效应的广告效应的“滞后滞后”性！性！我们采用另一个线性回归模型：我们采用另一个线性回归模型：yt=1+1xt

6、-1 （t=1，2，n）这样，可以得到另一条这样，可以得到另一条回归直线：回归直线：y=335.9+13.9 x 数数 据据 模模 型型 决决 策策 99.1 简单线性回归模型及预测简单线性回归模型及预测 至此，我们得到了两个线性回归模型：至此，我们得到了两个线性回归模型：1、y=-998+13.88 x2、y=335.9+13.9 x 这两个线性回归模型都可以对未知的月销售额进行预测。这两个线性回归模型都可以对未知的月销售额进行预测。但是，哪一个模型更有效呢？但是，哪一个模型更有效呢？解决这一问题的方法是解决这一问题的方法是对预测的误差进行比较！对预测的误差进行比较！即采用均方残差即采用均方

7、残差 MSE 进行比较。进行比较。数数 据据 模模 型型 决决 策策MSE=1nn i=1（yi yi）2 109.1 简单线性回归模型及预测简单线性回归模型及预测 从两个模型的均方残差从两个模型的均方残差 MSE 来考虑，我们应该选择来考虑，我们应该选择 MSE 较小的模型，即选择较小的模型，即选择 x t-1 与与 yt 的模型略好些，直观的含的模型略好些，直观的含义就是广告具有义就是广告具有“滞后滞后”效应。效应。然而，这两个模型的预测误差都是比较大的，其原因可能然而，这两个模型的预测误差都是比较大的，其原因可能是我们仅考虑了一个因素对是我们仅考虑了一个因素对 yt 的影响。而事实上，的

8、影响。而事实上，x t-2，x t-1，xt 等等，乃至可能其他以前月份已发生的广告费支出对等等，乃至可能其他以前月份已发生的广告费支出对 yt 都都会产生影响。因此，我们的线性回归模型不得不考虑有多个会产生影响。因此，我们的线性回归模型不得不考虑有多个“自变量自变量”的情况的情况这就引出了这就引出了“多元线性回归模型多元线性回归模型”。数数 据据 模模 型型 决决 策策119.2 多元线性回归多元线性回归 多元线性回归模型：多元线性回归模型：数数 据据 模模 型型 决决 策策 yi=+1x1i+2x2i+kxki+i i，iid，N（0，）（t=1，2，n）例如，假定例如，假定 y 为当月的

9、销售额，那么为当月的销售额，那么 x1 可以是上月的可以是上月的广告费，广告费，x2 可以是产品的价格，可以是产品的价格，x3 可以是市场景气指数，可以是市场景气指数，称称 y=+1x1+2x2+kxk 多元为线性回归函数多元为线性回归函数129.2 多元线性回归多元线性回归 和一元线性回归的分析类似，重要的是确定模型中的参和一元线性回归的分析类似，重要的是确定模型中的参数数 ，1，2，k 的估计。采用的方法仍然是使：的估计。采用的方法仍然是使：残差平方和残差平方和 SSE 达到极小！达到极小！数数 据据 模模 型型 决决 策策SSE=n i=1（yi yi）2=n i=1（yi 1x1i 2

10、x2i kxki）2 139.2 多元线性回归多元线性回归 现在分析例现在分析例 9.1，我们考虑线性回归模型：，我们考虑线性回归模型：yt=+1xt+2xt-1+3xt-2+t （t=3，4，15）数数 据据 模模 型型 决决 策策多元多元线性回归线性回归Microsoft Excel149.2 多元线性回归模型分析多元线性回归模型分析1、回归系数、回归系数 数数 据据 模模 型型 决决 策策 =522.1306659 1=3.681483641 2=4.965806176 3=5.19950817 于是有回归方程：于是有回归方程：yt=522.1+3.681 xt+4.966 xt-1+5

11、.2 xt-2 159.2 多元线性回归模型分析多元线性回归模型分析2、标准误差、标准误差 S S 是对是对 t 所所服从的服从的 N（0，）中中 的的估计：即估计：即 =S 数数 据据 模模 型型 决决 策策 3、自由度、自由度 df =观察次数（观察次数（n）-自变量个数（自变量个数（k）-1 4、回归系数的置信区间和标准差回归系数的置信区间和标准差5、t Stat 该项的作用是检验每一个该项的作用是检验每一个 xj 与与 y 的线性关系是否显著，如的线性关系是否显著，如果检验结果认为果检验结果认为 xj 与与 y 有有显著的线性关系，则模型中保留显著的线性关系，则模型中保留 xj 项是合

12、理的，否则可以将此项从模型中剔除。项是合理的，否则可以将此项从模型中剔除。保留或剔除保留或剔除 xj 项项可以根据可以根据 p-Value 值作简单的判断：值作简单的判断：p-Value 值值较大较大 剔除剔除 xj 项项p-Value 值值较小较小 保留保留 xj 项项169.2 多元线性回归模型分析多元线性回归模型分析 在在保留或剔除保留或剔除 xj 项时应该注意以下几点：项时应该注意以下几点：（1）应该首先注意自变量）应该首先注意自变量 xj 的线性项是否应含于模型中，只的线性项是否应含于模型中，只有当此项工作全部完成后，才对有当此项工作全部完成后，才对 是否为是否为 0 进行检验。进行

13、检验。（2）如果发现某）如果发现某 xj 相应的相应的 p-Value 较大，则应将较大，则应将 xj 项从模型项从模型中剔除，且应注意，这种剔除工作应逐次进行（即每次只剔除中剔除，且应注意，这种剔除工作应逐次进行（即每次只剔除 p-Value 最大的一项）直到模型中不含最大的一项）直到模型中不含 p-Value 较大的项。较大的项。对前面的回归模型中，我们剔除对前面的回归模型中，我们剔除 xt 项，重新建立回归模项，重新建立回归模型：型：yt=1161.6+5.873 xt-1+7.945 xt-2 数数 据据 模模 型型 决决 策策179.2 多元线性回归模型分析多元线性回归模型分析6、判

14、别系数、判别系数 R2（R 也称为相关系数或复相关系数）也称为相关系数或复相关系数）判别系数判别系数 R2 的作用是判别因变量的作用是判别因变量 y 与自变量与自变量 x 之间的线之间的线性关系是否合理（即线性相关性的程度），性关系是否合理（即线性相关性的程度），R2 是是一个一个 0 到到 1 之间的数，当它越接近于之间的数，当它越接近于 1，则表明线性模型越拟合于数据，则表明线性模型越拟合于数据，即线性回归模型越即线性回归模型越合理合理。当它越接近于。当它越接近于 0，则表明线性回归模，则表明线性回归模型越型越不合理不合理。另外，有一点应该注意，建立多元线性回归模型时，总是另外，有一点应该

15、注意，建立多元线性回归模型时，总是力求建立具有较少的、合理的、有意义的个数自变量的简单模力求建立具有较少的、合理的、有意义的个数自变量的简单模型。不要单纯地为了追求高的型。不要单纯地为了追求高的 R2 值而在值而在模型中引入模型中引入“过多过多”的自变量。的自变量。数数 据据 模模 型型 决决 策策189.2 多元线性回归模型分析多元线性回归模型分析下图分别是下图分别是 R2=0.995，R2=0.797 时所对应的图形。时所对应的图形。数数 据据 模模 型型 决决 策策199.2 多元线性回归模型分析多元线性回归模型分析7、方差分析、方差分析 方差分析表是用于检验自变量的线性组合是否对于预测

16、因方差分析表是用于检验自变量的线性组合是否对于预测因变量有效，即检验模型是否是线性模型。其检验方法称为：变量有效，即检验模型是否是线性模型。其检验方法称为：F 检验，检验模型为检验，检验模型为 H0：1=2=k=0；对对 H1：至少有一个至少有一个 不为不为 0方差分析表中的方差分析表中的 F 数值越大，我们就越应该拒绝数值越大，我们就越应该拒绝 H0 而接受而接受 H1：表中表中 Significance F 数值给出了数值给出了 F 数值数值“发生发生”的概率。拒的概率。拒绝绝 H0 的的理论就是：理论就是：小概率事件在一次实验中小概率事件在一次实验中“几乎几乎”不可能不可能发生的事实发生的事实。数数 据据 模模 型型 决决 策策209.2 多元线性回归模型分析多元线性回归模型分析建立线性回归模型的小结：建立线性回归模型的小结：在建立一个线性回归模型时：在建立一个线性回归模型时：R2，F-检验（方差分析），检验（方差分析），t-检验（回归分析）三者都极其重要，其分析缺一不可，否则，检验（回归分析）三者都极其重要，其分析缺一不可，否则，强行建立的线性回归模型很难用于解释现象或进行预测