线性回归分析的数学模型Word格式文档下载.docx

1、 第二章 线性模型 第一节 一元线性模型在工农业生产及科研中最常遇到的配直线问题，就是回归分析的统计推断方法来求经验公式（线性回归）的问题如：例1 今有某种大豆脂肪含量x（%）与蛋白质含量y（%）的测定结果如下表所示：试求它们之间的关系（检验公式） x 165 175 185 195 205 215 225 y 435 426 406 403 387 372 首先将这组数据在直角坐标系上描成点，如下图：一般的，按此方法描点所得的图成为散点图 从图上可以看出：这些数据描出的点分布在一条直线附近于是推出他们大致可以表示为线性关系 这里再y上加“ ”是为了区别于他的实际值y，因为y与x一般不具有确定

2、的函数关系，这样，在散点图的启发下，我们选定了回归方程是线性的然后根据统计推断方法来估计出未知数 和 从而确定所求的经验公式一般的，设随机变量y与x之间的相关关系可以用线性模型 , N（0, ） （1） 来表示这里x是试验或观察中可以控制或精确观测的变量即非随机变量,y是可观测的随机变量 是不可观测的随机变量（它表示模型误差，是除去x对Y的先行影响之外的且不能测出的其它各个随机因素对Y的影响的总和） 通过实验观测可得到关于变量x和Y的一组数据（ ， ），（ ， ），（ ， ）因为对于任意一个 （i=1,2,n），在 的观测值在取定前不能精确预言它一定能取什么值，故把 看作是随机变量Y的观测值而

3、相互独立的随机变量 ， ， 为Y的样本我们知道，样本与样本观测值之间的区别是：前者是随机变量，后者为取定的数值，但为了叙述方便，今后把样本观察值也成为样本在符号上均用 ， ， 来表示具体表示的意义也可由上下文分析清楚，设观测值 与样本 之间满足关系式： = （i=1,2,n） （2） 其中 （i=1,2,n）且相互独立 如果两个变量间的关系用上述线性模型描述，则它们之间存在线性相关关系由（1）有： E（Y）= 我们希望根据观测的数据 ，求出 , 的估计量 ， 这样就可以利用方程 （3） 去估计随机变量Y的数学期望E（Y）也就是说，将 ， 代入方程 （1）并略去误差 ，就得到了随机变量Y和变量x

4、的线性关系式（3）方程（3）通常称为Y对x的线性回归方程或回归方程，其图形称为回归直线 对于（1）和（2）所确定的线性模型，所考虑的统计推断主要问题是：未知参数 和 的估计：检验x和Y之间的关系是否可确信是线性关系，即对假设（1）进行检验，对Y进行预测等 第二节 多元线性模型 一般来讲，影响结果Y的因素往往不止一个设有 ， 共p个元素这时要用图来确定它们的关系是困难的常可根据经验做出假设其中最简单的是假设它们之间有线性关系： （4） 式中 ， 都是可精确测量或可控制的一般变量，Y是可观测的随机变量， ， ， 都是未知参数， 是服从 分布的不可观测的随机误差我们对（4）获得了n组相互独立的观测值

5、（样本） （ ； ， ， ） （5） 于是由（4）式可知 具有数据结构式： i=1,2,n （6） 其中各个 （ i=1,2,n）相互独立，且均服从 这就是p元线性回归模型 对于（4）所确定的模型统计推断的主要问题是：根据样本去估计未知参数 ， ， 、 ，从而建立Y与 ， 间的数量关系式和对比得到的数量关系式的可信度进行统计检验;检验各变量 ， 分别对指标是否有显著影响2 参数的估计 第一节 一元线性回归方程参数的估计 有多种确定回归方程也就是确定未知参数 , 的估计量 ， ，的方法其中最常用的是“最小二乘法” 我们将采用“最小二乘法原理”来求出 ， 也就是求，使误差 （ i=1,2,n）的平

6、方和 Q= = （7） 为最小的 ， 值作为参数 , 的估计量 由（7）知Q是 , 的二元函数即Q=Q（ , ）按二元函数求极值的方法可得联立方程组：（8） 这个方程组称为正规方程组 即：（9） 解此方程组由（9）的第一式得 因此 的估计量为： （10） 其中 ， 将（10）式代入（9）中的第二式可解得 的估计量为 （11） 这样：利用（10）和（11）确定的 , 使平方和Q达到最小，从而求出回归方程这里 ， 分别表示由（10）和（11）确定的 , 的值并称 为经验截距； 为经验回归系数，简称为回归系数，而 是 的无偏估计量 由（10）可得回归方程的另一种形式：（12） 由此可知，回归直线通过

7、点（ ， ），即通过由馆测值的平均值组成的点，并且回归方程由回归系数 完全确定一般的，把由回归方程确定的x的对应值 称为回归值 根据观测数据，利用 （10）和（11）来求回归直线时，常把（11）中的分子和分母分别记为 和 ，且按下面的公式计算：所以（10）和 （11）两式可记作： （13） （14） 又有公式: = = （15） 然而，对总体中的未知参数进行估计，其主要目的还是建立一元线性回归方程虽然有一个正规方程组存在实际上并不研究它以下是建立一元线性回归方程的具体步骤：（1） 计算 ， ， ， ， ；（2） 计算， ， （在回归方程作显著性检验时用）；（3） 计算 和 写出一元线性回归方程

8、3 序号 1 27225 189225 71775 2 30625 181476 74550 3 34225 78810 4 38025 164836 79170 5 42025 162409 82615 6 46225 149769 83205 7 50625 138384 83700 8 235 360 55225 129600 84600 9 245 340 60025 115600 83300 1845 3555 384225 1412775 721725 从而可求得 =205， =395， =60， =-705， -1175， = - =63588 所求回归方程为 63588-117

9、5x 例2 设两个变量x与Y由某种相关关系，测得它的一组数据如下表所示，试求其回归方程 492 500 493 490 495 498 499 502 Y 167 170 168 166 171 解：根据计算得 =4961， =1685， =2461351， =835994 =03293， = - =05129 所以回归方程为 05129+03293x 第二节 多元线性回归模型的参数估计 设 ， ，Y有一组观测值（样本）;（ ， ， ）（i=1，2，n）我们希望由估计 ， ， 所决定出的回归方程能使一切 与 之间的偏差达到最小根据最小二乘法的原理 即：要求 = 所以只要求偏离平方和 达到最小的

10、 为书写方便以下把“ ”书写成“ ” 根据微积分中值原理和最小二乘法估计 是下列方程组的解 （ j=1,2,，n） （16） 经整理即得关于 的一个线性方程组 （17） 此方程组（17）称为正规方程组借此方程组就可求得参数 的回归值 为了求解方便我们将（17）是写成矩阵的形式，令 1X=，Y=， B= 记（17）式的系数矩阵为A，常数项矩阵为B，则A恰为 ，B恰为 即：1= n=A =B 因此用矩阵的形式可表式为 在回归分析中通常 存在这时最小二乘估计 可表式为：= （18） 当我们求出了 的最小二乘估计 后，就可以建立多元回归方程5 例 3 某地区所产原棉的纤维能力Y与纤维的公制支数 ，纤维

11、的成熟度 有关，现实测得28组数据（见下表）试建立Y关于 ， 的二元线性回归方程 i 5415 158 403 15 6208 170 381 5700 138 401 16 5798 159 400 5674 157 17 5551 161 419 5698 155 409 18 6059 6165 152 373 19 6060 153 396 5929 160 20 393 7505 114 295 21 6370 145 372 5920 150 390 22 6102 149 384 7646 118 289 23 6245 388 10 6556 127 348 24 6644 3

12、38 11 6475 360 25 6191 376 12 5907 377 26 6352 379 13 5697 154 394 27 5999 14 6618 12 366 28 5815 17 先求出方程组的系数矩阵及常数向量，再求 =172388 =61567143 =4184 =14943 =10609 =37889 =1068433202 =708953972=630632 =05423 =25608704 =-15098857 =64911128 =-40545386 =1594481 =09193 =4045287 求 ， 的正规方程组为 708953972 -1509885

13、7 =-40545386 -15098857 +05423 =09193 解得 =-00005181 ， =02527 ， = =66011 所以 Y的关于 ， 的二元线性回归方程为 =66011-00005181 +02527 第四章 显著性检验 一元线性回归方程的显著性检验 由上面的讨论知，对于任何的两个变量x和Y的一组观测数据（ ）（i=1,2,n）按公式（10）和（11）都可以确定一个回归方程然而事前并不知道Y和x之间是否存在线性关系，如果两个变量Y和x之间并不存在显著的线性相关关系，那么这样确定的回归方程显然是毫无实际意义的因此，我们首先要判断Y和x是否线性相关，也就是要来检验线性假

14、设 是否可信，显然，如果Y和x之间无线性关系，则线性模型的一次项系数 =0；否则 0所以检验两个变量之间是否存在线性相关关系，归根到底是要检验假设根据现行假设对数据所提的要求可知，观察值 ， ， 之间的差异，是有两个方面的原因引起的：（1）自变量x的值不相同;（2）其它因素的影响，检验 是否成立的问题，也就是检验这两方面的影响哪一个是主要的问题因此，就必须把他们引起的差异从Y的总的差异中分解出来也就是说，为了选择适当的检验统计量，先导出离差平方和的分解因式6 一、离差平方和的分解公式 观察值 （i=1,2,n），与其平均值 的离差平方和，称为总的离差平方和，记作因为其中：=2 所以 由于 中的

15、 ， 为（10）和（11）所确定即它们满足正规方程组（9）的解因此定义项 = 于是得到了总离差平方和的分解公式： （19） 是回归直线 上横坐标为 的点的纵坐标，并且 的平均值为 ， 是 这n个数的偏差平方和，它描述了 的离散程度，还说明它是来源于 的分散性，并且是通过x对于Y的线性影响而反映出来的，所以， 称为回归平方和 而它正是前面讨论的 的最小值，在假设（1）式的条件下它是由不可观察的随机变量 引起的，也就是说，它是由其它未控制的因素及试验误差引起的，它的大小反映了其它因素以及试验误差对实验结果得影响我们称 为剩余平方和或残差平方和7 二、 、 的性质及其分布 由以上分析可知，要解决判断

16、Y和x之间是否存在线性相关关系的问题，需要通过比较回归平方和和剩余平方和来实现为了更清楚地说明这一点，并寻求出检验统计量，考察估计量 ， 的性质及其分布 （一） 的分布由（14）式可知 在 相互独立且服从同一分布 的假定下由（2）知 ， ， 是P个相互独立的随机变量，且（i=1,2,，n）所以他们的平均值 的数学期望为：因为 是 的线性函数，且有：这说明 是 的无偏估计量且 的方差为 即:同样可证，对于任意给定的 其对应的回归值 （它是 的点估计）适合 （ ， （二） 方差 的估计及分布 由 、 及 可得 又由于 及E（L），E（U）得 =E（L）+E（U） =（n-2） 从而,说明了 = = 是 的无偏估计量，由此可见，不论假设 成立与否， 是 的一个无偏估计量，而 仅当假设成立时，才是 的一个无偏估计量，否则它的期望值大于 说明比值 （20） 在假设成立时有偏大倾向，也就是说，如果F取得值相当大，则没有理由认为x和Y之间有线性相关关系，也就是下面我们将采用F作为检验统计量的原因另外，由于 ， 是 的最小二乘估计，由（8）式可知 =0 ， =0 这表明 中的n个变量 ， 之间有两个独立的线性约束条件，故 的自由度为n-2因此 8 三、F检验 由以上讨论可知，当 成立时 ； 且二者相互独立，由此可得因此可用这个统计量F作为检验假设 的检验统计量 对给定的显著性水平 ，查自由