1、SRF1PRFSRF2YX5回归模型的估计回归模型的估计6普通最小二乘法普通最小二乘法(ordinary least squares,OLS)(ordinary least squares,OLS)7样本点的图示样本点的图示8普通最小二乘法普通最小二乘法 Xi X e iYiYi9101112OLS回归直线的特征回归直线的特征131415161718估计值特征的意义估计值特征的意义19一个例子一个例子P22202.2 用普通最小二乘法估计多元线性回归模型用普通最小二乘法估计多元线性回归模型21多元回归系数的含义多元回归系数的含义P24:P24:一个例子一个例子22 根据残差平方和最小化的原理,
2、解出参数的估计量。根据残差平方和最小化的原理,解出参数的估计量。多元回归模型的多元回归模型的OLS估计估计一、参数估计一、参数估计23一个例子一个例子P25、26、27242.2.4 总离差平方和、回归离差平方和以及残差平方和总离差平方和、回归离差平方和以及残差平方和 度量被解释变量的变动在多大程度上度量被解释变量的变动在多大程度上能够被所估计的回归方程所解释能够被所估计的回归方程所解释.25 Y Y的方差分解的方差分解 基本思路:因变量基本思路:因变量Y Y的变异,能够被的变异,能够被X X的变异解释的比例越大,则的变异解释的比例越大,则OLSOLS回回归线对总体的解释程度就越好。归线对总体
3、的解释程度就越好。Xi X SRFY26 对于所有样本点,则需考虑这些点与样本均值离对于所有样本点,则需考虑这些点与样本均值离差的平方和差的平方和,可以证明:可以证明:记总平方和(总平方和(Total Sum Total Sum of Squaresof Squares)回归平方和(回归平方和(Explained Explained Sum of SquaresSum of Squares)残差平方和(残差平方和(Residual Residual Sum of Squares Sum of Squares)TSS=ESS+RSSTSS=ESS+RSS27 如果如果Y Yi i=i i 即实际
4、观测值落在样本回归即实际观测值落在样本回归“线线”上,则上,则拟合最好拟合最好。可认为,可认为,“离差离差”全部来自回归线,而与全部来自回归线,而与“残差残差”无关。无关。282.3 2.3 回归方程的质量评价回归方程的质量评价vP28292.4 估计模型的总体拟合度的描述估计模型的总体拟合度的描述2.4.1 2.4.1 判定系数判定系数30 判定系数检验是指对样本回归线与样本观测值之间拟合程度的检验。判定系数检验是指对样本回归线与样本观测值之间拟合程度的检验。度量拟合程度的指标是判定系数度量拟合程度的指标是判定系数R R2 2 。基本思路:定义判定系数定义判定系数31 R R2 2 测度了在
5、测度了在Y Y的总变异中,由回归模型解释的部分所占的比例。的总变异中,由回归模型解释的部分所占的比例。R R2 2 越越接近,说明回归直线与样本观察值拟合越好,也可称为拟合优度好;如接近,说明回归直线与样本观察值拟合越好,也可称为拟合优度好;如果越接近,说明回归直线与样本观察值拟合越差,也可称为拟合优度差。果越接近,说明回归直线与样本观察值拟合越差,也可称为拟合优度差。R R2 2 的性质:的性质:(1 1)非负。()非负。(2 2)0R0R2 2 1 1P29-30P29-30几个图形几个图形几点注意几点注意32 2.4.2简单相关系数简单相关系数r:表示两个随机变量之间的线性相关程度。定义
6、为:以样本方差和样本协方差估计以样本方差和样本协方差估计X X、Y Y的方差和协方差,样本相关系数为:的方差和协方差,样本相关系数为:当只有一个解释变量时当只有一个解释变量时,样本相关系数的平方与判定系数相等,样本相关系数的平方与判定系数相等,但二者的意义不同。但二者的意义不同。33相关系数相关系数 的一些性质的一些性质v可正可负可正可负v区间为区间为-1-1,+1+1v是对称的是对称的v与原点和尺度无关:与原点和尺度无关:若若X Xi i*=a X=a Xi i+b,Y+b,Yi i*=c Y=c Yi i+d+d,则,则r(Xr(Xi i*,Y,Yi i*)=r(X)=r(Xi i,Y,Y
7、i i)v若若X X与与Y Y独立,则相关系数为独立,则相关系数为0 0;反之不然;反之不然v是线性关联,不能用于描述非线性关系是线性关联,不能用于描述非线性关系v未必有因果关系,只是线性关联未必有因果关系,只是线性关联34相关样式的图形表示相关样式的图形表示YXr=+1YXr=-135相关样式的图形表示相关样式的图形表示(续续1)1)YXr=接近于+1YXr=接近于-136相关样式的图形表示相关样式的图形表示(续续2)2)YXr=接近于+1YXr=接近于-137相关样式的图形表示相关样式的图形表示(续续3)3)YXr=0383940一个问题:多元判定系数的大小一个问题:多元判定系数的大小与解
8、释变量的个数相关吗?与解释变量的个数相关吗?41一个例子一个例子v3131v所以:对于因变量相同,解释变量个数不同的所以:对于因变量相同,解释变量个数不同的两个回归模型,比较判定系数没有意义两个回归模型,比较判定系数没有意义4243注意注意p31p31v用判定系数来评比两个模型时,要注意样本大小用判定系数来评比两个模型时,要注意样本大小N N和和因变量都必须相同,而解释变量可以采取任何形式。因变量都必须相同,而解释变量可以采取任何形式。v从其含义上讲,若因变量不同,则没有比较基础了从其含义上讲,若因变量不同,则没有比较基础了v校正判定系数可以使我们对同因变量不同个数解释校正判定系数可以使我们对同因变量不同个数解释变量的两个回归模型作比较。变量的两个回归模型作比较。v回归方程的拟合质量仅仅是回归的整体质量的一个回归方程的拟合质量仅仅是回归的整体质量的一个评价指标评价指标,不要过分强调不要过分强调.442.5 2.5 错用错用 的例子的例子P32-33P32-3345小结小结46习题习题v课堂课堂:3,5,6,8:3,5,6,8v课后课后:7,9,10,11:7,9,10,11
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1