多元线性回归模型及假定.docx
第三章多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量丫与多个解释变量X/X2,浜之间存在线性关系。假定被解释变量y与多个解释变量X/X2,.,无之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即y=Po+PiXi+P22+BE+N(3-D其中Y为被解释变量，为。=1,2,闺为A个解释变量，PjO=0,2,为4+1个未知参数，N为随机误差项。.被解释变量丫的期望值与解释变量X/X2,.,M的线性方程为：E(Y)=Po+PX+P2X2+Pm(3-2)称为多元总体线性回归方程，简称总体回归方程。对于组观测值匕,Xk,X2i,M(i=l,2,.,初其方程组形式为：Y=Po+P1X+P2X2i+P出+也=1,2,«)(3-3)y=P+PX+PX+PX+Ny=P°+P%y+p22+.+£,+62O112222kk22Y=Po+PiXI+P2X2+Pm+6其矩阵形式为YIY9X11X12X21X22*_nY-kY2rDOP1n2+AA11X1»X2nXknPA(3-4)其中YIIl21JtrlYTXXXY=2为被解释变量的观测值向量；X-1222Q为解释变量的观测/1*1Jl+n-1XXX1 n2nkn-从，一、为总体回归参数向量；N=.2为随机误差项向量。71X1总体回归方程表示为:(3-5)与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量y发生作用，若要考察其中一个解释变量对丫的影响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量丫的均值的影响。由于参数P,p,外，P都是未知的,可以利用样本观测值(,X2i,XhJ)对它们进行估计。若计算得到的参数估计值为P工p,P,用参数估计值替代总体回归函数的未知参数oi2*Po,PjP2,Pa,则得多元线性样本回归方程：Ay=P+PX+Px+Px(3-6)其中Pjj=o,2,Q为参数估计值，y=,2,用为丫的样本回归值或样本拟合值、样本估计值。其矩阵表达形式为:y,其中Y×lXX1121XXn22Jl x(+OX X In 2nB为被解释变量样本观测值向量v的Xl阶拟合值列向量;XklXA2为解释变量X的X(A+1)阶样本观测矩阵;XknzD%vx1为未知参数向量P的(&+l)x1阶估计值列向量。样本回归方程得到的被解释变量估计值)，与实际观测值)，之间的偏差称为残差6。4eyyy(8BxBBX)(3-8)二、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下假定：假定1零均值修定：E(N)=OJ=1,2,«,即E(N)假定2同方差假定(R的方差为同一常数攵)：W(N)E(Ni)O2,(/1,2,/?)假定3无自相关性：.CoJ,N)E(NN)0,(J中j,i,j=T2,n)JE（W）En（；）2“E（；2）1E（；）21=°（3-10）假定4随机误差项从与解释变量!不相关(这个假定自动成立)：Cov(X,；i)=0,(/=1,2,-，kJ=1,2,，n)假定5随机误差项从服从均值为零，方差为。2的正态分布：N-N(0,O假定释变量之间不存在多重共线性：rank(X)=k+<n即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵X的秩为参数个k+1,从而保证参数b'b,P的估计值唯一。第二节多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于含有女个解释变量的多元线性回归模型=P+PX+PX+PX+；(/=1,2,(01lf22ikkiin)设，PJ,£分别作为参数Pn,B:：,P的估计量，得样本回归方程为：。1k01k=P+PX+PX÷+Bx/0Ii 2kki-(P P XP P X)HiO由最小二乘法可0f,B,B,XT>2Z sP (KP .p ,p0X.2ZX-P X )(-1)=0-p kki)( X) = Q黑=Z(KB 邛 X-8 XsP I 1;-P kxki)(-XJ = 0观测值Y与回归值Y的残差e为:YYY12ikiki回归值Y的残差C的物和最小，P应使全部观测值Y与1kiii.,B)Ze)Z(yY)2iHXPXPX)21 It2Iu取得最小值。根据多元函数的极值原理，Q分别对p,p；J求一阶偏导，并令其等于零，即Oi*(3-12)SQ,-Q=0,(/=1,2,2)sp化简得下列方程组叩+PZx+pZx÷+8ZXZ Xly(3-13)1”21»-h、XX+DXdC7v7v>076zx+8zxx+8zxx+8IO.1Iikil2ikik上述(Z+1)个方程称为正规方程，其矩阵形式为nZXZXZp(3-14)ZXZxZ2,XX0ZxynijIiHEkipIiiZxZXIXZX2XZXzyKUki9因为nEXUExki-1lIrkiXxx21X22X*2XYUiexJkitX kExEXxiXInX2nX.kn1X12X222 HiIlX12XInXInX2n XXEkiX21X22X2nXXX尊IikiBOp1为估计值向量B2样本回归模型Y=Xp+e两边同乘样本观测值矩阵X的转置矩阵X',则有XY=X,Xp+得正规方程备、XY=(3-15)X,Xp由假定，R(X)=k+l,X'X为(Z+1)阶方阵，所以XX满秩，X'X的逆矩阵(X'X)存在。因而p(X,X)-(3-16)XY则为向量P的OLS估计三.成三元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。由(3-3)式得二元线性回归模型为y=Bo+B1X+B2Xz+N为了计算的方便，先将模型中心化。X=IZX,XmX-X,(j='2)jnr=lnr三l1.Z,(p,q1,2)=zx>yii(j=1,2)1.1.YYBPxPx则二元回归模型改写为中心化模(3-17)型。an0L XIl 21XX =XX2/ItXPiXIfi,(p, q 1,2)代入得aoP1Po Z, Elili Xi 2irZ Y Z xY ZJy-2n-(3-18)XX =00LLii12LL2122(3-19)因为ZxJZx一(+%£i=lilrZxr=l=L ,(/=1,2)jy(3-20)由(3-16)式得ZyXY= l iLL2 YP = (XfX)-iXT= nO(3-21)L-i = ii 12二22LL LL -L LLLLI2 j11 22122112由(3-21)式可知=F(3-22)(3-23)贝IJ(二)随机误差项N的方差Pi的估计量(3-24)样本回归方程得到的被解释变量估计值区与实际观测值y之间的偏差称为残差e /J1e=y-9=y-(B+8x+8x+ +p x)11/212ie=Y-Y=Y-Xp=(Xp+ji)-X(X,X)-iXT二(XP+1)-X(X,X)-1X(XO+g)=XP+H-XP+(XX)X>=(I-X(XX)X4=Iix(x,x)-ix,m设P=I-X(XX)X,可以得出P是阶对称幕等矩阵，P=P',P2=Po于是e=P2而残差的平方和为工e=e,e=(Pp),(Pp)=yP,Pp=pPp=p,IX(XX)X'pE(e,e)=Ep,I-X(XX)-X>p)“=O2trl-X(XX)-IXIJn=OiyrI-7rX(XX)-X=O2n-(k+1)R其中“行”表示矩阵的迹，即矩阵主对角线元素的和。于是02'-,=ECee_>.R(k+1)In随机误差项R的方差。2的无偏估计量，记作S2,即E(S2尸。2,S2=旨2,S为残差的RC(*R«Re标准差(或回归标准差)。因此工区e'eS2=(3-25)en-kn-k其中八-八62=e,e=(Y-X),(Y-XO)aA=YY-20XY+PXXO=YY-20,XY+B,X1X(X1X).IXY=YY-BXY(3-26)例如,对于二元线性回归模型=2)e'eZ/(3-27)S2=-Ien3n-3e-ee-LSL-BLYYHy22Y(3-28)二、估计参数的统计性质1、线性性指最小二乘估计量p是被解释变量的观测值Ky,丫的线性函数。I2火由于o二(XX)ay设P=(XX)-/X,则矩阵P为一非随机的(A+l)x阶常数矩阵。所以.O=PY(3-29)显然最小二乘估计量o是被解释变量的观测值匕匕，丫的线性函数。122、无偏性将Y=XO+2代入(376)式得0=(XXaXX。+Q=(XX)Txx+(xrx)T孙=0+(x,X)TX(3-30)Eg)=O+£(XX)-1X,N=0+(xrxAXE3)一0所以o是0的无偏估计量。3.最小方差性设P为XP阶数值矩阵，X为PX阶随机矩阵(随机变量为元素的矩阵)，Q为X阶数值矩阵，则E(PXQ)=P(E(X)Q下面我们推导。的方差、协方差矩阵。定义：VaG=E陨-0)6-0)由(3-30)式得
