岭回归理论知识.docx

一、普通最小二乘估计带来的问题当自变量间存在多重共线性时，回归系数估计的方差就很大，估计值就很不稳定。此时模型或数据的微小变化有可能造成系数估计的较大变化,对预测值产生较大影响。下面进一步用一个模拟的例子来说明这一点。例1假设勺，与y的关系服从线性回归模型y=10+2xl÷3x2+给定占，的io个值，如下表：表1.现在我们假设回归系数与误率是未知的，用普通最小二乘法求回归系数的估计值得0=ll.292,1=ll.307,2=-6,591而原模型的绒BCFl0,Bl=2,Bj3看来相差太大。计算X1，X2的样本相关系数得rm.986,表明XI与2之间高度相关。二.、岭回归提出的背景岭回归是1970年由Hoerl和Kennard提出的，它是一种有偏估计,是对最小二乘估计的改良。设有多重线性回归模型y=由+£,参数夕的最小二乘估计为6=(W1zy那么£(|/-耶=2tr(ZT)-1当自变量出现多重共线性时,普通最小二乘估计明显变坏。当MrlnO时，J就会变得很大，这时，尽管6是夕的无偏估计，但力很不稳定，在具体取值上与真值有较大的偏差，甚至会出现与实际意义不符的正负号。设想给无T加上一个正常数矩阵A/(k>0,那么X*+A/接近奇异的程度就会变小。先对数据作标准化，标准化后的设计阵仍用X表示。称沙岭砌出eo速躲加A成为岭参数。当A=0时的岭回归估计就是普通的最小二乘估计。因为岭参数力不是唯一确定的，所以我们得到的岭回归估计方(Q实际是回归参数夕的一个估计族，取不同的4值时6(Q的取值不同。以女为横坐标，方(为为纵坐标的直角坐标系，可分析尸估计族的稳定性。优点：比最小二乘估计更稳定三、岭迹分析在岭回归中，岭迹分析可用来了解各自变量的作用及自变量之间的相互关系。下列图所反映的几种有代表性的情况来说明岭迹分析的作用。图1.岭迹图四、岭参数的选择(一)方法1 .由残差平方和来确定左值2 .Hoerl-Kennard公式3 .方差扩大因子法4 .岭迹法岭迹法的直观考虑是，如果最小二乘估计看来有不合理之处，如估计值以及正负号不符合经济意义，那么希望能通过采用适当的方(外来加以一定程度的改善，女值得选择就显得尤为重要。选择A值得一般原那么是：(1)各回归系数的岭估计根本稳定；(2)用最小二乘估计时符号不合理的回归系数，其岭估计的符号变得合理；(3)回归系数没有不符合经济意义的绝对值；(4)残差平方和增大不太多。图2如上图，当A取。时，各回归系数的估计值根本上都能到达相对稳定。缺点:用岭迹法来确定k值缺少严格的令人信服的理论依据,存在一定的主观人为性.优点：恰好发挥定性分析与定量分析有机结合.(二)岭回归选择变量的原那么:(1)在岭回归中设计矩阵X已经中心化和标准化了，这样可以直接比拟标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比拟稳定且绝对值很小的自变量。(2)随着A的增加，回归系数不稳定，震动趋于零的自变量也可以剔除。(3)如果依照上述去掉变量的原那么，有假设干个回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原那么可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。讲稿一一岭迹图解说丫有显著影响