第11章相关与回归分析.ppt
第十一章第十一章 相关与回归分析相关与回归分析一、相关与回归分析的基本概念一、相关与回归分析的基本概念二、简单线性回归分析二、简单线性回归分析三、相关分析三、相关分析一、相关与回归分析的基本概念相关与回归分析的基本概念 函数关系与相关关系函数关系与相关关系 函数关系：函数关系：当一个或几个变量取值一定时，另一个变量当一个或几个变量取值一定时，另一个变量有确定值与之对应，我们称这种关系为确定的函数关系。有确定值与之对应，我们称这种关系为确定的函数关系。相关关系：相关关系：当一个或几个相互联系的变量取一定数值时当一个或几个相互联系的变量取一定数值时 ，与之对应的另一个变量的值虽然不确定，但它仍按某种规，与之对应的另一个变量的值虽然不确定，但它仍按某种规律在一定范围内变化，我们称这种相互关系为具有不确定性律在一定范围内变化，我们称这种相互关系为具有不确定性的相关关系。的相关关系。函数关系函数关系和和相关关系相关关系在一定条件下可以相互转化。在一定条件下可以相互转化。一、相关与回归分析的基本概念相关与回归分析的基本概念 相关关系的种类相关关系的种类相关相关完全相关；不完全相关；不相关（完全相关；不完全相关；不相关（按相关程度划分按相关程度划分）正相关；负相关（正相关；负相关（按相关方向划分按相关方向划分）线性相关；非线性相关（线性相关；非线性相关（按相关形式划分按相关形式划分）单相关；复相关；偏向关（单相关；复相关；偏向关（按变量多少划分按变量多少划分）真实相关；虚假相关（真实相关；虚假相关（按相关性质划分按相关性质划分）一、相关与回归分析的基本概念相关与回归分析的基本概念 相关分析和回归分析相关分析和回归分析 相关分析：相关分析：用一个指标来表明现象间相互依存关系的密切程度。用一个指标来表明现象间相互依存关系的密切程度。回归分析：回归分析：根据相关关系的具体形态，选择一个合适的数学模根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量之间的平均变化关系。型，来近似地表达变量之间的平均变化关系。相关分析和回归分析联系：相关分析和回归分析联系：不仅具有共同的研究对象，而不仅具有共同的研究对象，而且在具体应用时，常常必须相互补充。且在具体应用时，常常必须相互补充。相关关系与回归分析区别：相关关系与回归分析区别：前者研究变量之间的相关方向前者研究变量之间的相关方向和相关程度，但不能指出变量之间相互关系的具体形式，从而无法从和相关程度，但不能指出变量之间相互关系的具体形式，从而无法从一个变量的变化来推测另一个变量的变化情况，同时不必确定哪个变一个变量的变化来推测另一个变量的变化情况，同时不必确定哪个变量是自变量，哪个变量是应变量；后者则不然。量是自变量，哪个变量是应变量；后者则不然。相关分析和回归分析的局限性相关分析和回归分析的局限性 一、相关与回归分析的基本概念相关与回归分析的基本概念 相关表和相关图相关表和相关图 相关表相关表是反映变量之间相关关系的统计表。将某一变量按其值的大是反映变量之间相关关系的统计表。将某一变量按其值的大小排列，然后再将与其相关的另一变量的对应值平行排列，便可得到小排列，然后再将与其相关的另一变量的对应值平行排列，便可得到简单的相关表。简单的相关表。企业编号企业编号1 12 23 34 45 56 67 78 89 91010广告费（万元）广告费（万元）2020151540403030424260606565707053537878年销售收入（百万元）年销售收入（百万元）2525181860604545626288889292999975759898年销售收入和广告费原始资料年销售收入和广告费原始资料广告费（万元）广告费（万元）1515202030304040424253536060656570707878年销售收入（百万元）年销售收入（百万元）1818252545456060626275758888929299999898销售收入与广告费相关图销售收入与广告费相关图一、相关与回归分析的基本概念相关与回归分析的基本概念 相关图（散点图）：相关图（散点图）：是以直角坐标系的横轴代表变量是以直角坐标系的横轴代表变量X，纵轴代表变量纵轴代表变量Y，将两个变量间相对应的变量值用坐标点，将两个变量间相对应的变量值用坐标点的形式描绘出来，用来反映两变量之间的相关的图形。的形式描绘出来，用来反映两变量之间的相关的图形。XYOOOOXXXYYYa、正相关b、负相关c、曲线相关d、不相关二、一元线性回归分析 标准的一元线性回归模型标准的一元线性回归模型 1.总体回归函数 一元线性回归模型的基本形式：Yi=+Xi+u i 该式被称为总体回归函数总体回归函数。式中的和是未知参数，又称回归系数；Yi和Xi分别是Y和X的第i次观测值；ui是随机误差项，又称随机干扰项，它是一个特殊的随机变量，反映未列入方程式的其他各种因素对Y的影响。由模型可知：Y是由X的线性函数（+Xi）和误差项）和误差项 u i组成，其中组成，其中（+Xi）是）是Y的数学期望，即：的数学期望，即：E（Yi）=+Xi 二、一元线性回归分析 E（Yi）=+Xi 上式表明：在上式表明：在X的值给定的条件下，的值给定的条件下，Y的期望值是的期望值是X的的严密的线性函数。这条直线被称为严密的线性函数。这条直线被称为总体回归线总体回归线，Y的实际的实际观测值并不一定位于该直线上，只是散布在直线的周围。观测值并不一定位于该直线上，只是散布在直线的周围。随机误差项随机误差项u i是实际观测点和总体回归线垂直方向是实际观测点和总体回归线垂直方向的距离，即的距离，即 u i=Yi-E（Yi）。XYYiXio二、一元线性回归分析 2.样本回归函数样本回归函数 样本回归直线样本回归直线：根据样本数据拟合的直线；：根据样本数据拟合的直线；样本回归曲线样本回归曲线：根据样本数据拟合的曲线。：根据样本数据拟合的曲线。一元线性回归模型的样本回归直线一元线性回归模型的样本回归直线可表示为：可表示为：式中，式中，是样本回归线上与是样本回归线上与Xi相对应的相对应的Y值，可视为值，可视为E(Yi)的估计；的估计；是样本回归函数的截距系数；是样本回归函数的截距系数；是样本回归函数的是样本回归函数的斜率系数，它们都是对总体回归系数斜率系数，它们都是对总体回归系数 的估计。的估计。XYiiYi,二、一元线性回归分析二、一元线性回归分析 实际观测到的应变量Yi值，并不完全等于 ，如果用e i 表示两者之差（Yi-）则有：上式称为样本回归函数。式中ei 称为残差，在概念上，e i 与总体误差项ui相对应；n是样本容量。样本回归函数与总体回归函数的区别：样本回归函数与总体回归函数的区别：总体回归线是未知的，它只有一条。而样本回归线则是根据样总体回归线是未知的，它只有一条。而样本回归线则是根据样本数据拟合的，每抽取一组样本，便可拟合一条样本回归线。本数据拟合的，每抽取一组样本，便可拟合一条样本回归线。总体回归函数中的总体回归函数中的，是未知的参数，表现为常数。而样本回是未知的参数，表现为常数。而样本回归函数中的归函数中的，是随机变量，其具体数值随抽取的样本观测值不同而是随机变量，其具体数值随抽取的样本观测值不同而变动。变动。总体回归函数中的总体回归函数中的ui是是Yi与未知的总体回归线之间的纵向距离，与未知的总体回归线之间的纵向距离，它是不可直接观测的。而样本回归函数中的它是不可直接观测的。而样本回归函数中的e i是Yi与样本回归线之间的与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，便可计算出数值。纵向距离，当根据样本观测值拟合出样本回归线之后，便可计算出数值。YiYieXYiii（i=1.2，n）二、一元线性回归分析二、一元线性回归分析 3.随机误差项的标准假定随机误差项的标准假定 假定假定1：E（u i）=0；假定假定2：V（u i）=E（u i2）=2 假定假定3：C o v（u i，u j）=E（u i，u j）=0 假定假定4：自变量是给定的变量，与随机误差项线性无关：自变量是给定的变量，与随机误差项线性无关 假定假定5：随机误差项服从正态分布：随机误差项服从正态分布 满足上述标准假定的一元线性回归模型，称为标准的满足上述标准假定的一元线性回归模型，称为标准的一元线性回归模型。一元线性回归模型。XYO。X1X2X nE（Y1）E（Y2）E（Y n）二、一元线性回归分析二、一元线性回归分析 4.未知参数未知参数，的估计的估计 回归分析的主要任务就是建立能够近似反映真实总体回归函数的回归分析的主要任务就是建立能够近似反映真实总体回归函数的样本回归函数。在根据样本资料确定样本回归方程时，一般总是希望样本回归函数。在根据样本资料确定样本回归方程时，一般总是希望Y的估计值从总体来看，尽可能接近其实际观测值，为此我们用残差平方的估计值从总体来看，尽可能接近其实际观测值，为此我们用残差平方和和 作为衡量总偏差的尺度。作为衡量总偏差的尺度。Q=残差平方和残差平方和Q的大小依赖于的大小依赖于 的取值。根据微积分中求极小值的取值。根据微积分中求极小值的原理，可知的原理，可知Q存在极小值，同时欲使存在极小值，同时欲使Q打到最小，打到最小，Q对对 的偏导数的偏导数必须为零。必须为零。即即 ei2ei2XYYYiiii22和和二、一元线性回归分析二、一元线性回归分析 的最小二乘估计最，分别，称XYYXnn方程，解得：，上述方程组上述方程n得 ，经02Q02QXXYXXXYXYXYXXXYXXXYXYii2ii22iiiiiii2iiiiiiiii是理整二、一元线性回归分析二、一元线性回归分析5.未知参数 的估计 是随机误差u i的方差，其大小可以反映回归直线拟合程度的好坏，所以必须对 做出估计。由于 未知，从而无法求出u i。因此我们用e i作为u i的估计值，其中 并把作为未知参数 的估计。并把 的正平方根称为回归估回归估计的标准误差计的标准误差 222,XYYYeiiiiininQnXYii12222122二、一元线性回归分析二、一元线性回归分析 例例1 对下表给出的数据，试用最小二乘法求水稻产量对下表给出的数据，试用最小二乘法求水稻产量Y对化肥用量对化肥用量X的回的回归直线，并求归直线，并求2的估计。的估计。化肥用量X（kg）15202530354045水稻产量Y（kg）330345365405445490455化肥用量与水稻产量二、一元线性回归分析二、一元线性回归分析 解：回归系数的计算常常列成如表：序号1153302251089004950325.187.822203454001190256900351.79-6.793253656251332259125378.40-13.4043040590016402512150405.000535445122519802515575431.6113.39640490160024010019600458.2231.78745455202520702520475484.82-29.8221028357000117032588775XiYiXi2Yi2YXiiYiYYeiii36.2453214.5210712835713214.5700072835210887757nn210XXYXYX222iiiiii二、一元线性回归分析二、一元线性回归分析 所求回归直线方程：所求回归直线方程：由此可计算出由此可计算出XY3214.536.24548.4652n182.418.32533018.325153214.536.245n1i2i221111ieYee的估计值为：列，算得其他结果见表中最后两的值，如和YYYi二、一元线性回归分析二、一元线性回归分析6.参数估计的性质参数估计的性质 的线性函数，是YYYn21,XXXYXXXXXXXXYXXXYXiiiii2ii2i2i2ii2iiXXXXYXYYYXXXi2iiX1XnXY是线性估计。，的线性函数，
