第七章参数估计.docx
第七章参数估计第01讲替换原理和矩法估计对于本章中“参数”的说明本章所指的“参数”包括以下三类未知参数：(1)分布中所含的未知参数0,例如OT分布B(1,P)中的概率P；正态分布N(,O2)中的LI和。2.(2)分布中所含的未知参数的函数.(3)分布的各种特征数也都是未知参数，如数学期望、方差等等.一般用表示参数，参数的所有可能取值组成的集合称为参数空间,用®表示.参数估计的两种形式：点估计与区间估计设心，X2,，Xn是来自总体的样本，我们用一个统计量=XvX.Xn)的取值作为的估计值，Q称为的点估计(量)，简称估计(量).通过给出未知参数的某个区间来分析点估计精度的方法，被称为区间估计.第一节点估计的几种方法1.1 替换原理和矩法估计1.2 极大似然估计直接用来估计未知参数。的统计量-XvX.X)称为参数的点估计量，简称为点估计.1.l替换原理和矩法估计1.矩法估计替换原理常指如下两句话：用样本矩替换总体矩，这里的矩可以是原点矩也可以是中心矩；用样本矩的函数去替换相应的总体矩的函数.根据替换原理，在总体分布形式未知场合也可对各种参数作出估计.例如：用样本均值充估计总体的数学期望E(X),即=X；用样本二阶中心矩估计总体方差D(X),即力(X)=S：；用事件A出现的频率估计事件A发生的概率.这些都是在矩法估计中常见的，其中的s”.(xfnI矩法估计(替换原理)的实质：使用经验分布函数替换总体分布.2.概率函数p(x；O)已知时未知参数的矩法估计设总体具有已知的概率密度函数p(x;0"，0J,(%w是未知参数或参数向量，X1，X”是样本，假定总体的k阶原点矩Hk存在，则对所有的j,Hj都存在，O<j<k.若假设"，Ok能够表示成d,，Uk的函数8j=j(d,，nJ,则可给出各个Oj的矩法估计：4=%(4,J=LA(Ml)其中al是前k个样本原点矩q=垃必j=LR如果要估计以,，Ok的函数n=g(%,，M),则可直接得到n的矩法估计1=g(自，4>(7.1.2)当k=l时，我们通常可以由样本均值出发对未知参数进行估计；如果k=2,我们可以由一阶、二阶原点矩(或二阶中心矩)出发估计未知参数.【例题计算题】设总体X服从指数分布，其概率密度为p(x;A)=ex9x>0.X、.X.7.X是样本，求参数人的矩法估计.正确答案因为11E(X)=7则X=G21解得人的矩法估计量为=.X当然，也可以用样本二阶矩估计方差.所以未知参数的矩估计不唯一.但是通常应该尽量采用低阶矩给出未知参数的估计.【例题计算题】设X“X2,，X"是来自总体X服从a,b上的均匀分布，a与b均是未知参数，求参数a,b的矩法估计.正确答案a + b E(X) =亍,D(X) =12解得=E(X)-y3D(X),b=E(X)÷,3D(X).则a,b的矩估计分别为O=Mr3s=M+Js.【例题计算题】设有一批同型号灯管，其寿命(单位：h)服从参数为的泊松分布，今随机抽取其中的11只，测得其寿命数据如下：110,184,145,122,165,143,78,129,62,130,168用矩估计法估计人的值.正确答案设X为灯管寿命，则E(X)=X=>=X4 = 13055_1X=-Yx.=130.5511/-1【例题填空题】总体X服从区间0，的均匀分布，XHX2,，Xn是来自总体的一组样本，则参数0的矩法估计值为正确答案.X-U(Q,O),.E(X)=-,2令E(X)=-=，=>©=第02讲极大似然估计1.2极大似然估计引例：设有外形完全相同的两个箱子，甲箱中有99个白球和1个黑球，乙箱中有99个黑球和1个白球.现随机地抽取一箱，并从中随机抽取一个球，结果取得白球，问这球是从哪一个箱子中取出的？人们的第一印象就是：“此白球最像从甲箱取出的”，或者说，应该认为试验条件对取出白球最有利，从而可以推断这球是从甲箱中取出的.这个推断很符合人们的经验事实，这里“最像”就是“极大似然”之意.极大似然原理：概率大的事件在一次观测中更容易发生；在一次观测中发生了的事件其概率应该大.【例题计算题】设产品分为合格品与不合格品两类，我们用一个随机变量X来表示某个产品是否合格，X=O表示合格品，X=I表示不合格品，则X服从OT分布B(l,P),其中P是未知的不合格品率.求P的极大似然估计值.正确答案现抽取n个产品看其是否合格，得到样本值,p,2>Xw,这批观测值发生的概率为a居为=芍,H=玉；0=必。一4三#Q-P；P2所A2J*"2X令L3)=。"(l-p)TInL(P)=In。T+111(I-Mlj±x,rt-Xdpp1-p1"一)=欣0天,%)=一2%=X极大似然估计的基本思路：对离散型总体，设有样本观测值X，X2,，x,这观测值发生的概率，它一般依赖于某个或某些参数，用0表示，将该概率看成0的函数，用L(B)表示，即上二口禹=.%/=40.求极大似然估计就是找。的估计值=(p2.,j,使得上式的L(O)达到最大.对连续型总体，样本观测值X“X2,，X“出现的概率总是为0,但我们可用联合概率密度函数来表示随机变量在观测值附近出现的可能性大小，也将之称为似然函数.定义1设总体的概率密度为p(x;),Oc。，其中。是一个未知参数或几个未知参数组成的参数向量，。是参数可能取值的参数空间，X”，Xn是来自该总体的样本，X"，Xn是样本值,将样本的联合概率函数看成。的函数，用L(0,Xn)表示，简记为L(),有1.()=L(；xb,n)=p(1;)p(x2;)p(xn;)(7.1.6)称L()为样本的似然函数，如果某统计量G=。满足£(。)=InaXl(6),a17),则称是0的极大似然估计量，其观察值称为极大似然估计值.求极大似然估计值的一般步骤：(1)构造似然函数："%=阳,内,用)=n(2)求对数似然方程W-In工(夕)。的驻点，使得AA=优M，巧,Xj)=(°；,X,XlI)【例题计算题】设一个试验有三种可能结果，其发生概率分别为p",P=20(1-P3=(1-4现做了n次试验，观测到三种结果发生的次数分别为n”龟，n3,其中m+1+n3=n,求。的极大似然估正确答案似然函数为=(。2户2/1-0(1-。尸r=2匕卢F(I-4电F,InL(G)=(2+2)1d+(23+3)ln(l-)+Jn2.其对数似然函数为对。求导，并令其为0,即得似然方程2l÷l,½÷ls016留得小+？In进一步地，由于一过(8)=_2%+n2_2%+巧<02-"故可知6是极大值点，是的极大似然估计.【例题计算题】设总体XN,b)覆,电，不为其中一个样本，求未知参数H和。2的极大似然估计.正确答案似然函数为AaJ)=11=，T2,<t仁)8户A其对数似然函数为lnL(,)=-ln41Ino2-22b仁分别对U与。2求偏导，得dln£+3力(玉-)解得"=JSx=KnH1M_2=l(X.-X)2=5;.nIxamx>19/(x) = <设X”X2,，Xn是总体X的样本，已知总体的概率密度为其他.其中参数O>1.试分别求出的矩估计Gl和极大似然估计I"正确答案总体的数学期望为E(X)=X外9)公=.O由矩估计法，令X=,得的矩估计8-1&=X-I似然函数为-CD即）=n（而产）=/（n»）1M其对数似然函数为In=IIi。一(0+1)Z1七,i-l<lnL(ff)nJU=>Idx=0.dJ£解得的极大似然估计为第03讲点估计的评价标准第二节点估计的评价标准2.1相合性2.2无偏性2.3有效性2.1相合性点估计作为随机变量，根据格里汶科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性,相合性是对估计的最基左的要求,其严格定义如下：定义2设。W为未知参数，,XJ是。的一个估计量，n是样本容量，若对于任给£>0,都有：Ump4-e>a=0则称Oft为参数的相合估计.性质设X】，X2,，X”是来自正态总体N(,。2)的样本，则由大数定律及相合性定义知：(1) 又是U的相合估计；(2) 和S?都是。2的相合估计.定理设瓦“(X黑,乂)是的一个估计量，若IinI 伙4)= OgUmEa)=仇则是的相合估计.2.2 无偏性相合性是大样本下估计量的评价标准.对小样本而言，需要一些其他的评价标准，无偏性便是一个常用的评价标准.定义3设。二，(X,K,KI)是0的一个估计，的参数空间为®,若对任意的Oee有E()=e,则称G是的无偏估计，否则称为有偏估计.无偏性的要求可以改写为E()一0,这表小无偏估计没有系统偏差.注意:对任一总体而言，样本均值是总体数学期望的无偏估计；而二阶样本中心矩S：就不是总体方差。的无偏估计，因为针对前述情况的说明：(1)当样本量趋于无穷时，有风幻”，我们称S：为。2的渐近无偏估计.(2)如果对S：做出以下修正：6Vt(X-(724)则S?是总体方差的无偏估计，在小样本的情况下需要使用S2估计。2.无偏性不具有不变性:如果。是的无偏估计.一般而言，K(O)不是g()的无偏估计，除非g(。)是9的线性函数.【例题计算题】设&都是未知参数()的无偏估计,且&相互独立,试确定常数ClyC2,使4自.,众仍是的无偏估计.正确答案q,。是的无偏估计EQ=E=0£(q4+¾)=q£()+c2E()=qd+M=(q+c2)可知，当g+C2=1时，+c仍是。的无偏估计.2.3 有效性参数往往有多个无偏估计，如何进行选择？一般希望这个估计围绕参数的真值波动幅度尽可能地小,而波动大小可用方差衡量，所以我们常用无偏估计的方差大小作为度量无偏估计优劣的标准，这就是有效性.定义4设&,4是。的两个无偏估计，如果对任意金。有W)l>(x且至少有一个06)使得上述不等号严格成立，则称凡比”有效.【例题计算题】设X1,X1是来自正态总体N（u,1）的样本容量为2的样本，下面三个无偏估计量:&=；玉+*2；（Xl+*J33442中哪一个最有效？正确答案研*研汰Jxj=：Z）（XMaXJ=：。，>>>WiI）;QC禺扛）白。PG4巩勺）44416IOZZ442V。）最小八最有效.第04讲参数的区间估计第三节参数的区间估计3.1 置信区间概念
