第二章-贝叶斯决策理论.docx

,(1)-NJN.PWNzfN)假设(类)条件概率密度函数P(X1.3i),j=1.,2,用来描述每一类中特征向展的分布情况.如果类条件概率密度函数未知,凰么可以从可用的训练数据中估计出来.贝叶斯判别方法贝叶斯分类猊那么描述为：如果P(<x)>P(ft>X),那么XG1.如果&助|工)«。2|回.那么丫%(211)贝叶斯分类规那么就是看XG四的可能性大，还是XGg的可能性大。P(iIX),/=1,2解件为当样本X出现时，石蛉微率/'(他IX)和P(A1.X)的大小从而判别为属于勺或属于2类。三种概率的关系贝叶斯公式：Pgg=03D(2-1-3)P(X)其中.P(X)是X的概率.澎度函数(全概率密度：.它等于所有可能的类概率.密度函数乘以相应的先验概率之和.P（X）=£P（XI助）夕他）因为P(X)对于所存的类都是样的，可视为常数因子,它并不影响结果,不考虑“故可栗川下面的写法比拟后脸IK率的大小：p(x)P(P(X1.Q)P(h)那么有XGJ(2-1-4)(I)2二多类的情况 32,”表示样本X所属的个类别. 先龄概率P(姐)，=1.2,m假设类条件概率密度函数P(X1.助),1=1,2,小,计算后验概率后，假设：P,IX)>P(,IX)vji那么XG3i类.这样的决策可使分类错误率最小.因此叫做拈于最小错误率的贝叶斯决策.R1.和S3的分界点是p(x!)!)=p(x/i)P(i)的交点.R2和R3的分界点是p(x!(2)P)三p(x(w)P(如)的交点.'1R*Rif&决策域、决策面，决策面方程和判决函数和分类器决策域、决策面、决策面方程时于物类的分类任芬.按照决策规那么可以把多维特征空间划分成m个决策区域凡叫决策城.两个区域用，R.的边界叫决策面,X是一维时,淡策面是一个点：二维时,决策面是一条曲（三）线;三维时，决策面是一曲(平)面：雉时，决策面是一个切曲(平)面。在数学上用解析形式可以表示为用决黄血方置描述.可符决策面存作有正负的界面,对于任一样本X,代入决策面方程左边的多项式,段设是正的说明xe”,：假设为负说明x幼.判别函数4(x)把描述决策规那么的某种函数叫我别应改d,(x),例如4(x)=(P(SIX),其中/()是一个单调上升函数。对于最小错误率的情况，可描述为P(1.Ix)-P(WjIx)-O,用判决函数描述决策面方程更方便.分类号分类器可以看成是由软件或硬件组成的一个“分类的机器”，它的功能是先计算出m个判别函数再从中选出判别函数的大位的类作为决策结果.基于量小错误率的判决规那么的其他形式由P(XIe,)P(e)>p(XIm)P(公)，那么XG1.但这种月决规班么，可写成<UU,(2-2-5)假设«0=四处>2,那么有XeHp(x2)<,(i)()2这里把MX1.s)叫做似然函数,把/(X)=如止必叫做似然比，Q=P(幺)P(q)叫做似p(x2)然比脚值。还可以对(2-1-5)式取自然对数的负值,那么有ACr)=-In/(%)=-In/Xx)+1.np(x)假设基于最小错误率的判决规那么的判别函数 判决函数可以写成4(x)=P(X1.利)p(e).M.2,-./M或d(x)=P(tIX).=1.2.m两类问题时,m=2. 判决堤那么可写成：当J1(x)>J1(x),ji时，x<yr;或当Jz(x)=11axP(<y,IX)时，x<w,.不管采用哪一种判决的数,都归属于依据后脸概率最大作出判决,其结果使分类的错设率最小.错误率指平均错误概率，表示为(2-2-9)P(e)=p(e.x)dx=p(ex)p(x)dx对于两类何时假i殳P(S1.x)>P(ftx),那么有xw<i.图2-1-1P(G=£P(2x)p(x)dx+PIX)P(XwX=,p(X16)P(<y,)<1.x+jp(x)P(<i)dx(2-2-11)还可以写成：!e)=P(XG1.)+/XxGR2.1.)=p(xCR1.2)+p(xeR,t)=P(z)1.pix2dx+P(ry1.)/Xxj)dx(2-2-12)=Piz)P(e,)+P(ft)P(e1.)即图中斜线面枳和交叉战面积.第二节基于贝M斯公式的几种判别规那么行时最小错识率准那么并不一定是最重要的或最好指标.对语音识疥、文字识别来说可能这是最支委的相标.有些情况下,宁可能扩大一些总错误率,也要使损失减小,减小产生严贞的后果.因此引入。损失有关联、比损失更广泛的概念一风险.一、.基于最小风险的贝叶斯决策引入损失函数4(6,叼)，i=1,N.,=1.26.这个函数表示当X实隔叼类，来取决策为见(却判决为例)所带来的损失.以决策我发示各种情况下的决策损失.如下面的决策我表221三*31/1.A(|)A(，A(a)人(。t8.)«1(aj)A(«2.a»2)(a3wn>*：A(*)(1.w2)A(af.cva):：«(a4w)(.«2)A(4.r,)a(4)这里，“可以等于或大于，大于”，包含了拒绝判决的情况.般，正确的判断要比错误判断的投失小，即以氏,叼)>以见,利)，亦即4>4,。条件期望损失RSJx)一(又叫条件风险)对于给定的X的测试(ft.如果采取决第4,4可以在相应行的，"个N,.ej当中任取个.这里/=1,2,1.m,相应概率为P(勺).因此在采取决策,情况下的条件期望损失昭,IX)为：mR(a,1.X)=E(a1.,M)=(a1.coj)P(|x),i=1.2.a(2-2-3)?=1 此式是考虑到了某一行中各种请况下的损失的一种加权平均效果即判断XM于？类时相应于决策,的损失函数以各类后验概率为权王的加权和。式中将Jr来自任何一类的情况都考虑到了，同于某一类的可能性越大，P"""")越大，权由越大。 这里求期不值实际上是求%条件下相对求各类的平均风险。 根据上表,可以计算出。个条件风险R(x).Ria2x).,R(a1.x.期城风险RX是随机向量的测量的,用于X的不同观察值,采取决策a,时.其条件风险的大小是不同的.决策可以看成随机向量X的函数,记为(x),于是我们可以定义期望风险R为：=(r)x)Xx)tZr(2-2-4)式中.公是特征空间的体积元.积分在整个特征空间进行.期里风险R反映对整个特征度间所仃X的取值都采取相应的袂般(x)所带来的平均风险；而条件风险MajX)只是反映了对某X的取值来取决策里所带来的风哙。实际上是对某模式X进行分类判别决策时，算出判断它属于各类的条件期里风险夫(jx),阳%x).，K(ux)之后，判决X周于条件风险的那一类.最小风险贝叶斯决策规那么在考虑描到带来的损失时.我们带望损失最小.如果在采取每一个决策都使其条件风险最小,那么对所有的X作出决策时,其期望风险也必然最小.这样的决策就是最小风险贝H斯决策.最小风险贝叶斯决策班那么为：如果R(aiIx)=nin&勾x),那么有=4(2-2-5).i*1.2w.即在。个条件风险中,选一个最小的，这就是基于最小风险的贝页Wi决策.最小风险贝叶斯决策的步骤(1)在汽叼)，p(叼)，J=1,2,m,并给出待识别的X的情况下，根据贝叶斯公式可以计算出后验概率：.、P(X!叫)似叫).>(>xIX)=-1Z,)-1.,2,m(226)p(xIa>,)t>(a>,)SI(2)利用计算出的后段概率及决策表,按式(22-3)计算出采取,.二1.2.”的条件风险R(ai/x).(3)对步MU2)中得刎的。个条件风险值R(x).i1,2.”.进行比拟.找出使条件风险最小的决策见,即R("x)=minR(a1.x).那么aj1.就是最小风险贝叶斯决策，说明应该指出的是，最小风险贝叶斯决策除了要有符合实际情况的先验概率P(1.)及类条件概率密度/Xx<yp,y=1,2,m外，还必须要书"适宜的损失函数，(七.勺)，i=1.,2,，0,7=1.2.,/M-实际工作中要列出适宜的决策表不易,要根据具体同时分析佛设决策造成损失的严重程度,与专家共同确定.最小错误率与最小风险的贝叶斯决策规那么的联系设损失函数为；A(1.>.)=0'''i,j=1,2,m(2-2-7)'1.»)式中线定时于m类只有=析个决策，即不考虑“拒绝"的情况：时于正确决策(即i=力，4(勾,叼)=0,就是没有损失：而对于任何错误决策，其损失均为1.这样定义的损失函数称为01损失函数，此时，条件风险为：EERtaiIX)=(a,.<u.<yx)=ZP(ix).(2-2-8)J-I制式中，£P("X)表示对X采取决策的，即,的条件错误概率.所以在采用0-1损失函数时.使R(aX)=minPaix)的最小风险贝叶斯决策就等价P(叫X)=MnCW)»I1.1.a=)*JT兴的最小错误率贝叶斯决策.由此可见，最小错误率贝叶斯决策就是在采用Q-I损失函数条件下的最小风险贝叶斯决彼，即前者是后者的特例，二、羲曼皮尔逊决策法考虑两类问题的错误率分别为(e)和4(e)。由于实际工作中常常要求限制某类错误率不得大于某个常数而使另类错误率尽可能小，例如在癌细胞识别中,我们已经认识到把异常误判为正常的损失更为严重，常常要求这种误判为错误率名S)很小，即6(eb,%是一个很小的常数，在这种条件卜.再要求4(e)即把正常误为为异常的错误率尽可能小.所以这样的决策可右成是在Pe)0条件卜,求R(e)极小值的条件极值问甥。Ur以用求条件极值的1.agranxe乘子法解决这一何造，即按1.agranee乘子法建立如下数学模型：(2-2-9)r=>(e)+(>2(e)-0)式中A是1.agrangc乘子,目的是求r的极小值。从式(21-12)可知：%(，)=IP(XIw)dx,j(<)=IpxIo»2)dx(2210；JiJR1式中.周是类别回的区域：为是类别码的区域，而凡+&=&,人为整个特征空间，也就是说，决策作出之后.俗个特征空间分割成不相交的两个区域2和段.我设样本尸落入冬,就判定属广用类.反之那么随于g类.根据类条件概率密度的性质.仃：pixIco)dx=1-P(HI)dx(2-2-11)JR1.JR1.招式(2-2To)代入式(2-2-9),并顾及到式(2-27