第8章微分熵与平均互信息.ppt
微分熵与平均互信息微分熵与平均互信息第第8章章 微分熵与平均互信息微分熵与平均互信息信息如何度量？信息如何度量？微分熵与平均互信息微分熵与平均互信息8.1 微分熵微分熵1、单符号连续信源、单符号连续信源定义定义信源发出的消息为单一符号，这些符号随机取值信源发出的消息为单一符号，这些符号随机取值于一个连续域于一个连续域表示表示连续型随机变量连续型随机变量X微分熵与平均互信息微分熵与平均互信息)x(p)xX(pdX)xX(dPb,a xX随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息)x(pb,ax)X(pX1dx)x(pba其中微分熵与平均互信息微分熵与平均互信息)ab/(1b,a x)X(pX例例1222)x(2e21),(x)X(pX例例2微分熵与平均互信息微分熵与平均互信息概率密度函数概率密度函数p(x)如图所示如图所示2、熵与微分熵、熵与微分熵Nabxp(x)xbaa+(i-1)xa+ix微分熵与平均互信息微分熵与平均互信息ix)x(pix落在第落在第i个区域的概率个区域的概率N,2,1idx)x(pxiaxx)1i(a Pxiax)1i(aN,2,1ix)x(pdx)x(pixiax)1i(a根据中值定理根据中值定理Nabxp(x)xbaa+(i-1)xa+ix微分熵与平均互信息微分熵与平均互信息N1ii0 xNN1iii0 xNN1iii0 xNxlogx)x(plim)x(plogx)x(plim x)x(plogx)x(plim)X(Hxloglimdx)x(plog)x(pdx)x(pxloglimdx)x(plog)x(p0 xNbaba0 xNba熵熵微分熵与平均互信息微分熵与平均互信息微分熵微分熵消息消息x所对应概率密度函数所对应概率密度函数p(x)对数负值的数学期对数负值的数学期望，用望，用h(X)表示表示定义定义badx)x(plog)x(p)X(h表示表示微分熵与平均互信息微分熵与平均互信息微分熵不能作为连续信源的信息度量微分熵不能作为连续信源的信息度量定义微分熵的目的定义微分熵的目的微分熵差具有信息度量的意义微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式连续信源的微分熵与离散信源的熵在形式上统一上统一微分熵与平均互信息微分熵与平均互信息均匀信源的微分熵均匀信源的微分熵dx)x(plog)x(p)X(hba)ablog(dx)x(pab1logdxab1log)x(pbaba例例3)ab/(1b,a x)X(pX微分熵与平均互信息微分熵与平均互信息高斯信源的微分熵高斯信源的微分熵dx)x(xpXE其中dx)x(p)x()X(E222例例4222)x(2e21),(x)X(pX微分熵与平均互信息微分熵与平均互信息dxelog)x(pdx21log)x(pdxe21log)x(p 22222)x(22)x(2)e2log(212elog2logdx)x(p)x(2elogdx)x(p21log22222dx)x(plog)x(p)X(h微分熵与平均互信息微分熵与平均互信息不具有非负性不具有非负性例如，当例如，当b-a1时，均匀分布信源的微分熵时，均匀分布信源的微分熵0)ablog()X(h 严格上凸性严格上凸性3、微分熵的主要性质和最大微分熵定理、微分熵的主要性质和最大微分熵定理baba2211ba2121dx)x(plog)x(p)1(dx)x(plog)x(pdx)x(p)1()x(plog)x(p)1()x(p微分熵与平均互信息微分熵与平均互信息平均功率受限下的最大微分熵定理平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件最常用的限制条件平均功率受限平均功率受限均值为均值为0且方差受限且方差受限)eP2log(21)X(hP0Pmax2最大微分熵信源具有最大微分熵，的高斯、方差，均值平均功率被限定为微分熵与平均互信息微分熵与平均互信息设设p(x)是任意概率密度函数，但是任意概率密度函数，但0dx)x(xpPdx)x(px22dx)x(plog)x(p)X(hdxee22)x(plog)x(p22222x2x22微分熵与平均互信息微分熵与平均互信息dxe2)x(p1log)x(pdxe21log)x(p22222x22x2dx 1e2)x(p1)x(p)e2log(21222x22max22x22)X(h)eP2log(21)e2log(21dx)x(pdxe21)e2log(2122微分熵与平均互信息微分熵与平均互信息222x2e21)x(p当)eP2log(21)e2log(21)X(h)X(h2max微分熵与平均互信息微分熵与平均互信息8.2 联合微分熵与条件微分熵联合微分熵与条件微分熵信源发出的消息为有限或可数的符号序列，符号信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续序列中任何时刻的符号都随机取值于同一个连续域域1、多符号连续信源、多符号连续信源定义定义表示表示连续型随机变量序列连续型随机变量序列X1X2Xn微分熵与平均互信息微分熵与平均互信息为信源发出的消息的取值随机变量序列n21n21xxxXXX)xxx(pn,2,1kb,a xxxx)XXX(pXXXn21kn21n21N21，1dxdxdx)xxx(pbababan21n21 其中)xxx(p)xxxXXX(pXXdX)xxxXXX(dPn,2,1kb,a xxxxXXXn21n21n21n21n21n21kn21n21，微分熵与平均互信息微分熵与平均互信息nkn21n21n21)ab/(1n,2,1k b,a xxxx)XXX(pXXX，例例1)x()x)(x(2)x()1(21221k21212122222212211212112e1212,1k),(xxx)XX(pXX，例例2微分熵与平均互信息微分熵与平均互信息2、联合微分熵与条件微分熵、联合微分熵与条件微分熵联合微分熵联合微分熵消息消息x1x2xn所对应联合概率密度所对应联合概率密度函数函数p(x1x2xn)对数负值的数学期望，用对数负值的数学期望，用h(X1X2Xn)表示表示定义定义 bababan21n21n21n21dxdxdx)xxx(plog)xxx(p)XXX(h表示表示微分熵与平均互信息微分熵与平均互信息条件微分熵条件微分熵消息消息x1x2xn所对应条件概率密所对应条件概率密度函数度函数p(xk/x1xk-1)对数负值的数学期望，用对数负值的数学期望，用h(Xk/X1Xk-1)表示表示其中其中1kn定义定义表示表示 bababa321213321213baba21122112dxdxdx)xx/x(plog)xxx(p)XX/X(hdxdx)x/x(plog)xx(p)X/X(h微分熵与平均互信息微分熵与平均互信息 bababan211n1nn211n1ndxdxdx)xx/x(Plog)xxx(p)XX/X(h微分熵与平均互信息微分熵与平均互信息3、微分熵的链式法则、微分熵的链式法则 bababan21n21n21n21dxdxdx)xxx(plog)xxx(p)XXX(h bababan211n1nn21bababan2112n21bababan211n21dxdxdx)xx/x(plog)xxx(pdxdxdx)x/x(plog)xxx(pdxdxdx)x(plog)xxx(p微分熵与平均互信息微分熵与平均互信息 bababan211n1nn21baba211221ba111dxdxdx)xx/x(plog)xxx(pdxdx)x/x(plog)xx(pdx)x(plog)x(p)XX/X(h)X/X(h)X(h1n1n121微分熵与平均互信息微分熵与平均互信息4、联合微分熵的界、联合微分熵的界)X(h)X/X(h)XX/X(h)X(h)X/X(h)XX/X(h)X(h)X/X(hn1nn1n1n323213212n1kk1n1n121n21)X(h)XX/X(h)X/X(h)X(h)XXX(h微分熵与平均互信息微分熵与平均互信息8.3 平均互信息平均互信息1、单符号连续信道、单符号连续信道定义定义对应于单符号连续信源和单符号连续信宿的信道对应于单符号连续信源和单符号连续信宿的信道表示表示信源信源连续型随机变量连续型随机变量X信宿信宿连续型随机变量连续型随机变量Y微分熵与平均互信息微分熵与平均互信息随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息随机变量随机变量Y的取值的取值y为信宿收到的消息为信宿收到的消息Xp(y/x)Y)x(p)xX(pdX)xX(dPb,a xX)y(p)yY(pdY)yY(dPb,a d,c d,c yY通常微分熵与平均互信息微分熵与平均互信息p(y/x)为信道转移概率密度函数为信道转移概率密度函数1dy)x/y(pdc其中微分熵与平均互信息微分熵与平均互信息2、噪声熵与噪声微分熵、噪声熵与噪声微分熵Mcdyp(y/xi)ydcc+(j-1)yc+jyx落在第落在第i个区域基础上信道转移概率密度函数个区域基础上信道转移概率密度函数p(y/xi)如图所示如图所示 i=1,2,N微分熵与平均互信息微分熵与平均互信息Mcdyp(y/xi)ydcc+(j-1)yc+jyjy)x/y(pijy/xi落在第落在第j个区域的信道转移概率个区域的信道转移概率M,2,1jdy)x/y(p yjcx/yy)1j(c Pyjcy)1j(ciiM,2,1jy)x/y(pdy)x/y(pijyjcy)1j(ci根据中值定理根据中值定理微分熵与平均互信息微分熵与平均互信息噪声熵噪声熵 y)x/y(plogyx)yx(plim)X/Y(HM1jN1iijji0y,xM,NM1jN1iji0y,xM,NM1jN1iijji0y,xM,Nylogyx)yx(plim)x/y(plogyx)yx(plim dcba0yMdcbadxdy)xy(pyloglimdxdy)x/y(plog)xy(p微分熵与平均互信息微分熵与平均互信息 yloglimdxdy)x/y(plog)xy(p0yMdcba微分熵与平均互信息微分熵与平均互信息噪声微分熵噪声微分熵信源消息信源消息x信宿消息信宿消息y所对应信道转移概率密度函所对应信道转移概率密度函数数p(y/x)对数负值的数学期望，用对数负值的数学期望，用h(Y/X)表示表示定义定义 dcbadxdy)x/y(plog)xy(p)X/Y(h表示表示微分熵与平均互信息微分熵与平均互信息3、平均互信息、平均互信息信宿消息信宿消息y所对应概率密度函数所对应概率密度函数p(y)与信源消息与信源消息x信宿消息信宿消息y所对应信道转移概率密度函数所对应信道转移概率密度函数p(y/x)比比值对数负值的数学期望，用值对数负值的数学期望，用I(X;Y)表示表示定义定义表示表示 dcbadcbadcbadxdy)x/y(plog)xy(pdxdy)y(plog)xy(pdxdy)x/y(p)y(plog)xy(p)Y;X(I微分熵与平均互信息微分熵与平均互信息)X/Y(h)Y(hdxdy)x/y(plog)xy(pdy)y(plog)y(pdcbadc 微分熵与平均互信息微分熵与平均互信息)X/Y(H)Y(H)Y;X(I)X/Y(h)Y(hyloglim)X/Y(hyloglim)Y(h0yM0yM微分熵不能作为信息度量，平均互信息微分熵不能作为信息度量，平均互信息微分熵微分熵差，具有信息度量的意义差，具有信息度量的意义以信宿为参考，利用信宿的微分熵和信道的以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量噪声微分熵来度量信道中传输的平均信息量以信源为参考，利用信源的微分熵和信道的以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量损失微分熵来度量信道中传输的平均信息量微分熵与平均互信息微分熵与平均互信息4、平
