04图像融合技术概论(像素级).docx

图像像素级融合算法（讲稿D2、图像融合算法探讨主要集中介绍像素级融合算法。依实现原理划分，像素级图像融合算法大体分为：代数算法，假彩色技术，图像调制技术，多辨别技术，基于视觉神经动力学的图像融合技术，等。2.1代数法代数法包括加权融合、单变量图像差值法、图像比值法等。最常用的方法是加权平均法。加权平均法主要是运用代数运算和线性运算来处理图像，是早期的图像融合方法。它的基本原理是不对源图像进行任何的图像变换或分解，而是干脆对各源图像中的对应像素进行选择（选取最大值或最小值）、平均或加权平均等简洁处理后输出融合图像。以4表示融合图像的第/个像素灰度值，G,表示参与融合的第，幅图像第/个像素灰度值。表示参与融合的第i幅图像第7个像素的权值。加权平均法的数学表示式为：1.j=AjiGjiI=I=1Z=I依据实际应用的须要，代数法可实行局部和全局处理。下面主要说明全局法的处理过程。考虑到图像的整体性，全部融合运算采纳了统一标准，因此称为全局法。主要步骤如下：（I）求出图像灰度的最大值、最小值、均值与方差；（2）由这些参数通过肯定的运算，计算出一个变换式，可将高辨别力图像的灰度变成。到1的实数；（3）用变换后的实数与低辨别力图像进行肯定的运算，其所得到的结果即为融合图像；（4）这个图像往往色调比较暗，必需进行增加才能满意要求。设高辨别在目像灰度、灰度最小值、最大值、均值与方差分别为gfg,“心，低辨别力图像灰度值为g/，融合后的灰度值为g/，D'为变换系数。2、假彩色技术假彩色（FalSeCOlor）图像融合处理的原理基于如下事实：人眼对颜色的辨别力远超过对灰度等级的辨别力。因此，假如通过某种彩色化处理技术将隐藏在不同原始信道图像灰度等级中的细微环节信息以不同的色调来表征，可以使人眼对融合图像的细微环节有更丰富的相识。以假彩色法来实现图像融合的工作由来已久，随着对人眼生理特性相识的逐步深化，这种方法也在不断改进，以期达到既能将各原始信道的图像信息尽量地表现出来，又能使融合图像的可视效果符合人眼生理习惯的目的，这是当前假彩色探讨的关键所在。依据信息融合发生的色度空间不同，假彩色融合算法可分为三类：2.1.1 灰度融合后采纳假彩色编码的融合算法这种假彩色融合方法可以认为是图像处理的后期的假彩色化处理，其本质与图像融合并无干脆联系，基本是灰度图像的假彩色编码的问题。有文献分别采纳灰度调制、灰度级平移叠加以及小波融合的处理手段对灰度图像进行融合后再进行假彩色处理，取得了肯定的效果。此类算法的关键是选择合适的彩色标尺，而此要求却较为苛刻，使得这一方法一般只作为图像融合结果的可选附加处理。2.1.2 基于RGB色空间的假彩色融合技术任何图像的彩色处理最终都将归结至RGB色空间的转换，因此，干脆在RGB色空间的假彩色融合处理具备的最大特点就是计算简洁，速度快，便于硬件实现和实时处理。此类算法的原理依据如下的基本领实：来自不同图像传感器的图像总存在着差异，而这种差异一般总是以不同图像传感器的图像间不同的灰度特性分布所表征。因此，干脆基于RGB色空间的假彩色融合处理就是利用不同图像间的灰度分布的不同，经过某种处理后，提取不同图像间的灰度差异，以某种组合方式送至R、G、B三通道干脆进行显示。当然，不经过提取灰度差异这一处理过程而干脆将图像送至RGB通道进行显示，在某些状况下可能也是一种有效而便捷的处理手段。基于RGB色空间的假彩色融合处理的基本运算结构流程见图2.IoRGB色空间映射技术存在的主要缺点是融合前对融合后将要出现的图像细微环节的彩色表征缺乏可预见性，融合图像的细微环节表征与常规所见的图像往往大相径庭，视察员要辨识出图像细微环节，经常须要经过肯定的训练和具备肯定的阅历。假如希望得到较佳的可视效果，一般须要采纳一些生理光学领域的探讨成果，通过分析人眼的生理特性来确定映射算法。g3(U)RB数据预处理假彩色合成假彩色融合图像图2.1基于RGB色空间的假彩色融合处理示意图有文献依据人眼的视觉习惯开发了一种融合红外和可见光图像的假彩色映射技术。该算法将红外图像和可见光图像经过肯定的交互处理后，分别送至R、G、B三通道，使得融合图像具有肯定的自然性，其具体处理步骤如下：1)图像相关性提取图像相关性提取指提取可见光图像和红外图像间的公有部分：令ViS访/e表示可见光图像，TTzerma/表示红外图像，ComWo表示两图像的公有部分，(i,j)表示图像像素坐标，则有：Comnoni,j)=Visibly,j)Thermal(i,j)(2.4)提取两图像公共部分的具体操作，可以采纳求取最小值的方法来处理，即：Common(z,j)=11in(Visible(iyjThermal(z,J)(2.5)2)图像去相关图像去相关指提取可见光图像和红外图像各自的特征部分：令HSi4e*表示可见光图像的特征部分，TVzermo/*表示红外图像的特征部分，则有：Visible"(i,j)=Visible。,j)-Conmion(i,j)(2.6)Thennal*(z,j)=Themial(z,j)-Convnon(i,j)(2.7)3)图像交互处理图像交互处理指采纳何种融合算子来有效包涵可见光图像和热红外图像各自蕴含的信息。依据生理光学的探讨成果，原则上，假如一路图像在某个区域的特征成分具有显著值，任何减小另一路图像对应区域动态范围的操作均可以选择。有文献采纳交叉相减的处理来实现，并将处理结果干脆送至R、G、B三通道进行显示，即：*'Thermal-Visible、rThermal-VisibleGVisible-The11naVisible-Thermal"Visible-Therma/Visible-Thermalk(2.8)由式(2.8)看出，R通道显示的是降低了可见光图像对应部分的红外图像；相反，G通道显示的是降低了红外图像的对应部分的可见光图像，即将红外与可见光图像的突出部分分别增加，并利用不同的色调来表现其细微环节。这样的融合结果为：在以表现可见光图像与红外图像差异的蓝色背景下，以红色作为红外图像的特征突出部分、绿色作为可见光图像的特征突出部分，比较符合自然特征，图像看起来更自然些。但是，该算法仍不能避开假彩色算法的固有缺陷，即假如事先不知道景物的大体属性，则不具阅历的视察员很难推断出静态目标的属性。因此，这种算法假如应用于对动态目标的监视视察，可以取得较好效果。对式(2.8)的图像交互算法进行某些改进可使融合结果的色调层次更丰富，对于多细微环节目标产生更好的效果。本课题组就提出过用两图像公共部分映射到B通道的方案。基于1.HS色空间的假彩色处理与RGB色空间映射技术的缺乏可预见性不同，1.HS色空间的1.（明度）、H（色调）、S（饱和度）模型由于干脆反映人眼的感觉，故基于该色空间的假彩色融合技术具有较好的可预见性。该方法是将图像数据经过预处理后分别赋于1.、H、S色通道，然后再换算至RGB色空间以实现彩色显示。其融合流程见图2.20灰度图像MiJ)f2(U)假彩色融合图像图2.2基于1.HS色空间的假彩色融合处理示意图基于1.HS色空间的假彩色融合处理首先要确定原始图像与1.、H、S三坐标的对应关系，关键是确定在融合中起主导作用的原始图像，把它对应于H通道，然后对应地对原始图像和1.、H、S进行分割。国际上的一些探讨表明基于1.HS色空间的假彩色技术较干脆在RGB色空间的处理更加符合人眼的生理视觉特性，但由于该过程计算较为困难，H坐标的起始点、取值方向和间隔等参数均须要多次试验来确定，因此其实际应用受到限制。2.2图像调制技术调制（MOdUIation）本为通信技术术语，意指一信号的某参数（强度、频率、相位等）随另一信号变更而变更，是信号处理领域一种很常用的手段。在数字图像处理领域内，假如将图像看成是二维信号，那么对多路图像进行的融合处理可以看作是图像信号间的相互调制。因此，借助通信技术的一些思想，调制技术在图像融合领域也有着相当广泛的应用。用于图像融合的调制技术一般适用于两幅图像的融合处理。具体操作一般是将一幅图像进行归一化处理，然后将归一化的结果与另一幅图像相乘，最终重新量化后进行显示。这种处理方式相当于无线电技术中的调幅（AmplitudeModulation）,数字图像的灰度大小就相当于无线电波的幅度大图像对比度调制Smith提出的基于对比度归一化处理的对比度调制技术（ContrastModulationTechnique）,用来融合可见光图像和红外图像。其基本思想是依据可见光图像包含的细微环节信息较为丰富的特点，提取可见光图像的对比度，以此调制红外图像的灰度分布，从而达到融合的目的。具体操作如下：1）可见光图像对比度提取获得图像的对比度信息，必需得到图像高频和低频的重量。令1.OWPASS表示低通滤波，G表示输入图像，G/表示低通滤波后的图像，则由(2.9)G1=1.OWPASS(G)可得到可见光图像的低频重量，然后求得图像的局域对比度C,即：Ctj)=G(i,)-G(0)G(")(2.10)之后将局域对比度归一化，得到归一化对比度C*：C*(i,7)=Cy'/)-T(Cw)(2.11)max(C(i,7)-nin(c(z,)2)融合调制将式(2.11)得到的归一化对比度C*与热图Gr相乘，即可得到融合图像：GF1.j)=C飞加GTtj)(2.12)将得到融合图像重新量化，使之灰度范围与显示设备动态范围R相匹配,即：G；(i,j)=RG疼)-(G"1)(2.13)max(Gp(i,；)-min(Gf(i,)得到的G；即为最终呈现的融合图像。图像灰度调制我们探讨发觉了一种简洁有效的融合可见光图像和热红外图像的灰度调制法。灰度调制是一种线性处理，采纳线性归一化的手段将图像进行变换，一般仍旧对两路图像中细微环节较多的一路进行归一化，然后调制另一路。其过程为：首先求出可见光图像Gy的归一化图像G；：1.(iGy(i,j)-min(Gy(i,j)5"'一ImX(GyGJ)min(GGS)然后以归一化可见光图像对红外图像热冉进行调制：Gf(")=G；CJ)XG/力(2.15)最终按式(2.13)对调制结果重新量化得到融合图像G；。灰度调制方法虽然运算简洁，但实际试验表明其融合效果却好于对比度调制法。调制融合技术以一幅图像的灰度特征对另一幅图像施加“影响”，变更其灰度分布属性，算法比较简洁，是实现可见光和红外图像融合的一种好用技术。多辨别技术图像的多辨别(MUIlireSOIUtion)结构理论来源于计算机视觉探讨中对人眼感知过程的模拟，例如，假如在一幅图像中我们不先识别出“房子”，那么就很难辩识图像中的小方框是不是“窗户一般而言，多辨别结构是对输入图像信息供应相继压缩表示形式的数据结构。被压缩的信息可以是简洁的图像灰度，也可以是描述图像中的一些特征信息(如前面探讨的基于多辨别特征点提取的图像配准)，前者的多辨别结构相继表示辨别力逐级降低的输入图像，而后者则越来越粗地近似表示这些特征。图像多辨别结构的另一重要优越性在于：在低辨别力层上粗略的信息只用很少的数据量来表示，故在该层上可以获得很快的处理速度；到了高辨别力层，尽管描述细微环节的数据量增大，但由于已有了对低辨别力层信息的识别，还是有可能通过面对目标的处理方法来提高计算速度。多辨别结构的形成是采纳对图像进行自底向顶的计