的唯一方法。决策级融合是图像最高层次的融合。
图像1属性说明联合属性说明图像2特征提取属性说明分组决策级融合图像n属性说明 图2.4 决策层图像融合示意图
各个层次上的图像融合算法具有各自的优缺点。研究和应用最多的是像数级图像融合，目前已提出的绝大多数的图像融合算法均属于该层次上的融合。图像融合狭义上指的就是像数级图像融合。本文研究的也正是像素级图像融合。
2.4融合规则
本节简要介绍多尺度融合方案中的另一个环节——融合规则。源图像的边缘、纹理等重要信息均包含在高频分解系数中，因此融合规则主要针对高频系数实施；对低频系数通常采用加权平均的方法融合。融合规则问题可以描述为：对源图像A和B的某一组高频分解系数cA和cB应用一定的规则合并得到融合后的系数cF。
3基于像素的图像融合
该融合规则分为均值法和最大值法：像素绝对值取大（Choose-Max,CM）规则是最简单、直接的融合规则。高频分解系数对应输入图像的边缘、纹理等细节信息，而像素绝对值是对这种细节信息强度的最直观的度量。 CM规则正是基于这一点对系数进行合并。CM规则可描述为：
??cA(m,n)cF(m,n)????cB(m,n)当cA(m,n)?cB(m,n)其他 （18）
CM规则具有简单、易实现、运算速度快等优点;但是仅仅依赖单独的像素点作为细节信息的强度度量是不稳定的;尤其当MSD缺乏移变性时，分解系数的能量会随源图像的平移、旋转等规则变化发生剧烈的不规则的变化，导致融合后的图像缺乏一致性;另外CM规则传递并放大源图像中的噪声和死点。
3.1基于区域的图像融合
基于区域的图像融合规则分为：基于区域的最大值法，基于区域能量的图像
融合。
为克服CM规则的不稳定性，人们提出了基于面积(或窗口)的融合规则。细节信息强度的度量不再仅仅依赖某一点，而是由该点周围固定面积内的多个点按照一定比例决定。基于面积的规则通常采用固定大小的窗口对系数图像进行滤波，滤波后的像素值作为该点细节信息强度的度量。常用的基于面积的规则有Burt等[4]提出的加权平均规则(Weighted Average, WA)规则，以及Li等[5]提出的窗口基验证(Window Based Verification, WBV)规则。
① Burts方法的具体步骤:
第一步：在系数图像c?(m,n)(?=A,B)中，计算以(m，n)点为中心周围窗口区域内的能量(或方差)作为该点细节信息强度的度量S?(m,n)；
第二步，计算cA和cB之间局部的、归一化的互相关系数MAB(m,n)； 第二步，根据互相关系数大小，采取不同的融合方式:当MAB(m,n)?a时(a一般去0.85) ,说明源图像系数间相关性比较低，选取局部方差大的系数为融合后系数比较合理，即
?cA(m,n)cF(m,n)???cB(m,n)理，即
当SA(m,n)?SB(m,n)其他 （19）
当MAB(m,n)?a时，说明系数间相关性比较大，采用加权平均的方法更为合
cF(m,n)?w1(m,n)cA(m,n)?[E(m,n)?w1(m,n)]cB(m,n) （20） 其中E(m,n)为单位矩阵，权系数w1(m,n)由下式确定：
?111?MAB(m,n)?()??221?aw1(m,n)??1?1(1?MAB(m,n))?221?a?当SA(m,n)?SB(m,n) （21）
其他② Lis方法的具体步骤:
第一步，在系数图像c?(m,n)(?=A,B)中，选取点周围某窗口区域内的最大值作为该点细节信息的强度度量S?(m,n)；
第二步，基于SA(m,n)和SB(m,n)生成一个二元的融合决策图：
?1Map(m,n)???0当SA(m,n)?SB(m,n)其他 （22）
第三步，利用周围像素值对决策图进行一致性检验。统计决策图点周围窗口区域内“1”值的个数：
N1(m,n)???Map(m?u,n?v) （23）
u?Uv?V式2.23中U和V分别为窗口模板行号和列号组成的集合，若N1值大于半数 UVG(G?)则新的决策图在该点取1，即Map'(m,n)=1；若小于半数（说明0
2值大于半数）则Map'(m,n)=0；
第四步，根据新的决策图，确定融合后的系数表示：
cF(m,n)?Map'(m,n)cA(m,n)?Map'(m,n)cB(m,n) （24）
4灰度调整技术
在图像融合的过程中，可以根据输入图像的特征，选择对融合过程加入灰度调整技术。例如，由于传感器采集得到的数据存在差异，当我们对图像序列进行融合时，如果相邻的两幅图像灰度差异很大，用灰度调整技术进行处理后，使整个亮度差异不大，视觉观察更连续。本文中介绍两种灰度调整技术，即：
① 亮度—对比度传递技术； ② 直方图规格化技术。
4.1 亮度—对比度传递技术
设M为输入图像，F为调整后的输出图像，该技术的核心算子为：
msrefF?()?(M?mean)?mean_ref （25）
ms式25中mean代表M的均值，mean_ref是参考图像的均值，ms为M的均值方差，msref为参考图像的均值方差。
均值可以反映图像的平均亮度，方差可以表示图像的对比度，因此经过映射变换后，参考图像的亮度和对比度特征就会传递到灰度融合图像中，这也是本文称其为亮度-对比度传递（Luminance_contrast_adjust_transfer）技术的原因。这样，只要选取一幅合适的灰度参考图像，就可以用式25所示的方法来改善灰度融合图像的效果（也就是改善彩色融合图像强度分量的亮度和对比度），从而提高最终彩色融合图像的质量。LCAT 融合方法的融合效果与灰度参考图像的亮度和对比度有关，参考图像亮度过高（或过低）、对比度过低都会造成最终彩色融合图像细节的丢失。由式25可以看出，亮度-对比度传递过程中只用到参考图像的一阶（均值）和二阶（方差）统计量，这就表明，在实际的融合系统中没有必要存储一幅真正的图像，只要存储参考图像的两个特征参数，即均值和方差就足够了。所以在设计中，采用给定的参考均值和方差来处理，使处理过程得以简化，处理速度更快。
4.2直方图规格化
定义：生成具有指定直方图的图像的方法称为直方图规格化。这样方法的原理为：
在归一化[0 ,1]的连续区间中，令r和z分别表示输入图像与输出图像的灰度级。输入灰度级的概率密度函数pr(r)，输出灰度级的概率密度函数pz(z)。有直方图均衡化可得变换：
s?T(r)??pr(w)dw （26-1） H(z)??pz(w)dw?s （26-2）
00rz由于在规格化处理中，要得到的灰度级为z的输出图像，具有指定的概率密度函数pz(z)。由26式变换可得关系式：
z?H?1(s)?H?1[T(r)] （27） 在式26-1中，有输入图像可以得到T(r)，所以27式中的关键时如何确定
H?1，这样就能使输出图像得到变换后的灰度级z。
5图像融合评价
在前面的小节中，已经介绍了多种图像融合方法，对相同的图像处理后，不同的融合方法可以得到不同的融合效果，如何评价融合的结果，是图像融合的一个重要步骤。对图像观察者而言，图像的含义主要包括两个方面,一个是图像的逼真度，另一个是图像的可理解性。现有的图像融合性能评价的方式可分为：融合质量主观评价和融合质量客观评价。
主要的客观评价方法:由于不存在理想的标准参考图像，因而我们采用基于融合图像自身统计特性以及反映融合图像与源图像之间关系的性能指标客观地评价图像的融合效果。
① 图像均值（Average Value AV）
均值的大小表示了图像像素值的平均大小，它是属于统计特性的评价指标。图像的均值定义为：
1m?1n?1M???A(i,j)
m?ni?0j?0 （28）
式28中A(i,j)表示图像在该点的像素值；m和n分别为图像的宽度和高度；
M为均值。
② 标准偏差（Standard Deviation）
标准偏差是由均值间接求得的，图像的标准偏差反映了图像像素值的分布情况。标准偏差的定义为：
SD?1m?1n?1[A(i,j)?M]2 （29） ??m?ni?0j?0标准差越大，灰度级分布越分散，目视效果越好。 ③ 信息熵（Entropy）
信息熵是衡量图像信息丰富程度的一个重要指标，融合图像的熵越大，说明融合图像的信息量增加得越多，图像的融合效果越好。其定义如下：
H???Pi?log2(Pi)
i?0L?1 （30）
其中，L表示融合图像F的总灰度级数，行数和列数为m?n，Pi表示灰度值为i的像素数目Ni与图像总像素数N之比，即:P其反映了图像中灰度i?Ni/N，值为i的像素的概率分布，可看作是图像的归一化直方图。
④ 平均梯度（Average Gradient）
平均梯度也称为清晰度，它反映了图像中的微小细节反差与纹理变化特征，同时也反映了图像的清晰度，其定义为：
1m?1n?122 ?g?(?Ix??Iy)/2 ??m?ni?0j?0 (31)
式31中?Ix与?Iy分别为x与y方向上的差分。一般来说，图像的平均梯度越大，表示图像越清晰度，融合效果也越好。
⑤ 相关系数（Correlation Coefficient）
相关系数反映了两幅图像的相关程度，两幅图像的相关系数越接近于1，表明图像的接近度越好，其定义为：
[(A(i,j)?A)?(B(i,j)?B)]?i,j (32) C(A,B)?22?[(A(i,j)?A)]?[(B(i,j)?B)]i,ji,j式32中A(i,j)和B(i,j)分别为两幅图像的灰度值，A和B分别为其均值。在实验中，假设B为融合的结果，A为参考图像，若将B与理想的标准参考图像进行比较，很容易客观反映融合结果的好坏。但是，在实际中，很难存在这样的理想的标准参考图像，所以在实验中，本文选择了输入的可见光图像作为参考图像A。因此，就需要通过客观指标，结合主观分析来进行判断。