图像融合技术原理

1引言

图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。该技术有基本的体系，主要包括的内容有：图像预处理，图像融合算法，图像融合评价，融合结果。图像融合系统的层次划分为：像素层融合、特征层融合、决策层融合，目前绝大多数融合算法研究都集中在这一层次上。图像预处理技术主要包括两个方面的任务：图像去噪、图像配准；图像融合算法从最初简单的融合算法（加权、最大值法）发展为复杂多分辨率的算法（金字塔、小波法等）；图像融合的性能评价主要有两个大的方面：主观评价及客观评价，由于在实际中不存在理想图源，所以一般采用较易实现的评价标准，结合主观视觉给出最合理的评价。

2图像融合设计

2.1 总体设计流程

系统的总体设计流程如图1所示：

图像1图像预处理图像2图像n图像融合算法图像融合评估图像融合结果 图1多源图像融合系统流程示意图

根据待融合图像自身的特点，图像传感器类型以及图像融合的目标，系统总体设计流程如下：

① 对图像进行预处理，如去除噪声、图像配准等； ② 确定合适的图像融合算法； ③ 对图像融合的结果进行评估；

④ 如果评估结果不满意，则调整参数，重新进行图像融合，转到步骤3； ⑤ 输出图像融合结果。

2.2 图像的预处理

在图像融合前，对输入图像进行特征抽取、分割和匹配前所进行的处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进图像融合的效果。预处理过程一般有数字化，平滑，复原和增强等步骤。根据所选用的图像传感器类型及图像融合的目标，对待融合图像进行预处理。主要包括以下几个方面：

① 数字化

一幅原始照片的灰度值是空间变量(位置的连续值)的连续函数。在M*N点阵上对照片灰度采样并加以量化(归为2b个灰度等级之一)，可以得到计算机能够处理的数字图像。为了使数字图像能重建原来的图像，对M、N和b值的大小就有一定的要求。在接收装置的空和灰度分辨能力范围内，M、N和b的数值越大，重建图像的质量就越好。

当取样周期等于或小于原始图像中最小细节周期的一半时，重建图像的频谱等于原始图像的频谱，因此重建像与原始图像可以完全相同。由于M、N和b三者的乘积决定一幅图像在计算机中的存储量，因此在存储量一定的条件下需要根据图像的不同性质选择合适的M、N和b值，以获取最好的处理效果。

② 平滑

消除图像中随机噪声的技术。对平滑技术的基本要求是在消去噪声的同时不使图像轮廓或线条变得模糊不清。常用的平滑方法有中值法、局部求平均法和k近邻平均法。局部区域大小可以是固定的，也可以是逐点随灰度值大小变化的。

③ 复原

校正各种原因所造成的图像退化，使重建或估计得到的图像尽可能逼近于理想无退化的像场。在实际应用中常常发生图像退化现象。例如大气流的扰动，光学系统的像差，相机和物体的相对运动都会使遥感图像发生退化。基本的复原技术是把获取的退化图像g(x，y)看成是退化函数h(x，y)和理想图像f(x，y)的卷积。它们的傅里叶变换存在关系G(u，v=H(u，讨F(u，v)。

根据退化机理确定退化函数后，就可从此关系式求出F(u，v)，再用傅里叶反变换求出f(x，y)。图像复原的代数方法是以最小二乘法最佳准则为基础。寻求一估值，使优度准则函数值最小。

这种方法比较简单，可推导出最小二乘法维纳滤波器。当不存在噪声时，维纳滤波器成为理想的反向滤波器。

④ 增强

对图像中的信息有选择地加强和抑制，以改善图像的视觉效果，或将图像转变为更适合于机器处理的形式，以便于数据抽取或识别。一个图像增强系统可以通过高通滤波器来突出图像的轮廓线。图像增强技术有多种方法，反差展宽、对

数变换、密度分层和直方图均衡等都可用于改变图像灰调和突出细节。实际应用时往往要用不同的方法，反复进行试验才能达到满意的效果。

⑤ 图像去噪

为提高融合图像的质量，根据各图像传感器采集到的图像的特点，进行图像去噪。传统的图像去噪方法是空域滤波，常见的空域滤波器有均值滤波器、中值滤波器等。由于这些滤波方法以平滑数据的方式去除噪声，通常也会模糊数据本身。

近年来出现了几种更有效的去噪方法，在有效去除噪声的同时可以更好地保持图像的边缘信息。一些方法借鉴了偏微分方程的思想，还有一些方法利用了小波域隐马尔可夫模型。

选择去噪方法的思想是根据图像自身的特点，研究合适的图像去噪方法以及合适的参数进行图像去噪，能有利于后续处理。

⑥ 图像配准

图像配准是在进行图像融合之前，非常重要的一个步骤。

图像配准是对来自同一场景的两幅或多幅图像，在空间位置上匹配其中对应于相同物理位置的像素点，这些图像可能来自不同时间、或不同的视点位置、或不同的传感器。对于图像融合而言，特别是像素级的融合方法要求待融合的图像已经配准。

一般的图像配准方式可分为以下几个步骤：

1）特征提取。即决定用什么样的特征来匹配图像。常用的特征可以是图像本身，还有图像边缘、角点和区域等。需要考虑采用什么样的方法以及利用图像的哪些属性提取特征。

2）相似性度量。相似性度量是度量图像之间的相似程度，它同特征选择紧密相关。常用的相似性度量有相关系数，交互信息量，欧式距离等等。

3）搜索空间。搜索空间是指存在什么类型的变换可以匹配两幅图像，它依赖于具体的应用领域，主要可以分为全局变换和局部变换。

4）搜索策略。搜索策略是指如何在搜索空间中找到最佳的变换。常用的搜索策略有松弛迭代方法、动态规划方法等。

图像配准的常用方法有：基于图像灰度的配准方法；基于图像特征的配准方法；基于区域互信息的特征级图像配准方法[2] 。

图像配准应尽可能利用采集设备，争取在采集设备处达到较高的配准精度；然后根据待融合图像的特点，研究图像配准的技术与方法。

2.3图像融合分层

图像融合系统的层次划分：像素层融合，特征层融合，决策层融合。

①像素层图像融合：如图2所示，像素级图像融合直接在采集到的原始图像数据上进行融合，然后基于融合的图像进行分析和处理，这种融合的优点是融合中心可以获得尽可能多的现场数据，提供其它融合层次所不能提供的细微信息，精度比较高。融合之前首先要对图像进行预处理的工作，包括降噪、几何校正、辐射校正、空间上精确配准等，如果参加融合的图像具有不同的分辨率，则需要在图像相应区域作映射处理。

图像1联合属性说明图像2配准像素级融合特征提取图像n 图 2 像素层图像融合示意图

②特征层图像融合：如图3所示，特征级图像融合是从各个传感器图像中提取特征信息，然后综合分析和处理的过程。提取的特征信息是像素信息的充分表示量或充分统计量，典型的特征信息包括边缘、形状、轮廓、角、纹理、相似亮度区域等。它属于中间层次的图像融合，为决策级融合做准备。特征级融合对传感器对准要求不如像素级严格，因此图像传感器可分布于不同平台上。特征级图像融合的优点在于实现了可观的信息压缩，变于实时处理。

图像1联合属性说明图像2特征提取特征层融合图像n 图3 特征层图像融合示意图

③决策层图像融：如图2.4所示，决策级图像融合是对来自多幅图像的信息进行逻辑推理或统计推理的过程。这种方法对图像传感器的配准要求最低，当信号表示形式差异很大或者涉及图像的不同区域时，决策级融合也许是融合多图像