影像融合

影像融合（英语：Image Fusion）是指将不同感测器获得的同一场景图像，或者同一感测器以不同工作模式或在不同成像时间下获得的同一场景图像，运用融合技术合并成一幅综合了之前多幅影像优点、内容更为丰富的影像。影像融合技术产生于20世纪70年代末，是综合了感测器、影像处理、计算机和人工智慧理论的交叉型研究领域，并由于小波转换的崛起，使影像融合在近三十年里得到了快速的发展。影像融合的应用极为广泛，从军事领域、遥测领域、医学应用领域一直到数位成像领域。在军事领域可用来获取战场情势；在遥测领域可作天气预报、灾情探勘与监测；在医学领域则是平常在医院看见的各种精密仪器，例如: 电脑断层摄影（Computed Tomography, CT）、磁共振造影（Magnetic Resonance Imaging, MRI）、正子电脑断层扫描（Position Emission Computed Tomography, PET）。而数位成像则是日常生活中人手一机的数位相机，甚至智慧型手机的摄像功能。

影像融合的目的

利用多个感测器之间互补的特性，影像融合技术可以将二个或二个影像的感测器在不同或是相同时间下所获得的影像资讯合为一个影像，如此一来，可进用单一个影像来传递所有的资讯与消息。

影像融合的演进

1979年，在美国的Daily等人首次提出雷达影像与陆地资源卫星的多光谱影像进行融合处理，并用其来解释地质现象。^[1]
1981年，Laner及Todd等人实施Landsat-RBV影像和Landsat-MSS影像的融合实验。^[2]
1987年，Welch及Ehlers等人把不同解析度的Landsat-TM多光谱遥测影像与SPOT卫星的高解析度影像融合在一起。^[3]
由于军事及遥测等应用的需求大增，从而使影像融合技术有了大幅的发展与推进。
在1983年，Burt等人提出Laplace(拉普拉斯)金字塔分解算法后，大家开始尝试将原影像透过多尺度分解并在频域里进行影像融合的流程。^[4]
1989年，Toet等人根据人类视觉影像对比度信号灵敏度的优点，提出对比度金字塔的融合演算法。^[5] ^[6]
1993年，Burt等人为了要降低对比度金字塔的融合演算法的杂讯比，因而提出梯度金字塔分解图像的影像融合法。^[7]
1995年，Li, Zhou及Chellappa等人利用对比度金字塔的融合演算法来做孔径雷射与前视红外线影像的融合。^[8]
2000年，美国波音公司航空电子飞行实验室采用对比度金字塔演算融合的方法，成功地多源影像进行处理，其结果显示出可快速确立目标位置并对目标进行辨识。
90年代，随著小波理论不断地兴起，因其具有时频定位特性，使得小波理论在影像融合领域里受到极大的重视与采用，并开启了影像融合在多尺度分解应用的大门。
近几年来，更因Ridgelet^[9]、Curvelet^[10]、Bandlet^[11]以及Contourlet^[12]等变换的问世，使之在影像融合中有广大的应用。

影像融合的分类

针对不同的应用场合、不同的影像来源以及对影像融合目的的不同，可作以下的分类:讯号特征层次、影像来源及融合方法。

讯号特征层次

依照讯息特征层次的不同，由低到高可分为像素级影像融合、特征级影像融合和决策级影像融合。

像素级影像融合

在严格配准的条件下，根据某个融合规则直接对各辐射影像的像素进行讯号的融合。在影像融合的三个层次中，像素级影像融合是最低层次的融合技术，它保留了尽可能多的场景信息，精确度比较高，可用来提高讯号的灵敏度与信噪比，以利于目标观测和特征提取。但是对原图像之间的配对精确度要求也比较高。所以，在像素级影像融合前，必须将待融合的各影像进行精确的配对。且像素级影像融合的数据量大，处理速度较慢，准确性较差。

特征级影像融合

从各个影像中找出特征资讯（e.g. 边缘、形状、轮廓、角、纹理、相似亮度区域等资讯），并对其进行综合分析和处理。特征级影像融合属于中间层次上的资讯融合。在融合过程中，首先对各个影像进行特征提取，然后对影像在特征域中进行融合，最后在一张总的特征图上合并这些特征。特征影像融合保留了影像中足够的重要资讯，又可以对资讯进行压缩，有利于实际状况处理，并且由于所提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征资讯，从而提高系统的目标检测能力，更利于系统的判别。但是相对于像素级影像融合，特征级影像融合的资讯失真较多。

决策级影像融合

从各个影像中获取决策，依一定的准则及各个决策的可信度，将他们合并成一个全局性的最优决策。决策级影像融合是最高层次的资讯融合，其结果为指挥控制决策提供依据。在这一层次的融合过程中，首先根据每个影像分别建立对同一目标的初步判决和结论，然后对来自各个影像进行相关处理，最后进行决策级的融合处理，从而获得最终的联合判决。决策级影像融合具有良好的准确性和容错性，但其预处理代价较高，资讯损失也最多。

影像来源

根据影像来源的不同，影像融合可分为：相同感测器影像融合、异类感测器影像融合、遥测影像融合。

相同感测器影像融合

对同一种感测器在不同工作模式下或不同成像时间获得的影像进行融合，包括多聚焦影像融合、多曝光影像融合、时间序列影像融合等。其中，多聚焦影像就是由同种光学感测器采用不同工作模式（即不同的聚焦点）而获得的影像，时间序列影像则是由同种感测器在同一工作模式下于不同时刻对目标成像而得到的一系列影像。

异类感测器影像融合

即对由多个成像原理不同的独立的感测器获得的影像进行融合，包括红外线影像与可见光影像的融合、CT影像与MRI影像的融合…等等。例如，红外线影像是采用红外线探测器获取目标的红外线热辐射资讯，又被称为“热影像”，而可见光影像是采用光学感测器纪录目标的光谱反射信号。下，红外线影像可以确定目标的存在及相应位置，而可见光影像则能够描述场景的背景资讯。所以，红外线影像与可见光影像的融合可以将红外线影像中的热目标与可见光影像中的背景资讯结合起来，从而提高系统目标的侦测能力和对环境的释义能力。

遥测影像融合

即对由卫星或飞机成像感测器获得的影像进行融合。主要包括全色波段影像与多光谱影像的融合及SAR影像与多光谱影像的融合。例如：IKONOS卫星的多光谱影像与全色波段影像的融合、Landsat TM的多光谱影像和SPOT的全色波段影像的融合，其目的都是利用全色波段影像中的空间细节资讯和多光谱影像中丰富的光谱资讯，融合得到具有高空间解析度的多光谱影像，在保留光谱资讯的同时，提高影像的空间解析度。

融合方法

像素级影像融合依照融合方法可分成两大类:基于空间域的影像融合和基于变换领域的影像融合。

基于空间域的影像融合

直接在图像像素的灰阶上进行融合。常用的算法包括：加权平均融合算法、主成分分析融合算法、IHS空间融合算法、伪彩色融合算法…等等。

基于变换域的影像融合

首先对各个影像分别进行影像变换，再讨变换后的系数按一定的准则进行融合，最后对融合后的变换系数进行逆变换得到最终的融合影像。常用的算法包括：基于傅立叶变换的影像融合方法、基于多尺度分解的影像融合演算法…等。

影像融合之结构图

小波转换的影像融合

小波转换(Wavelet Transform)能将影像分解到不同尺度的多个频带上，符合人眼视觉的多通道分解规律，而且分解后的资讯无冗馀，具有极佳的压缩特性，因此，可将小波转换应用在影像融合此技术里。换句话说，小波转换影像融合即是利用小波函数将融合之影像进行分解与重建动作。

过程与步骤

小波转换的影像融合技术是在各个维度的各个子带上分别进行，其融合过程可分为以下步骤:

选择适当的小波函数
对原图像作小波转换，在低频部份，得到原影像的相似图形，而在高频部份得到各个维度、方向上的细节图形
通常，在低频部份的图形采用加权平均的融合技术；而高频部份则依一定的融合方法，在各自的维度与方向上进行融合，一般而言，会选择包含更多明显的高频小波系数作为融合后的小波系数
对融合后的低频及高频部份图形作反小波转换，得到的图形即为小波转换影像融合的结果

小波转换的影像融合演算法的性能受该演算法的融合方法而定，在表达影像的细节特征时，不同的融合方法会有不同的效果。

常见的小波转换影像融合的方法

选择系数绝对值最大的融合法

高频小波系数的绝讨值能够在一定程度上反映影像的灰阶变化程度，即影像有明显的细节特征。也就是说，绝纣值较大的高频小波系数代表影像在该位置灰阶变化较剧烈，对应到较强的边缘、纹理等明显的细节特征，这种较剧烈的灰阶变化和较显著的细节特征会给人眼带来比较强烈的刺激和感受，因此选择系数绝对值较大的高频小波系数作为融合后的高频小波系数，有利于提高影像融合的视觉效果，将多个影像中的显著的细节资讯呈现在融合结果中，可以增加融合的品质质量、提高融合影像的对比度。

假设原影像A、B经过J层小波转换后，得到系数{cA,d $A_{j}^{e}$ }、{cB,d $B_{j}^{e}$ }，融合的影像F对应的系数为{cF,d $F_{j}^{e}$ }。其中，cX(X=A,B,F)表示影像X在第J层的低频系数，d $X_{j}^{e}$ (X=A,B,F)表示影像X在第j( $1\leq j\leq J$ )层e(e=LH,HL,HH)方向上的高频小波系数。
低频子带的加权平均融合规则为: $cF(m,n)={\frac {1}{2}}[cA(m,n)+cB(m,n)]$ ，其中(m,n)表示低频子带系数的位置
高频子带的选取系数绝对值最大的融合规则为: $dF_{j}^{e}(m,n)={\begin{cases}dA_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|\geqslant |dB_{j}^{e}(m,n)|\\dB_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|<|dB_{j}^{e}(m,n)|\end{cases}}$

选择对比度绝对值最大的融合法

根据人类视觉系统的研究，发现人眼在看黑白影像时，主要是对影像上的局部灰阶对比度比较敏感。影像的局部灰阶对比度不仅反映了影像的清晰程度，还与影像的目标特征有关。蒲恬等人将小波转换的影像融合演算法与人类视觉系统的上述特征相互结合，提出了一种小波对比度的影像融合演算法[2]，该演算法由于利用了人类的视觉特性，因此能够产生具有较好视觉效果的融合结果。

定义小波的对比度: $CtrX_{j}^{e}(m,n)={\frac {dX_{j}^{e}(m,n)}{cX_{j}^{e}(m,n)}}$ ，其中 $cX_{j}$ 表示影像X(X=A,B)在第j层上的低频近似分量，相当于局部背景亮度； $dA_{j}^{e}$ 表示影像在第e层方向上位置(m,n)处的局部对比度资讯，及高频细节相对于低频背景的强度。具体的融合规则:
在低频子带用加权平均的方法进行融合，即 $cF(m,n)={\frac {1}{2}}[cA(m,n)+cB(m,n)]$
高频子带使用选取对比度绝对最大值的融合方法，即 $dF_{j}^{e}(m,n)={\begin{cases}dA_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|\geqslant |dB_{j}^{e}(m,n)|\\dB_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|<|dB_{j}^{e}(m,n)|\end{cases}}$
此演算法同时考虑到高频成分(细节资讯)与低频成分(背景亮度)对人类视觉的影响，更适合人眼的生理视觉特点，因此有较好的融合效果。

匹配度的融合法

Liu等人提出了匹配度的影像融合演算法，该算法的高频融合标准是由特性和匹配度共同决定，在两个影像的显著资讯较为匹配和不太匹配的两种情形下，分别采用不同的融合方式进行融合。此影像融合方式可在某种程度上避免由直接选择的融合标准引起方块效应(Deblocking)。

影像融合的应用

影像融合研究的迅速发展，使得影像融合的技术广泛地运用在生活的周遭。并随著感测器技术和什算机数据处理能提高，影像融合技术已经越来越广泛地应用在军事、遥测、医学成像、数位成像等领域。

军事领域

随著影像侦测能力的提升，感测器的种类日新月异。来自战场上影像情报愈来愈多，需要在大量不同类型的影像情报中快速、准确地综合、提取关于战场情势的有用讯息，从而形成强而有力的情报。因此，以多感测器影像融合为核心内容的战场态势感知技术成为现代战争中最具有影响力的军事技术，这在美、英等技术发展国家已受到高度重视并取得了相当的进展。

遥测领域

通过对同一场景的大量多源遥测影像的融合处理能够更准确、全面地认识和了解该场景的环境和自然资源情况。多元遥测影像技术目前已广泛用于大地测量、植物分类、冰雪监测、天气预报、灾情监测等方面。

医学应用领域

随著影像设备的发展和各类医学成像模式的出现，多模医学影像融合技术成为医学成像的重要技术，并逐渐应用于诊断和治疗中。由于不同影像设备的成像原理不同，它们所呈现的医学影像反映出人体不同的特征。例如：电脑断层摄影（Computed Tomography, CT）影像密度解析度高，能清晰显示骨质等硬组织结构；磁共振造影（Magnetic Resonance Imaging, MRI）影像软组织解析度高，可显示血管等软组织结构信息；正子电脑断层扫描（Position Emission Computed Tomography, PET）的影像主要是用来显示人体器官和肿瘤组织的生理和病理的功能及代谢情况。多模医学影像融合技术可将多种模式的医学影像信息结合，宾现优势互补，弥补因单一模式医学影像成像机原理不同造成的信息缺失，有助于对疾病准确且快速地诊断和治疗。

数位成像领域

由于光学成像系统聚焦范围有限，同一场景中位于不同距离的物体不能同时清晰成像，因此需利用多聚焦影像融合技术将源于同一场景、聚焦目标各不相同的影像进行融合处理，以使不同成像距离的物体清晰呈现于一个影像中，从而提高数位相机的成像质量。

此外，影像融合技术还可在工业生产中用于产品检验、材料检测，在安全检查中用于隐匿武器检测。随著影像融合技术研究的不断发展与进步，这项崭新的技术必定能应用到更多的领域。

参考文献

注脚

^ Daily M I, Farr T, Elachi C. Geologic intepertation from Composited radar and Iandast imagery [J]. Photogrammetric Engineering and Remote Sensing. 1979, 45 (8): 1109- 1116.
^ Laner D T, Todd W J. Land cover mapping with merged Landsat RBV and MSS stereoscopic images [A]. Proceedings of the ASP Fall Technical Conference, 1981: 680-689.
^ WeIeh R, Ehlers M. Merging multiresolution SPOT HRV and Landsat TM data [J] . Photogrammetric Engineering and Remote Sensing. 1987, 53 (3):301-303.
^ Burl P J, Adelson E H. The Laplacian pyramid as a compact image code [J]. IEEE Transaction on communications, 1983 , 31 (4): 532-540.
^ Toet A. Hierarchical image fusion [J]. Machine Vision and Applications, 1990, 3 (1): 1-11.
^ Toel A, Ruyven L V. Velaton J. Merging thermal and visual images by a contrast pyramid [J] . Optical Engineering, 1989,28 (7): 789-792.
^ Burt P J, Kolczynski R J. Enhanced image capture through fusion [A] . 4th International Conference On Computer Vision [C], 1993: 173-182.
^ Li H, Zhou Y T, Chellappa R. SAR/IR sensor image fusion and real - time implementation [A] . Proceedings of International Conference on Signals, Systems and Computers [C] . IEEE. 1995: 1121-1125.
^ Candès E J. Ridgelets: Theory and Applications [D] , Stanford: Stanford University, 1998.
^ Candès E J, Donoho D L. Curvelets: A surprisingly effective nonadaptive representation for objects with edges [R] . Stanford: Department of Statistics, Stanford University, 1999.
^ Pennec E L, Mallat S. Sparse geometric image representations with bandelets [J] . IEEE Transactions on Image Processing, 2005, 14 (4): 423- 438.
^ Do M N, Vetterli M. “ Contourlets” , in Beyond Wavelets [M] . San Diego: Academic Press, 2002.

其他参考资料

才溪, Multiscale Image Fusion PUBLIC HOUSE OF ELECTRONICS INDUSTRY
廖文宏(wen-Hung Liao),小波多层次解析之影像融合应用 (Image Fusion application of Multi-level Wavelet)

[1] Daily M I, Farr T, Elachi C. Geologic intepertation from Composited radar and Iandast imagery [J]. Photogrammetric Engineering and Remote Sensing. 1979, 45 (8): 1109- 1116.

[2] Laner D T, Todd W J. Land cover mapping with merged Landsat RBV and MSS stereoscopic images [A]. Proceedings of the ASP Fall Technical Conference, 1981: 680-689.

[3] WeIeh R, Ehlers M. Merging multiresolution SPOT HRV and Landsat TM data [J] . Photogrammetric Engineering and Remote Sensing. 1987, 53 (3):301-303.

[4] Burl P J, Adelson E H. The Laplacian pyramid as a compact image code [J]. IEEE Transaction on communications, 1983 , 31 (4): 532-540.

[5] Toet A. Hierarchical image fusion [J]. Machine Vision and Applications, 1990, 3 (1): 1-11.

[6] Toel A, Ruyven L V. Velaton J. Merging thermal and visual images by a contrast pyramid [J] . Optical Engineering, 1989,28 (7): 789-792.

[7] Burt P J, Kolczynski R J. Enhanced image capture through fusion [A] . 4th International Conference On Computer Vision [C], 1993: 173-182.

[8] Li H, Zhou Y T, Chellappa R. SAR/IR sensor image fusion and real - time implementation [A] . Proceedings of International Conference on Signals, Systems and Computers [C] . IEEE. 1995: 1121-1125.

[9] Candès E J. Ridgelets: Theory and Applications [D] , Stanford: Stanford University, 1998.

[10] Candès E J, Donoho D L. Curvelets: A surprisingly effective nonadaptive representation for objects with edges [R] . Stanford: Department of Statistics, Stanford University, 1999.

[11] Pennec E L, Mallat S. Sparse geometric image representations with bandelets [J] . IEEE Transactions on Image Processing, 2005, 14 (4): 423- 438.

[12] Do M N, Vetterli M. “ Contourlets” , in Beyond Wavelets [M] . San Diego: Academic Press, 2002.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]