基于特征空间多分类对抗机制的红外与可见光图像融合

张浩; 马佳义; 樊凡; 黄珺; 马泳

doi:10.7544/issn1000-1239.202110639

基于特征空间多分类对抗机制的红外与可见光图像融合

武汉大学电子信息学院　武汉　430072

基金项目: 国家自然科学基金项目（62075169, 62003247, 62061160370）；湖北省自然科学基金项目(2019CFA037, 2020BAB113)

详细信息

作者简介:
张浩: 1996年生. 博士研究生. 主要研究方向为计算机视觉、机器学习

马佳义: 1986年生. 博士，教授. 主要研究方向为计算机视觉、模式识别、机器学习

樊凡: 1989年生. 博士，副教授. 主要研究方向为红外热成像、机器学习

黄珺: 1985年生. 博士，副教授. 主要研究方向为红外图像处理、红外光谱处理

马泳: 1971年生. 博士，教授. 主要研究方向为图像处理、红外遥感探测

通讯作者:
马佳义（jyma2010@gmail.com）

中图分类号: TP391
计量
- 文章访问数: 527
- HTML全文浏览量: 172
- PDF下载量: 169
出版历程
- 收稿日期: 2021-06-10
- 修回日期: 2022-06-06
- 网络出版日期: 2023-02-26
- 刊出日期: 2023-02-28

Infrared and Visible Image Fusion Based on Multiclassification Adversarial Mechanism in Feature Space

Electronic Information School, Wuhan University, Wuhan 430072

Funds: This work was supported by the National Natural Science Foundation of China (62075169, 62003247, 62061160370) and the Natural Science Foundation of Hubei Province (2019CFA037, 2020BAB113).

摘要

摘要:
为突破传统融合规则带来的性能瓶颈，提出一个基于特征空间多类别对抗机制的红外与可见光图像融合网络. 相较于现存方法，其融合规则更合理且性能更好. 首先，训练一个引入注意力机制的自编码器网络实现特征提取和图像重建. 然后，采用生成式对抗网络(generative adversarial network, GAN)在训练好的编码器提取的特征空间上进行融合规则的学习. 具体来说，设计一个特征融合网络作为生成器融合从源图像中提取的特征，然后将一个多分类器作为鉴别器. 这种多分类对抗学习可使得融合特征同时逼近红外和可见光2种模态的概率分布，从而保留源图像中最显著的特征. 最后，使用训练好的译码器从特征融合网络输出的融合特征重建出融合图像. 实验结果表明：与最新的所有主流红外与可见光图像融合方法包括GTF, MDLatLRR, DenseFuse, FusionGAN, U2Fusion相比，所提方法主观效果更好，客观指标最优个数为U2Fusion的2倍，融合速度是其他方法的5倍以上.
- 图像融合 /
- 融合规则 /
- 深度学习 /
- 自编码器 /
- 生成式对抗网络
Abstract:
To break the performance bottleneck caused by traditional fusion rules, an infrared and visible image fusion network based on multiclassification adversarial mechanism in the feature space is proposed. Compared with existing methods, the proposed method has more reasonable fusion rule and better performance. First, an autoencoder introducing attention mechanism is trained to perform the feature extraction and image reconstruction. Then, the generative adversarial network (GAN) is adopted to learn the fusion rule in the feature space extracted by the trained encoder. Specifically, we design a fusion network as the generator to fuse the features extracted from source images, and then design a multi-classifier as the discriminator. The multiclassification adversarial learning can make the fused features approximate both infrared and visible probability distribution at the same time, so as to preserve the most salient characteristics in source images. Finally, the fused image is reconstructed from the fused features by the trained decoder. Qualitative experiments show that the proposed method is in subjective evaluation better than all state-of-the-art infrared and visible image fusion methods, such as GTF, MDLatLRR, DenseFuse, FusionGAN and U2Fusion. In addition, the objective evaluation shows that the number of best quantitative metrics of our method is 2 times that of U2Fusion, and the fusion speed is more than 5 times that of other comparative methods.
- image fusion /
- fusion rule /
- deep learning /
- autoencoder /
- generative adversarial network

HTML全文

开放最短路径优先（open shortest path first, OSPF）^[1]协议和中间系统到中间系统（intermediate system to intermediate system, IS-IS）协议是互联网目前使用的2个典型的域内路由协议^[2]，这2个协议采用最短路径将报文从源地址转发到目的地址. 在OSPF和IS-IS中，每个路由器通过交互链路状态通告获得整个网络的拓扑结构，然后该路由器通过迪杰斯特拉算法计算以自身为根的最短路径树，最后该路由器根据最短路径树构造出自己的路由表. 当网络出现故障时，OSPF和IS-IS采用重新收敛机制来应对网路中的故障. 但是研究表明^[3-5]，它们的重新收敛时间大概在几秒甚至几十秒左右，在路由协议重新收敛的过程中受这些故障影响的报文将会被丢弃，严重影响了网络的性能，大大降低了用户的体验. 互联网部署的实时应用对网络的收敛时间提出了更高的要求^[6-8]. 传统的路由协议无法满足实时应用对网络收敛时间的要求^[9]. 为此，业界提出利用路由保护算法来解决此问题，研究表明路由保护算法^[10]可以大大降低由于故障造成的网络中断时间，显著减少报文丢失.

在已有的路由保护算法中，最经典的方法是IP快速重路由（IP fast rerouting, IPFRR）^[11]，该算法可以选择事先计算好的备份下一跳绕过故障，从而降低由于故障造成的报文丢失率. 与最短路径路由相比，IPFRR有明显的优点：可以立即重新转发数据包，而不是等待路由重新收敛（通常为几秒甚至几十秒），从而避免在路由重新收敛阶段出现路由环路和数据包丢失问题^[12].

路由保护算法最核心的技术是如何为每个结点计算到达目的结点的无环路备份下一跳. 下游规则（downstream criterion, DC）^[13]是一种经典的无环路计算规则，该规则选择距目的地址更近的邻居结点作为备份下一跳. 以目的结点构造有向无环图（directed acyclic graph, DAG），也可以计算出无环路备份下一跳. 基于最大邻接顺序的最大可选择性路由算法（maximum alternative routing algorithm, MARA）^[14]的核心思想就是将网络拓扑转换为DAG. 但是文献[13-14]算法和网络拓扑结构密切相关，在某些拓扑结构中故障保护率较低. 在DAG图中，每条链路仅有1个方向，这个要求大大降低了结点可以计算出无环路备份下一跳的可能性. JNHOR-SP（shortest path compatible Joker-capable next hop optimality routing）^[15]利用路由结点排序和Joker链路来提高DAG图的故障保护率，网络中的Joker链路具有2个方向，但是由于计算Joker链路算法的缺陷，JNHOR-SP平均仅能提供95%左右的故障保护率. 基于报文入端口的无环路路由（loop free inport-dependent, LFID）^[16]通过扩展DAG，将部分链路修改为双向链路，从而同时解决网络故障和网络拥塞问题，但是LFID的故障保护率为88.9% ~ 98.2%. Not-Via^[17]和段路由^[18]（segment routing, SR）可以保护网络所有可能的单故障，但是二者需要借助辅助机制的协助，在实际中部署比较困难.

已有的路由保护算法存在4个方面的问题：1）无法应对网络中所有可能的单故障情形；2）需要额外辅助机制的协助；3）不支持增量部署；4）需要存储多个备份下一跳. 我们拟设计一个路由算法，该算法满足4个要求：1）每个路由器存储2个下一跳，其中一个为最优下一跳，另外一个为备份下一跳；2）可以应对网络中所有可能出现的单故障情形；3）不需要额外辅助机制的协助；4）支持增量部署. 基于此本文提出了一个满足这4个要求的基于转发图的域内路由保护算法（an intra-domain routing protection algorithm based on forwarding graph, RPBFG）. 受JNHOR-SP和LFID这2个算法的启发，本文通过构造转发图来解决DAG图故障保护率较低的问题. 在转发图中，每条链路可能存在2个方向，这将明显提高故障保护率. 与JNHOR-SP和LFID不同的是，RPBFG可以提供100%故障保护率. 我们将在后面的章节中详细介绍什么是转发图，如何构造转发图，如何利用转发图计算无环路备份下一跳.

本文的主要贡献包括4个方面：

1）提出了以最大化故障保护率为目标，转发图包含反向最短路径树为约束条件的路由保护算法模型RPBFG.

2）针对提出的路由保护算法模型，首先提出了利用RPBFG解决快速构造转发图的算法，然后利用转发图为每个结点计算唯一一个备份下一跳.

3） RPBFG是对当前链路状态路由协议的扩展，不会改变路由协议报文的交互过程. RPBFG需要的数据都可以从链路状态路由协议中获得，唯一的变化是路由计算部分，因此RPBFG支持增量部署.

4）在11个真实网络拓扑中进行了实验，实验结果表明RPBFG不仅可以支持100%的单故障保护，而且具有较小的路径拉伸度.

根据这4点贡献的描述可知RPBFG可以应对网络中所有可能的单故障情形，不需要额外辅助机制的协助，支持增量部署，每个结点存储唯一一个到达目的地址的备份下一跳. 因此RPBFG可以解决文中描述的已有路由保护算法存在的4个问题.

1. 相关工作

已有研究^[19]证实，互联网中每天都会出现大量的网络故障. 为了应对互联网中频繁出现的故障，业界提出了路由保护算法^[20]，从而尽量降低由于故障造成的损失. 根据报文在转发过程中是否需要辅助机制的协助，可以将路由保护算法分为2类：第1类不需要借助辅助转发机制；第2类需要借助辅助转发机制.

第1类路由保护算法主要包括等价多路径路由（equal cost multipath routing, ECMP）、无环路备选条件（loop-free alternates, LFA）、U-turn、MARA-MA、基于扩展最短路径的最大可选择性路由算法（maximum alternative routing algorithm-shortest path extension, MARA-SPE）等；第2类路由保护算法主要包括Not-Via、SR、多配置路由（multiple routing configuration, MRC）、报文携带故障（failure carrying packet, FCP）等. 第1类算法和目前使用的路由协议是兼容的，因此支持增量部署. 然而第2类路由保护算法需要对目前使用的路由协议进行修改，实现难度较大. 本文重点研究第1类路由保护算法，下面将分别介绍这类路由算法.

OSPF协议增加了对ECMP的支持，但是ECMP仅仅支持代价相同的最短路径，因此对提高路由可用性的贡献比较有限^[21]. 为了应对ECMP在解决路由可用性方面存在的问题，国际互联网工程任务组（Internet Engineering Task Force, IETF）提出了快速重路由的基本框架. LFA就是基于此框架提出的无环路路由. LFA包括3种应对故障的保护条件：链路保护条件（link protection condition, LPC）、结点保护条件（node protection condition, NPC）和DC. 文献[22-23]分别介绍了如何通过调整链路权值和修改网络拓扑结构提高LFA的故障保护率. U-turn^[24]将选择备份下一跳扩展到计算结点邻居的邻居，即如果计算结点的邻居没有满足无环路规则的下一跳，但是计算结点的邻居的邻居有满足无环路规则的下一跳，则该邻居可以作为计算结点的备份下一跳，因此U-turn可以进一步提高故障保护率. MARA-MA^[14]以最大化最小连通性为目标构造DAG，MARA-SPE^[14]和MARA-MA的目标是一致的，但是MARA-SPE的约束条件为DAG必须包含最短路径树.

文献[25]提出了基于Not-Via地址的快速重路由机制. 在该算法中，网络中的每条链路都有2个地址，一个是正常的IP地址，另一个Not-Via地址. 该机制使用Not-Via地址显示的说明网络中出现故障的结点或者链路，从而使报文避开该故障. 基于隧道的路由保护算法^[26]为所有源目的对计算中转隧道结点，然而并不是所有的结点对之间都存在中转结点. 基于SR^[14]的路由保护算法将网络的路径分成一个个的小段，然后为这些段和网络结点分配Segment Routing的ID，通过对这些 Segment Routing ID进行有序的排列，就可以生成一条完整的转发路径.

MRC^[27]通过改变网络中链路的代价计算出多个配置图，这些不同配置图可以应对网络中出现的不同故障，从而达到提高路由可用性的目的，但是MRC部署开销较大. FCP^[28]的核心思路为：首先将报文遇到的故障存放在其头部，然后根据该头部信息更新网络拓扑结构，最后利用新的网路拓扑结构计算新的最短路径. FCP可以应对网络中的单故障问题，但是该方法需要改变路由协议，部署难度较大.

表1列出了RPBFG和已有路由保护算法的链路状态路由协议，在支持逐跳转发和支持100%的单故障保护等方面进行比较.

表 1 路由保护算法的比较

Table 1. Comparison of Routing Protection Algorithms

算法	是否是链路状态路由协议	是否支持逐跳转发	是否支持100% 的单故障保护
OSPF^[1]	√	√	×
LFA^[11]	√	√	×
MARA-MA^[14]	√	√	×
MARA-SPE^[14]	√	√	×
JNHOR-SP^[15]	√	√	×
LFID^[16]	√	√	×
SR^[18]	×	×	√
U-turn^[24]	√	√	×
Not-Via^[25]	×	×	√
MRC^[27]	×	×	√
FCP^[28]	×	×	√
RPBFG （本文）	√	√	√

下载: 导出CSV

| 显示表格

1）链路状态路由协议. 每个路由器根据网络拓扑结构做出最终的路由决策.

2）支持逐跳转发. 每个路由器基于目标地址查找数据报的下一跳，转发过程不需要借助额外机制的协助.

3）支持100%的单故障保护. 当网络出现单故障时，只要网络依然保持链路，数据报就可以被正确转发到目的地址.

2. 基于转发图的网络模型和问题描述

本节首先定义了反向最短路径树、转发图、故障保护率和路径拉伸度，然后对基于转发图的路由保护算法进行了形式化的描述. 为了便于读者阅读，将文中使用的部分符号总结在表2中.

表 2 本文定义的符号

Table 2. Symbols Defined in Our paper

符号	含义
G=(V, E)	网络拓扑图
V	网络中结点（路由器）的集合
E	网络中边（链路）的集合
r(d)	目的地址为d的反向最短路径树
G(d)	目的地址为d的转发图
P（v, G(d)）	转发图G（d）的故障保护率
bestn(v, d)	结点v到结点d的最优下一跳
backn(v, d)	结点v到结点d的备份下一跳

下载: 导出CSV

| 显示表格

2.1 网络模型

本文使用无向图G=（V, E）来表示一个网络，其中V是无向图中的结点集合，代表网络中的路由器，E是无向图中的边集合，代表网络中的链路. 对于网络中的任意一个结点 $v \in V$ ，bestn（v, d）表示结点v到结点d的最优下一跳，backn（v, d）表示结点v到结点d的备份下一跳. 下面给出反向最短路径树、转发图、故障保护率和路径拉伸度的定义.

定义1. 反向最短路径树. 对于目的结点d，其余结点到目的结点d都具有最短路径的树. r（d）表示目的地址为d的反向最短路径树.

定义2. 转发图. 按照一定的规则遍历无环路的有向图. G（d）表示目的地址为d的转发图.

定义3. 在转发图G（d）中，对于任意的结点 $v \in V,v \ne d$ ，如果v到d的最优下一跳出现故障，v依然可以到达目的地址d，我们称在G（d）中结点v可以被保护，否则结点v未被保护.

定义4. 转发图G（d）的故障保护率可以表示为 $P(v,G(d)) = \dfrac{{\displaystyle\sum\limits_{v \in V} {f(v,d)} }}{{|V| - 1}}$ ，其中当结点v被保护时f（v, d）=1，否则f（v, d）=0.

定义5. 路径拉伸度. 当网络出现故障时，利用路由保护算法计算出的所有源目的对之间的代价总和与利用最短路径计算出的所有源目的对之间的代价总和的比值.

我们通过一个简单的例子解释上面的定义1~5. 图1表示网络拓扑结构，链路上的数字表示该链路对应的代价. 图2表示以结点d为根的反向最短路径树，实线表示在反向最短路径树中的边，从图2中可以计算出每个结点到目的结点d的最优下一跳. 例如，f到d的最优下一跳可以表示为bestn（f, d）=c, k到d的最优下一跳是bestn（k, d）=j. 图3是以d为目的地址的转发图，从图3中可以计算出每个结点到目的结点d的备份下一跳. 在图3中实线箭头表示结点的最优下一跳，空心箭头表示结点的备份下一跳. 例如，f到d的备份下一跳可以表示为backn（f, d）=e, k到d的备份下一跳可以表示为backn（k, d）=h. 转发图是如何构造出来的，为什么利用转发图可以计算出结点的备份下一跳将在后面的章节中详细介绍.

图 1 网络拓扑结构

Figure 1. Network topology structure

下载: 全尺寸图片幻灯片

图 2 反向最短路径树

Figure 2. Reverse shortest path tree

下载: 全尺寸图片幻灯片

图 3 转发图

Figure 3. Forwarding graph

下载: 全尺寸图片幻灯片

2.2 问题描述

为了解决已有路由保护算法存在的4个问题，我们形式化地描述了本文需要解决的科学问题. 在已知网络拓扑结构G=（V, E）的前提条件下，对于目的结点 $d \in V$ ，如何构造一组转发图G（d）包含反向最短路径树r（d），从而使得故障保护率最高. 该问题可以形式化表示为

$\mathrm{Maximize} \frac{{\displaystyle \sum _{d\in V}{\displaystyle \sum _{v\in V,v\ne d}P(v,G(d))}}}{\left|V\right|}，$

(1)

$\mathrm{s}.\mathrm{t}.\quad G(d) \supseteq r(d)，$

(2)

其中式（1）为目标函数，即最大化故障保护率；式（2）表示反向最短路径树属于转发图.

3. 转发算法

在构造转发图的过程中，需要解决2个关键问题：1）如何设计遍历算法，即转发算法；2）如何给转发图中链路设置方向，从而使得该转发图包含反向最短路径树.

3.1 转发算法规则

对于问题1我们采用互联网部署的路由转发算法，这样设计的算法和互联网是兼容的，便于实际部署. 我们对转发算法进行简单地描述：在网络中，当路由器收到一个报文后，就会根据报文中目的地址的信息从路由表中查找对应的下一跳，然后将该报文直接发送给对应的下一跳. 具体的转发规则为：

1）如果最优下一跳路由器发生了故障，就从备份路由表中查找备份下一跳，将报文发送给备份下一跳；

2）如果收到的报文来自最优下一跳，也将报文发送给备份下一跳；

3）其他情况均将报文发送给最优下一跳.

下面通过一个例子来解释转发算法. 在图3中，假设报文的源地址是c，目的地址是d，当结点a出现故障时，结点c将报文转发给备份下一跳f，结点f发现该报文来自于自己的最优下一跳c，因此结点f将报文发送给其备份下一跳e，接着结点e将报文转发给最优下一跳b，最后b将报文转发给目的地址d.

3.2 基于遗传算法构造转发图的算法

下面重点描述如何解决问题2. 给定目的地址d，构造G（d）就是为网络拓扑中的链路设定特定的方向. 其中G（d）包含r（d）的条件比较容易实现，只需要在反向最短路径树r（d）的基础上构造转发图即可. 如何保证构造的图是转发图成为本文研究的重点和难点. 构造转发图就是为网络中的链路指定方向，对于网络中的链路 $(u,v) \in E$ ，每条链路有4种状态：第1种状态是该链路不在转发图中；第2种状态是该链路的方向为 $u \to v$ ；第3种状态是该链路的方向为 $v \to u$ ；第4种状态是 $u \to v$ 和 $v \to u$ 都在转发图中，用 $v - u$ 来表示. 如果 $(u,v) \in r（d）$ ，假设链路的方向为 $u \to v$ ，则该链路的状态只有 $u \to v$ 和 $v - u$ 这2种可能性；反之假设链路的方向为 $v \to u$ ，则该链路的状态只有 $v \to u$ 和 $v - u$ 这2种可能性. 通过上述分析可知当链路 $(u,v) \in r（d）$ 时，该链路的状态有2种可能性；当 $(u,v) \notin r（d）$ ，则该链路的状态有4种可能性；对于一个包含|V|个结点、|E|条边的网络拓扑来讲，有|V|−1条链路在反向最短路径树上，|E|+|V|+1条链路不在反向最短路径树上，因此链路状态的数量为 ${2^{|V| - 1}} \times {4^{|E| - |V| + 1}} = {2^{2 \times |E| - |V| + 1}}$ ，如果把所有的链路状态的组合都枚举出来，然后从中选择符合条件的转发图，在实际网络中部署是一种不现实的解决方案.

为了解决该问题，本文提出利用遗传算法来构造转发图，该算法包含2个步骤：1）计算以结点d为根的反向最短路径树r（d）；2）在r（d）的基础上，利用遗传算法构造转发图.

算法1（RPBFG算法）描述了利用遗传算法构造转发图的过程. 算法的输入为网络拓扑结构G=（V, E），输出为每个结点的备份路由表. 下面以目的地址d为例进行描述.RPBFG主要通过3个步骤实现：首先对网络中的链路进行编码，在链路编码的基础上生成初始转发图；然后利用选择、交叉和变异操作计算出最优个体，根据选择的最优个体构造出最优转发图；最后根据最优转发图计算出所有结点的备份下一跳.

算法1. RPBFG算法.

输入：G=（V, E）；

输出：backn（v, d）， $v \in V,v \ne d$ .

① for each $v \in V,v \ne d$

② 　backup（v, d） $\leftarrow \varnothing$ ；

③ end for

④ compute r（d）；

⑤ population $\leftarrow$ InitPopulation（G, d）；

/* 利用r（d）生成初始种群*/

⑥ for each $i \in \{ 1,2,…,m\}$ /*算法迭代次数*/

⑦　remains $\leftarrow$ RouWheelSel（population）；

⑧　children $\leftarrow \varnothing$ ；

⑨　for each parentA $\in$ remains

⑩　　parentB $\in$ random_select_remains；

⑪　　child $\leftarrow$ Cross（parentA, parentB）；

⑫　　child $\leftarrow$ Mutate（child）；

⑬　　children $\leftarrow$ children $\cup$ {child}；

⑭　　population $\leftarrow$ children $\cup$ remains；

⑮　end for

⑯ end for

⑰ FG $\leftarrow$ ComputeFG（Best（population））；

⑱ for each $v \in V,v \ne d$

⑲　backup（v, d） $\leftarrow$ ComputeBackup（FG）；

⑳ end for

㉑ return backup（v, d）， $v \in V,v \ne d.$

在介绍RPBFG之前，我们描述链路编码的算法和适应度函数. 首先描述链路编码的算法. 对于网络中的链路 $(u,v) \in E$ ，用2位二进制编码来表示链路的状态：因此每条链路有4种状态：00表示该链路不在转发图中，01表示该链路的方向为 $u \to v$ ，10表示该链路的方向为 $v \to u$ ,11表示该链路的方向为 $v - u$ . 例如网络中有5条链路，分别是（a, b）,（b, c）,（c, d）,（a, d）,（b, d），如果对应的链路编码为（1001101101），则表示链路（a, b）的方向为 $a \to b$ ，链路（b, c）的方向为 $c \to b$ ，链路（c, d）的方向为 $c \to d$ ，链路（a, d）的方向为 $a \to d$ ，链路（b, d）的方向为 $d \to b$ . 然后描述适应度函数. 为了保证RPBFG在满足最大化故障保护率的同时，尽可能降低重路由路径的路径拉伸度，本文的适应度函数=故障保护率+0.001×路径拉伸度. 下面详细介绍算法RPBFG的执行过程，如算法1所示. 将备份下一跳集合初始化为空（行①~③）；对于网络中的结点 $d \in V$ ，利用迪杰斯特拉算法计算反向最短路径树r（d）（行④）. 行⑤表示生成初始化种群，本文利用r（d）生成初始种群，所有种群的规模数为N，所有初始种群的编码相同. 遗传算法的迭代过程中迭代次数为m（行⑥），在每次迭代中，利用轮盘赌算法^[29]进行选择操作，该算法根据个体的适应度和累计概率计算个体被选择的概率，轮盘赌选择中个体的适应度越好越有可能被保留，如果要保留n个个体，则在现有的2n个个体中进行n次有放回抽样，每次抽样中每个个体被抽中的概率为 $p_i ={{{f_i}}}\big/{{\displaystyle\sum\limits_{j = 1}^N {{f_j}} }}$ ，其中p_i表示该个体被保留的概率，f_i表示该个体的适应度， $\displaystyle\sum\limits_{j = 1}^N {{f_j}}$ 表示所有个体适应度之和（行⑦ ）. 行⑪和行⑫分别表示交叉和变异操作. 本文使用的交叉方法为多点交叉. 具体方法为：首先将要执行交叉的2个个体分别表示为A和B，然后随机选择若干个位置（每个位置被选择的概率是提前设置好的），将这些位置记为{i₁,i₂,…,i_n}，而后将A和B中的{i₁,i₂,…,i_n}位置上的基因相互交换. 算法1中使用2个位置的基因表示1条边的方向，所以在交叉互换的过程中将基因两两视为一个整体，以确保边的方向信息作为整体被交换.

本文采用的变异方法为：用变异率p表示基因变异的概率，当1个染色体发生变异时，它的每个基因都按照概率p发生变异，当某个位置的基因发生变异时，如果基因未变异概率为1，则基因概率变异为0，反之，如果基因未变异概率为0，则基因概率变异为1. 为了保证变异后的染色体所表示的转发图不产生路由环路，在每次变异后都会检查其是否产生了环路，如果这次变异导致了环路，那就将该基因还原. 需要注意的是，染色体中表示最短路径树中有向边的基因不会发生变异，因为这些基因表示的是最优下一跳. 当迭代部分执行完毕以后，根据最优个体Best（population）中链路的方向利用ComputeFG（Best（population））计算出转发图（行⑰）；然后利用该转发图为网络中的其他结点计算到达目的地址d的备份下一跳，为结点 $v \in V,v \ne d$ 计算备份下一跳的算法如下：遍历结点v的不是最优下一跳的邻居结点v，如果该边的编码为10或者11，则结点u可以将结点v作为备份下一跳（行⑱~⑳）. 当算法1执行完毕以后，返回所有结点到达目的结点d的备份下一跳集合（行㉑）.

下面分析算法的时间复杂度. 算法1的行①~③的时间复杂度为 $O(|V|)$ ，行④的时间复杂度为 $O(|V|\lg |V| + |E|)$ ，行⑤的时间复杂度为 $O(N)$ ，行⑥~⑯的时间复杂度为 $O(N \times m)$ ，行⑰的时间复杂度为 $O(|E|)$ ，行⑱~⑳的时间复杂度为 $O(|V|)$ ，RPBFG的总时间复杂度为 $O(|V|)$ + $O(|V|\lg |V| + |E|)$ + $O(N)$ + $O(N \times m)$ + $O(|E|)$ + $O(|V|)$ ，即 $O(|V|\lg |V| + 2|E|{\text{ + }}N \times m)$ .

4. 实验及结果分析

本节将RPBFG与NPC，U-turn，MARA-MA，MARA-SPE进行比较，采用Python实现这5种算法. 实验采用了11种真实的网络拓扑结构^[30]，如表3所示，使用真实拓扑结构使得实验结果更加真实准确. 实验采用的度量指标包括故障保护率和路径拉伸度. 故障保护率反映了算法应对网络中发生故障的能力，该值越大说明算法应对故障的能力越强. 路径拉伸度表示当网络出现故障以后，重路由路径的代价和最短路径的代价的比值，该值越小说明利用路由保护算法计算出的路径代价和利用最短路径计算出的路径代价接近，给网络带来的额外开销越低.

表 3 真实网络拓扑

Table 3. Real Network Topology

网络拓扑	结点的数量	边的数量
Abilene	11	14
Ans	17	24
Arpanet19719	18	22
Arpanet19723	24	27
Arpanet19728	29	32
AttMpls	25	56
Belnet2004	18	34
Cernet	14	16
Agis	16	21
NJLATA	11	23
USLD	28	45

下载: 导出CSV

| 显示表格

4.1 故障保护率

本节比较算法RPBFG，NPC，U-turn，MARA-MA，MARA-SPE的故障保护率. 图4描述了5种算法在11个真实网络拓扑图中的故障保护率. 在所有实验的网络拓扑结构中RPBFG的故障保护率均为1.0，NPC，U-turn，MARA-MA，MARA-SPE的故障保护率均低于1.0. 例如，在Abilene中，NPC，U-turn，MARA-MA，MARA-SPE对应的故障保护率分别是0.48 ，0.75， 0.85 ，0.88，在Arpanet 19728中， NPC，U-turn，MARA-MA，MARA-SPE对应的故障保护率分别是0.07，0.23 ，0.81 ，0.84. 这是因为NPC，U-turn，MARA-MA，MARA-SPE使用一定的规则计算备份下一跳，因为这些规则和网络拓扑结构密切相关，在某些网络拓扑结构中无法为所有的源目的结点对计算符合这些规则的备份下一跳. 而RPBFG与网络拓扑无关，只要网络中存在的路径可以到达目的地址，RPBFG就可以计算出相应的重路由路径.

图 4 不同算法在真实拓扑中的故障保护率

Figure 4. Failure protection ratio of different algorithms in real topologies

下载: 全尺寸图片幻灯片

4.2 路径拉伸度

在计算路径拉伸度的过程中，为了体现公平性，只考虑2个算法都能保护的路径. 具体计算算法为：算法A可以保护所有源目的结点对的集合 $\alpha$ ，算法B可以保护所有源目的结点对集合 $\beta$ ，这2个集合的交集 $C = \alpha \cap \beta$ 就是需要计算的源目的结点对集合. 表4列出了RPBFG和NPC的路径拉伸度的平均值和方差. 表5列出了RPBFG和U-turn的路径拉伸度的平均值和方差. 表6列出了RPBFG和MARA-MA的路径拉伸度的平均值和方差. 表7列出了RPBFG和MARA-SPE的路径拉伸度的平均值和方差. 从表4~7可以看出，RPBFG的路径拉伸度的平均值和方差几乎明显低于其余4种算法. 在平均路径拉伸度方面，RPBFG比NPC，U-turn，MARA-MA，MARA-SPE分别降低了0.11%，0.72%，37.79%，36.26%.

表 4 NPC和PBFG路径拉伸度比较结果

Table 4. Comparison Result of Path Stretch for NPC and RPBFG

网络拓扑	NPC		RPBFG（本文）
网络拓扑	平均值	方差	平均值	方差
Abilene	1.0042	0.0334	1.0027	0.0208
Ans	1.0019	0.0205	1.0015	0.0191
Arpanet19719	1.0008	0.0125	1.0006	0.0110
Arpanet19723	1.0002	0.0044	1.0001	0.0041
Arpanet19728	1.0000	0.0009	1.0000	0.0010
AttMpls	1.0029	0.0269	1.0004	0.0121
Belnet2004	1.0000	0.0000	1.0000	0.0000
Cernet	1.0000	0.0000	1.0000	0.0000
Agis	1.0012	0.0165	1.0020	0.0269
NJLATA	1.0068	0.0427	1.0002	0.0026
USLD	1.0034	0.0270	1.0018	0.0201

下载: 导出CSV

| 显示表格

表 5 U-turn和RPBFG路径拉伸度比较结果

Table 5. Comparison Result of Path Stretch for U-turn and RPBFG

网络拓扑	U-turn		RPBFG（本文）
网络拓扑	平均值	方差	平均值	方差
Abilene	1.0206	0.1077	1.0116	0.0677
Ans	1.0198	0.0971	1.0119	0.0736
Arpanet19719	1.0153	0.0768	1.0123	0.0689
Arpanet19723	1.0097	0.0558	1.0096	0.0562
Arpanet19728	1.0032	0.0309	1.0039	0.0408
AttMpls	1.0216	0.1573	1.0016	0.0258
Belnet2004	1.0079	0.0977	1.0000	0.0000
Cernet	1.0143	0.0877	1.0143	0.0877
Agis	1.0139	0.0871	1.0114	0.0727
NJLATA	1.0226	0.1237	1.0001	0.0022
USLD	1.0155	0.0806	1.0069	0.0469

下载: 导出CSV

| 显示表格

表 6 MARA-MA和RPBFG路径拉伸度比较结果

Table 6. Comparison Result of Path Stretch for MARA-MA and RPBFG

网络拓扑	MARA-MA		RPBFG（本文）
网络拓扑	平均值	方差	平均值	方差
Abilene	1.5751	1.3749	1.0124	0.0737
Ans	1.6528	1.1185	1.0083	0.0599
Arpanet19719	1.2989	0.5774	1.0189	0.0970
Arpanet19723	1.3634	0.7351	1.0188	0.0939
Arpanet19728	1.3767	0.8556	1.0311	0.1455
AttMpls	2.2332	1.1413	1.0018	0.0275
Belnet2004	1.2587	0.2752	1.0000	0.0000
Cernet	1.6748	1.3387	1.0136	0.0925
Agis	1.4022	0.6273	1.0080	0.0616
NJLATA	1.7628	0.8202	1.0003	0.0045
USLD	2.2750	1.9101	1.0058	0.0415

下载: 导出CSV

| 显示表格

表 7 MARA-SPE和RPBFG路径拉伸度比较结果

Table 7. Comparison Result of Path Stretch for MARA-SPE and RPBFG

网络拓扑	MARA-SPE		RPBFG（本文）
网络拓扑	平均值	方差	平均值	方差
Abilene	1.5687	1.0068	1.0247	0.1066
Ans	1.5604	1.0055	1.0098	0.0648
Arpanet19719	1.1971	0.4711	1.0124	0.0767
Arpanet19723	1.2304	0.4412	1.0209	0.0984
Arpanet19728	1.2754	0.7457	1.0280	0.1383
AttMpls	2.1765	1.0243	1.0024	0.0310
Belnet2004	1.3648	0.4243	1.0000	0.0000
Cernet	1.7156	1.4256	1.0134	0.0905
Agis	1.4858	0.7040	1.0110	0.0744
NJLATA	1.7442	0.8013	1.0003	0.0045
USLD	2.1411	1.6796	1.0056	0.0403

下载: 导出CSV

| 显示表格

5. 结　　论

为了应对网络中频繁出现的故障，本文提出了一种基于转发图的域内路由保护算法（RPBFG），该算法通过构造最优转发图应对网络故障. 与已有路由保护算法不同，RPBFG仅为每个结点存储1个备份下一跳，这样可以大大降低存储开销. 我们首先描述了需要解决的关键科学问题；然后理论分析直接求解的复杂度；接着采用遗传算法来解决提出的问题，从而降低求解的复杂度；最后在11个真实拓扑中对RPBFG的性能进行了测试. 仿真测试表明该算法可以应对网络中所有可能的单故障情形，并且具有较小的路径拉伸度. RPBFG是一种域内路由保护算法，在未来的工作中将研究如何将RPBFG的核心思想应用到域间路由保护算法中，从而进一步提高网络的可用性.

作者贡献声明：耿海军提出了算法思路和实验方案，并撰写论文；孟卓负责执行实验方案；姚珊珊参与实验方案指导和对部分实验结果分析；杨静参与论文校对和实验方案指导；池浩田提出了指导意见并修改论文；尹霞提出方法的指导意见和审核论文.

图 1 端到端融合方法示意图

Figure 1. Schematic of the end-to-end fusion method

下载: 全尺寸图片幻灯片

图 2 非端到端融合方法示意图

Figure 2. Schematic of the non-end-to-end fusion method

下载: 全尺寸图片幻灯片

图 3 融合性能对比

Figure 3. Comparison of fusion performance

下载: 全尺寸图片幻灯片

图 4 本文方法的总体框架图

Figure 4. Overall framework of the proposed method

下载: 全尺寸图片幻灯片

图 5 用于特征提取和图像重建的自编码器网络结构图

Figure 5. Structures of the autoencoder network for feature extraction and image reconstruction

下载: 全尺寸图片幻灯片

图 6 用于融合规则学习的生成式对抗网络结构图

Figure 6. Structures of generative adversarial network for fusion rule learning

下载: 全尺寸图片幻灯片

图 7 TNO数据集上对比实验的定性结果

Figure 7. Qualitative results of the comparative experiment on TNO dataset

下载: 全尺寸图片幻灯片

图 8 MFNet数据集上对比实验的定性结果

Figure 8. Qualitative results of the comparative experiment on MFNet dataset

下载: 全尺寸图片幻灯片

图 9 泛化实验的定性结果

Figure 9. Qualitative results of the generalization experiment

下载: 全尺寸图片幻灯片

图 10 特征融合网络的消融实验结果

Figure 10. Ablation experiment results of feature fusion network

下载: 全尺寸图片幻灯片

图 11 自编码器的消融实验结果

Figure 11. Ablation experiment results of autoencoder

下载: 全尺寸图片幻灯片

表 1 TNO数据集上对比实验的定量结果

Table 1 Quantitative Results of the Comparative Experiment on TNO Dataset

融合方法	VIF↑	EN↑	SCD↑	MI↑	${ \boldsymbol{Q} }^{\boldsymbol{A}\boldsymbol{B}/\boldsymbol{F} }$ ↑	SD↑	SF↑
GTF	0.350±0.052	6.753±0.396	0.985±0.165	1.200±0.440	0.423±0.100	35.157±11.405	10.315±5.268
MDLatLRR	0.346±0.051	6.438±0.408	1.663±0.135	1.037±0.225	0.435±0.077	26.148±6.242	7.930±3.587
DenseFuse	0.386±0.091	6.836±0.273	1.835±0.128	1.114±0.269	0.440±0.103	35.144±8.891	9.296±3.806
FusionGAN	0.231±0.046	6.450±0.323	1.512±0.228	1.099±0.207	0.210±0.055	27.683±6.052	6.075±2.051
U2Fusion	0.423±0.106	6.923±0.251	1.808±0.094	0.906±0.197	0.430±0.068	34.446±7.659	11.928±4.681
本文方法	0.414±0.103	7.183±0.283	1.936±0.060	1.240±0.275	0.446±0.110	48.605±8.671	13.203±4.792
注：↑表示值越高越好，加粗表示最优结果，加下划线表示次优结果.

下载: 导出CSV

表 2 MFNet数据集上对比实验的定量结果

Table 2 Quantitative Results of the Comparative Experiment on MFNet Dataset

融合方法	VIF↑	EN↑	SCD↑	MI↑	${\boldsymbol {Q} }^{\boldsymbol{A}\boldsymbol{B}/\boldsymbol{F} }$ ↑	SD↑	SF↑
GTF	0.311±0.022	7.458±0.197	1.027±0.186	1.575±0.230	0.399±0.059	55.343±8.671	10.501±1.866
MDLatLRR	0.327±0.025	6.896±0.225	1.306±0.239	1.325±0.233	0.461±0.034	39.477±7.181	9.016±0.986
DenseFuse	0.326±0.030	7.131±0.229	1.653±0.149	1.398±0.241	0.475±0.038	48.696±8.163	10.200±1.265
FusionGAN	0.178±0.022	6.882±0.300	0.609±0.594	1.424±0.186	0.234±0.044	35.397±5.765	7.299±1.288
U2Fusion	0.350±0.035	7.253±0.198	1.657±0.115	1.266±0.232	0.496±0.028	50.794±8.582	14.072±1.546
本文方法	0.319±0.027	7.562±0.205	1.731±0.085	1.609±0.246	0.422±0.036	65.392±8.494	10.749±1.242
注：↑表示值越高越好，加粗表示最优结果，加下划线表示次优结果.

下载: 导出CSV

表 3 泛化实验的定量结果

Table 3 Quantitative Results of the Generalization Experiment

融合方法	VIF↑	EN↑	SCD↑	MI↑	${\boldsymbol {Q} }^{\boldsymbol{A}\boldsymbol{B}/\boldsymbol{F} }$ ↑	SD↑	SF↑
GTF	0.303±0.031	7.486±0.190	1.047±0.101	1.563±0.241	0.340±0.045	48.911±6.487	8.247±1.342
MDLatLRR	0.320±0.036	6.933±0.298	1.257±0.324	1.445±0.286	0.506±0.055	32.647±6.336	9.287±2.158
DenseFuse	0.329±0.048	7.283±0.245	1.669±0.218	1.503±0.280	0.534±0.042	43.337±6.869	11.228±2.197
FusionGAN	0.204±0.022	7.111±0.158	1.057±0.393	1.377±0.172	0.280±0.038	39.024±4.354	8.203±1.024
U2Fusion	0.344±0.052	7.249±0.263	1.546±0.236	1.293±0.259	0.535±0.037	40.279±7.032	14.406±2.668
本文方法	0.316±0.039	7.575±0.185	1.726±0.135	1.641±0.303	0.506±0.036	54.533±6.577	11.774±2.274
注：↑表示值越高越好，加粗表示最优结果，加下划线表示次优结果.

下载: 导出CSV

表 4 各方法在3个数据集上的平均运行时间

Table 4 Mean of Running Time of Each Method on Three Datasets s

融合方法	TNO	MFNet	RoadScene
GTF	5.302	3.259	1.644
MDLatLRR	35.569	28.052	15.188
DenseFuse	0.358	0.299	0.562
FusionGAN	0.360	0.196	0.403
U2Fusion	0.613	0.264	0.643
本文方法	0.066	0.038	0.029
注：加粗表示最优结果.

下载: 导出CSV

参考文献(44)

[1]	Ma Jiayi, Ma Yong, Li Chang. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153−178 doi: 10.1016/j.inffus.2018.02.004
[2]	王相海,魏婷婷,周志光,等. Contourlet四叉树系数方向相关性的遥感图像融合算法[J]. 计算机研究与发展,2013,50(8):1778−1786 doi: 10.7544/issn1000-1239.2013.20110464 Wang Xianghai, Wei Tingting, Zhou Zhiguang, et al. Research of remote sensing image fusion method based on the Contourlet coefficients' correlativity[J]. Journal of Computer Research and Development, 2013, 50(8): 1778−1786 (in Chinese) doi: 10.7544/issn1000-1239.2013.20110464
[3]	陈涛,易沫,刘忠轩,等. 相似尺度图像融合算法[J]. 计算机研究与发展,2005,42(2):2126−2131 Chen Tao, Yi Mo, Liu Zhongxuan, et al. Image fusion at similar scale[J]. Journal of Computer Research and Development, 2005, 42(2): 2126−2131 (in Chinese)
[4]	Muller A C, Narayanan S. Cognitively-engineered multisensor image fusion for military applications[J]. Information Fusion, 2009, 10(2): 137−149 doi: 10.1016/j.inffus.2008.08.008
[5]	Ma Jiayi, Zhang Hao, Shao Zhenfeng, et al. GANMcC: A generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation, 2021, 70: 5005014
[6]	高雪琴,刘刚,肖刚,等. 基于FPDE的红外与可见光图像融合算法[J]. 自动化学报,2020,46(4):796−804 doi: 10.16383/j.aas.2018.c180188 Gao Xueqin, Liu Gang, Xiao Gang, et al. Fusion algorithm of infrared and visible images based on FPDE[J]. Acta Automatica Sinica, 2020, 46(4): 796−804 (in Chinese) doi: 10.16383/j.aas.2018.c180188
[7]	Li Shutao, Yang Bin, Hu Jianwen. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2011, 12(2): 74−84 doi: 10.1016/j.inffus.2010.03.002
[8]	蔺素珍,朱小红,王栋娟,等. 基于嵌人式多尺度变换的多波段图像融合[J]. 计算机研究与发展,2015,52(4):952−959 doi: 10.7544/issn1000-1239.2015.20131736 Lin Suzhen, Zhu Xiaohong, Wang Dongjuan, et al. Multi-band image fusion based on embedded multi-scale transform[J]. Journal of Computer Research and Development, 2015, 52(4): 952−959 (in Chinese) doi: 10.7544/issn1000-1239.2015.20131736
[9]	Li Shutao, Yin Haitao, Fang Leyuan. Group-sparse representation with dictionary learning for medical image denoising and fusion[J]. IEEE Transactions on Biomedical Engineering, 2012, 59(12): 3450−3459 doi: 10.1109/TBME.2012.2217493
[10]	Kong Weiwei, Lei Yang, Zhao Huaixun. Adaptive fusion method of visible light and infrared images based on non-subsampled shearlet transform and fast non-negative matrix factorization[J]. Infrared Physics Technology, 2014, 67: 161−172 doi: 10.1016/j.infrared.2014.07.019
[11]	Zhang Xiaoye, Ma Yong, Fan Fan, et al. Infrared and visible image fusion via saliency analysis and local edge-preserving multi-scale decomposition[J]. Journal of the Optical Society of America, 2017, 34(8): 1400−1410 doi: 10.1364/JOSAA.34.001400
[12]	Ma Jiayi, Chen Chen, Li Chang, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100−109 doi: 10.1016/j.inffus.2016.02.001
[13]	周华兵,侯积磊,吴伟,等. 基于语义分割的红外和可见光图像融合[J]. 计算机研究与发展,2021,58(2):436−443 doi: 10.7544/issn1000-1239.2021.20200244 Zhou Huabing, Hou Jilei, Wu Wei, et al. Infrared and visible image fusion based on semantic segmentation[J]. Journal of Computer Research and Development, 2021, 58(2): 436−443 (in Chinese) doi: 10.7544/issn1000-1239.2021.20200244
[14]	Zhang Hao, Xu Han, Xiao Yang, et al. Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity[C] //Proc of the 34th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2020: 12797 − 12804
[15]	Xu Han, Ma Jiayi, Jiang Junjun, et al. U2Fusion: A unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2020, 44(1): 502−518
[16]	Ma Jiayi, Yu Wei, Liang Pengwei, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11−26 doi: 10.1016/j.inffus.2018.09.004
[17]	Ma Jiayi, Xu Han, Jiang Junjun, et al. DDcGAN: A dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4980−4995 doi: 10.1109/TIP.2020.2977573
[18]	Li Hui, Wu Xiaojun. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614−2623
[19]	Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C] //Proc of the 28th Conf on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2014: 2672−2680
[20]	鲍复民,李爱国,覃征. 基于SGNN的图像融合[J]. 计算机研究与发展,2005,42(3):417−423 doi: 10.1360/crad20050309 Bao Fumin, Li Aiguo, Qin Zheng. Image fusion using SGNN[J]. Journal of Computer Research and Development, 2005, 42(3): 417−423 (in Chinese) doi: 10.1360/crad20050309
[21]	Long Yongzhi, Jia Haitao, Zhong Yida, et al. RXDNFuse: A aggregated residual dense network for infrared and visible image fusion[J]. Information Fusion, 2021, 69: 128−141 doi: 10.1016/j.inffus.2020.11.009
[22]	Hou Ruichao, Zhou Dongming, Nie Rencan, et al. VIF-Net: An unsupervised framework for infrared and visible image fusion[J]. IEEE Transactions on Computational Imaging, 2020, 6: 640−651 doi: 10.1109/TCI.2020.2965304
[23]	Li Jing, Huo Hongtao, Li Chang, et al. Multigrained attention network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation Measurement, 2021, 70: 5002412
[24]	Li Jing, Huo Hongtao, Li Chang, et al. AttentionFGAN: Infrared and visible image fusion using attention-based generative adversarial networks[J]. IEEE Transactions on Multimedia, 2020, 23: 1383−1396
[25]	Ma Jiayi, Liang Pengwei, Yu Wei, et al. Infrared and visible image fusion via detail preserving adversarial learning[J]. Information Fusion, 2020, 54: 85−98 doi: 10.1016/j.inffus.2019.07.005
[26]	Wang Zhou, Bovik Alan C A. Universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81−84 doi: 10.1109/97.995823
[27]	Li Hui, Wu Xiaojun, Durrani T. Nestfuse: An infrared and visible image fusion architecture based on nest connection and spatial/channel attention models[J]. IEEE Transactions on Instrumentation Measurement, 2020, 69(12): 9645−9656 doi: 10.1109/TIM.2020.3005230
[28]	Jian Lihua, Yang Xiaomin, Liu Zheng, et al. SEDRFuse: A symmetric encoder–decoder with residual block network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation Measurement, 2021, 70: 5002215
[29]	Mao Xudong, Li Qing, Xie Haoran, et al. Least squares generative adversarial networks[C] //Proc of the 16th Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2017: 2794−2802
[30]	Woo S H, Park J C, Lee J Y, et al. CBAM: Convolutional block attention module[C] //Proc of the 15th European Conf on Computer Vision. Berlin: Springer, 2018: 3−19
[31]	Huang Gao, Liu Zhuang, Laurens V D M, et al. Densely connected convolutional networks[C] //Proc of the 35th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 4700−4708
[32]	He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C] //Proc of the 34th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 770−778
[33]	Li Hui, Wu Xiaojun, Josef K. MDLatLRR: A novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733−4746 doi: 10.1109/TIP.2020.2975984
[34]	Alexander T, Hogervorst M A. Progress in color night vision[J]. Optical Engineering, 2012, 51(1): 010901
[35]	Ha Q, Kohei W, Karasawa T, et al. MFNet: Towards real-time semantic segmentation for autonomous vehicles with multi-spectral scenes [C] //Proc of the 30th Int Conf on Intelligent Robots and Systems. Piscataway, NJ: IEEE, 2017: 5108−5115
[36]	Xu Han, Ma Jiayi, Le Zhuliang, et al. FusionDN: A unified densely connected network for image fusion[C] //Proc of the 34th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2020: 12484−12491
[37]	Jiang Xingyu, Ma Jiayi, Xiao Guobao, et al. A review of multimodal image matching: Methods and applications[J]. Information Fusion, 2021, 73: 22−71 doi: 10.1016/j.inffus.2021.02.012
[38]	Hamid R S, Bovik A C. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430−444 doi: 10.1109/TIP.2005.859378
[39]	Roberts J W, Van Aardt J A, Ahmed F B. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]. Journal of Applied Remote Sensing, 2008, 2(1): 023522
[40]	Aslantas V, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEU-International Journal of Electronics and Communications, 2015, 69(12): 1890−1896
[41]	Qu Guihong, Zhang Dali, Yan Pingfan. Information measure for performance of image fusion[J]. Electronics Letters, 2002, 38(7): 313−315 doi: 10.1049/el:20020212
[42]	Piella G, Heijmans H. A new quality metric for image fusion[C] //Proc of the 10th IEEE Int Conf on Image Processing. Piscataway, NJ: IEEE, 2003: 173−176
[43]	Rao Yunjiang. In-fibre Bragg grating sensors[J]. Measurement Science Technology, 1997, 8(4): 355−375 doi: 10.1088/0957-0233/8/4/002
[44]	Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]. IEEE Transactions on Communications, 1995, 43(12): 2959−2965 doi: 10.1109/26.477498