• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于语义分割的红外和可见光图像融合

周华兵, 侯积磊, 吴伟, 张彦铎, 吴云韬, 马佳义

周华兵, 侯积磊, 吴伟, 张彦铎, 吴云韬, 马佳义. 基于语义分割的红外和可见光图像融合[J]. 计算机研究与发展, 2021, 58(2): 436-443. DOI: 10.7544/issn1000-1239.2021.20200244
引用本文: 周华兵, 侯积磊, 吴伟, 张彦铎, 吴云韬, 马佳义. 基于语义分割的红外和可见光图像融合[J]. 计算机研究与发展, 2021, 58(2): 436-443. DOI: 10.7544/issn1000-1239.2021.20200244
Zhou Huabing, Hou Jilei, Wu Wei, Zhang Yanduo, Wu Yuntao, Ma Jiayi. Infrared and Visible Image Fusion Based on Semantic Segmentation[J]. Journal of Computer Research and Development, 2021, 58(2): 436-443. DOI: 10.7544/issn1000-1239.2021.20200244
Citation: Zhou Huabing, Hou Jilei, Wu Wei, Zhang Yanduo, Wu Yuntao, Ma Jiayi. Infrared and Visible Image Fusion Based on Semantic Segmentation[J]. Journal of Computer Research and Development, 2021, 58(2): 436-443. DOI: 10.7544/issn1000-1239.2021.20200244

基于语义分割的红外和可见光图像融合

基金项目: 国家自然科学基金项目(61771353,61773295,62072350,41501505);湖北省技术创新工程项目(2019AAA045)
详细信息
  • 中图分类号: TP391

Infrared and Visible Image Fusion Based on Semantic Segmentation

Funds: This work was supported by the National Natural Science Foundation of China (61771353, 61773295, 62072350, 41501505) and the Hubei Technology Innovation Project (2019AAA045).
  • 摘要: 红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.
    Abstract: Infrared images can distinguish targets from their backgrounds due to the difference in thermal radiation even in poor lighting conditions. By contrast, visible images can represent texture details with high spatial resolution. Meanwhile, both of infrared and visible images preserve corresponding semantic information. Therefore, infrared and visible image fusion should keep both radiation information of the infrared image and texture details of the visible image; additionally, it needs to reserve the semantic information of both. Semantic segmentation can transform the source images into the masks with semantic information. In this paper, an infrared and visible image fusion method is proposed based on semantic segmentation. It can overcome the shortcomings that the existing fusion methods are not specific to different regions. Considering the specific information for different regions of infrared and visible images, we design two loss functions for different regions to improve the quality of fused image under the framework of generative adversarial network. Firstly, we gain the masks of the infrared images with semantic information by semantic segmentation; then we use the masks to divide the infrared and visible images into infrared target area, infrared background area, visible target area, and visible background area. Secondly, we employ different methods to fuse the target and background area, respectively. Finally, we combine the two regions to obtain the final fused image. The experiment shows that the proposed method outperforms state-of-the-art, where our results have higher contrast in the target area and richer texture details in the background area.
  • 期刊类型引用(12)

    1. 徐圣滨,李立华,何小海,卿粼波,陈洪刚. 基于拉普拉斯金字塔融合的岩心图像拼接算法. 计算机系统应用. 2023(02): 316-321 . 百度学术
    2. 罗文彬,刘敏,李琳,王成德. 基于视觉检测的红外与可见光图像区域匹配研究. 激光杂志. 2023(02): 186-190 . 百度学术
    3. 张浩,马佳义,樊凡,黄珺,马泳. 基于特征空间多分类对抗机制的红外与可见光图像融合. 计算机研究与发展. 2023(03): 690-704 . 本站查看
    4. 张玉昆,王凯娜,杨明彦. 无人机激光雷达遥感图像超分辨率重建方法. 激光杂志. 2023(03): 143-147 . 百度学术
    5. 刘建华,尹国富,黄道杰. 基于特征融合的可见光与红外图像目标检测. 激光与红外. 2023(03): 394-401 . 百度学术
    6. 成京海. 交互补充与验证的语义分割. 通信技术. 2023(05): 574-584 . 百度学术
    7. 吴永琢. 基于生成对抗网络的可见光图像融合方法. 传感器世界. 2023(07): 11-16 . 百度学术
    8. 贾鑫. 基于NSCT域平均梯度能量驱动红外与可见光图像融合算法. 吉林化工学院学报. 2023(03): 86-92 . 百度学术
    9. 许云英,杨瑞,贺天福,刘尚为,范太然,徐晨晨. 基于双分支卷积神经网络的红外与可见光图像局部融合算法. 红外技术. 2022(05): 521-528 . 百度学术
    10. 刘砚菊,崔洁,宋建辉,刘晓阳,池云. GAN网络的红外与可见光图像融合方法研究. 沈阳理工大学学报. 2022(03): 14-19+26 . 百度学术
    11. 安晓东,李亚丽,王芳. 汽车驾驶辅助系统红外与可见光融合算法综述. 计算机工程与应用. 2022(19): 64-75 . 百度学术
    12. 徐涵,梅晓光,樊凡,马泳,马佳义. 信息分离和质量引导的红外与可见光图像融合. 中国图象图形学报. 2022(11): 3316-3330 . 百度学术

    其他类型引用(15)

计量
  • 文章访问数:  1523
  • HTML全文浏览量:  17
  • PDF下载量:  725
  • 被引次数: 27
出版历程
  • 发布日期:  2021-01-31

目录

    /

    返回文章
    返回