Processing math: 34%
  • 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

遥感影像云检测和云去除方法综述

徐萌, 王思涵, 郭仁忠, 贾秀萍, 贾森

徐萌, 王思涵, 郭仁忠, 贾秀萍, 贾森. 遥感影像云检测和云去除方法综述[J]. 计算机研究与发展, 2024, 61(6): 1585-1607. DOI: 10.7544/issn1000-1239.202330145
引用本文: 徐萌, 王思涵, 郭仁忠, 贾秀萍, 贾森. 遥感影像云检测和云去除方法综述[J]. 计算机研究与发展, 2024, 61(6): 1585-1607. DOI: 10.7544/issn1000-1239.202330145
Xu Meng, Wang Sihan, Guo Renzhong, Jia Xiuping, Jia Sen. Review of Cloud Detection and Cloud Removal Methods for Remote Sensing Images[J]. Journal of Computer Research and Development, 2024, 61(6): 1585-1607. DOI: 10.7544/issn1000-1239.202330145
Citation: Xu Meng, Wang Sihan, Guo Renzhong, Jia Xiuping, Jia Sen. Review of Cloud Detection and Cloud Removal Methods for Remote Sensing Images[J]. Journal of Computer Research and Development, 2024, 61(6): 1585-1607. DOI: 10.7544/issn1000-1239.202330145
徐萌, 王思涵, 郭仁忠, 贾秀萍, 贾森. 遥感影像云检测和云去除方法综述[J]. 计算机研究与发展, 2024, 61(6): 1585-1607. CSTR: 32373.14.issn1000-1239.202330145
引用本文: 徐萌, 王思涵, 郭仁忠, 贾秀萍, 贾森. 遥感影像云检测和云去除方法综述[J]. 计算机研究与发展, 2024, 61(6): 1585-1607. CSTR: 32373.14.issn1000-1239.202330145
Xu Meng, Wang Sihan, Guo Renzhong, Jia Xiuping, Jia Sen. Review of Cloud Detection and Cloud Removal Methods for Remote Sensing Images[J]. Journal of Computer Research and Development, 2024, 61(6): 1585-1607. CSTR: 32373.14.issn1000-1239.202330145
Citation: Xu Meng, Wang Sihan, Guo Renzhong, Jia Xiuping, Jia Sen. Review of Cloud Detection and Cloud Removal Methods for Remote Sensing Images[J]. Journal of Computer Research and Development, 2024, 61(6): 1585-1607. CSTR: 32373.14.issn1000-1239.202330145

遥感影像云检测和云去除方法综述

基金项目: 国家自然科学基金项目(42271336, 42371431, 62271327, 41971300);广东省基础与应用基础研究基金项目(2024A1515011079, 2022A1515011290);广东省普通高校创新团队项目(2023KCXTD029);深圳市科技计划项目(RCJC20221008092731042, JCYJ20220818100206015, KQTD20200909113951005)
详细信息
    作者简介:

    徐萌: 19.88年生. 博士,助理教授. 主要研究方向为云去除、遥感图像处理

    王思涵: 1999年生. 硕士研究生. 主要研究方向为云去除

    郭仁忠: 1956年生. 博士,教授,博士生导师. 中国工程院院士. 主要研究方向为地理信息技术理论研究和工程应用

    贾秀萍: 1960年生. 博士,副教授,博士生导师. 主要研究方向为遥感、高光谱图像处理、面向遥感应用的空间数据分析

    贾森: 1980年生. 博士,教授,博士生导师. 主要研究方向为高光谱图像处理、信号与图像处理、机器学习

    通讯作者:

    贾森(senjia@szu.edu.cn

  • 中图分类号: TP391

Review of Cloud Detection and Cloud Removal Methods for Remote Sensing Images

Funds: This work was supported by the National Natural Science Foundation of China (42271336, 42371431, 62271327, 41971300), the Guangdong Basic and Applied Basic Research Foundation (2024A1515011079, 2022A1515011290), the Project of Department of Education of Guangdong Province(2023KCXTD029),and the Shenzhen Science and Technology Program (RCJC20221008092731042, JCYJ20220818100206015, KQTD20200909113951005).
More Information
    Author Bio:

    Xu Meng: born in 1988. PhD, assistant professor. Her research interests include cloud removal and remote sensing image processing

    Wang Sihan: born in 1999. Master candidate. Her research interest includes cloud removal

    Guo Renzhong: born in 1956. PhD, professor, PhD supervisor. Member of the Chinese Academy of Engineering. His main research interest includes theoretical research and engineering application of geographic information technology

    Jia Xiuping: born in 1960. PhD, associate professor, PhD supervisor. Her research interests include remote sensing, hyperspectral image processing, and spatial data analysis for remote sensing applications

    Jia Sen: born in 1980. PhD, professor, PhD supervisor. His research interests include hyperspectral image processing, signal and image processing, and machine learning

  • 摘要:

    遥感影像是目前可以大范围获取海洋、大气和地球表面信息的数据资源,在农业、军事和城市规划等各个领域发挥重要作用. 但是在影像观测过程中会受到云雾等污染因素的影响,导致遥感影像信息缺失,在实际应用中造成巨大的资源损失和浪费. 因此,如何对遥感影像云雾覆盖区域进行检测并对其进行校正和修复是国内外专家广泛关注的具有挑战性的难点问题. 全面综述其研究进展,总结了现有遥感影像云层检测和去除的挑战;根据是否利用深度学习技术将云检测方法分为2大类,根据是否利用辅助影像将云去除方法分为3大类,依照不同方法特性系统分析和对比了其基本原理和优缺点;基于上述总结在2组遥感影像公开数据集上分别对4种云检测、4种薄云去除和4种厚云去除方法进行了性能评测;最后讨论了本领域目前仍存在的问题,对未来研究方向进行了预测,希望能够对该领域研究人员提供有价值的参考.

    Abstract:

    Remote sensing images are the data resource that can acquire information about the ocean, atmosphere, and the earth’s surface, and have been widely applied in many fields, such as agriculture, military, and urban planning. However, clouds and hazes are inevitable factors when collecting images from satellites, resulting in the loss of information and causing a huge waste of data resources in practical applications. Therefore, how to detect and remove clouds from remote sensing images is a challenging and difficult task that draws a lot of experts’ attention. We comprehensively review current research progress and summarize the challenges of cloud detection and removal in remote sensing images. Cloud detection methods are divided into two categories based on whether using deep learning technology, and cloud removal methods are divided into three categories based on whether auxiliary images are used. Then, according to the characteristics of different methods, these methods are reviewed and analyzed systematically, including their advantages and disadvantages, respectively. Afterward, four cloud detection, four thin cloud removal and four thick cloud removal methods are evaluated on two remote sensing datasets. Finally, we discuss future challenges and predict future research directions. This review paper can provide valuable advice to scientists who are involved in remote sensing image processing.

  • 遥感信息技术具有探测范围广、采集效率高、数据多样化等优势,在地球观测任务中发挥着至关重要的作用,广泛应用于土地覆盖分类[1]、海洋环境监测[2]和大气污染物评估[3]等领域. 其中,基于被动式成像技术的光学遥感影像在服务于国家资源、环境和灾害分析等方面有着强大的优势. 然而,和激光雷达等主动式遥感数据相比,光学遥感影像会受到云层和大气等因素的影响,阻碍了光学遥感影像中有效信息的获取,导致严重的信息丢失,在众多领域中满足不了实际需求[4]. 现有处理任务中针对云雾覆盖的遥感影像一般选择直接舍弃,但是对薄云雾干扰或覆盖面积较小的厚云影像而言,对整景影像的直接舍弃会造成数据的极大浪费. 因此,为了提高遥感影像数据的利用率并获取高质量的资源信息,对云覆盖区域进行检测和去除,在众多应用领域中都有非常重要的价值和意义.

    云雾遮挡可分为薄云雾干扰和厚云覆盖,如图1所示. 薄云雾干扰区域可视作地物和云雾的混合信息,利用不同云雾特性以及卫星传感器类型可以进行云检测和校正;相反,厚云的覆盖完全阻隔了地表信息,导致相应的成像区域完全缺失,从人眼的观测角度来看,几乎无法获取到有价值的信息,然而厚云在可见光波段有很高的反射值,容易检测,结合云在不同波段反射值的差异性,以及结合辅助影像仍然可以实现厚云覆盖区域的重建修复. 目前,针对云检测和去除已经提出了大量优秀的算法,但是仍然存在3个挑战:

    图  1  遥感影像云检测和云去除演示图
    Figure  1.  Demonstration chart of cloud detection and cloud removal for remote sensing images

    1)精确检测云雾区域. 云雾千变万化,不同形状、高度和厚度的云雾对光学遥感影像的影响各不相同,在不同空间尺度的成像特征也存在差异,云与冰雪、沙滩和人工建筑等高亮度的目标也呈现相似特征,精确检测云雾遮挡区域是影像修复的前提保证.

    2)准确校正薄云雾影响区域. 薄云雾覆盖区域仍可一定程度上观测到地表地物信息,需要充分利用目标影像的空间和光谱信息校正被影响区域,避免恢复后的图像出现空谱失真.

    3)高质量重建厚云遮挡地物信息. 厚云遮挡区域的地物信息完全缺失,需要利用辅助数据进行重建,但是地物在时间上的变化以及不同传感器数据之间的差异会导致重建后信息误差较大和精度偏低.

    根据前期调研,针对遥感影像云检测和去除的相关综述论文非常少,无法满足该领域快速发展的需求. 因此,本文结合目前深度学习技术的研究进展,对光学遥感影像的云检测和去除方法进行了全面的梳理,在参考国内外大量文献的基础上,分别从云检测和云去除2个方面出发,按照其基础理论和思路的不同,分为2类云检测方法和3类云去除方法,如图2所示. 在2个遥感影像公开数据集上进行了对比实验验证,利用多种定量评价指标对4种云检测方法以及4种薄云云去除和4种厚云云去除方法分别进行对比分析,总结了该领域目前的研究现状与后续的发展方向,填补了目前遥感影像云检测和去除研究方向综述性工作的空白. 本文的主要贡献有3点:

    图  2  遥感影像云检测和云去除方法分类
    Figure  2.  Cloud detection and cloud removal methods classification for remote sensing images

    1)梳理了近年提出的云检测方法,将方法分为传统云检测方法和基于深度学习的云检测方法,总结了不同方法的特点以及适用条件,提出了将深度学习和物理模型相结合进行云检测的新方向;

    2)总结了早期薄云雾校正方法存在的不足,针对近年流行的相关改进方法进行了梳理与分类,根据影像呈现特点以及适用范围进行了遥感数据对比与分析,使得遥感数据能够更好地应用于实际任务中;

    3)将近年来厚云去除方法进行了归纳,分为基于单幅影像、参考影像和多传感器的3种云去除方法,并按照方法的设计原理进一步分类总结,给出了后续可能探索和尝试的方向.

    从云雾干扰的遥感影像中精确检测出云层遮挡区域是云去除的基础,对数据质量评价和提升有重要的作用. 目前已有的云雾检测通常利用不同传感器波段获取信息的差异,针对遥感影像中精确检测出云层遮挡区域是云去除的基础,对数据质量评价某一传感器的特点进行相应的研究,并根据云雾的物理特性、纹理结构和光谱特性进行特征提取,生成云掩膜(cloud mask). 现有的云检测技术可粗略分为基于传统方法和深度学习两大类,下面依次进行详细而全面的介绍.

    传统云检测方法主要包括阈值法和空间特征法. 针对不同卫星传感器以及不同波段光谱特性设置阈值分离遥感影像中的云雾和地物即为阈值法;空间特征法则利用云的物理属性和成像属性,运用支持向量机(support vector machine, SVM)和聚类等方法将云雾和地物进行区分. 表1对当前基于传统云检测的方法进行了对比和总结.

    表  1  基于传统方法的云检测方法对比
    Table  1.  Comparison of Cloud Detection Methods Based on Traditional Methods
    类别 方法来源 卫星/特征 方法描述 优点 缺点/难点
    阈值法 文献[5] 高分6号 多信息协同云识别算法 消除将冰/雪像素误识别为云的问题 只适用于特定卫星数据
    文献[6] 二氧化碳观测卫星
    基于近紫外到近红外进行不同
    阈值测试
    解决该探测器可见光到热红外波段
    有效的云识别问题
    只适用于特定卫星数据
    文献[7] 高分6号 最大类间方差法(OTSU)自适应
    获得阈值
    适用于高分6号卫星宽幅相机数据 只适用于特定卫星数据
    文献[8] GK-2A卫星
    结合滤波技术以及动态阈值方法 准确检测云覆盖区域 会在明亮地表覆盖和沙漠地区出现误分类
    文献[9] PlanetScope卫星
    自适应将单个图像的云指数和时间
    序列中的反射异常值信息相结合
    对热带地区的云检测准确度更高更
    有效
    仍有大量的低密度云/霾/云阴影遗漏
    文献[10] 多种传感器
    基于随机森林云检测方法 适用于多种传感器,避免了复杂的
    阈值设置
    地表被大面积雪覆盖且纹理信息较弱时检测不准确
    文献[11] 多种传感器 采用马氏距离进行聚类 不受光谱范围限制,扩大适用范围 无法响应实时变化
    空间特征法 文献[12] 光谱信息
    将影像划分块并根据云雾与地物的
    差异特征对云区域进行自适应分割
    无需依赖预先确定的阈值和先验
    信息,检测效率较高
    易受影像中山脉、雪等类云地物影响
    文献[13] 光谱、纹理和频率信息 训练SVM分类器提取影像中的
    云区域
    提高了检测准确性 只对厚云薄云进行了初步的定性区分,没有定量分析
    文献[14] 成像和物理特性
    利用多特征嵌入式学习SVM构造
    分类器
    对稠密、稀薄和卷积云影像表现
    良好
    研究区域地物类型比较单一
    文献[15] 光谱和时间信息
    基于多时相影像构建低秩矩阵分解
    模型
    比基于单幅影像的效果好,同时
    有效地保留了云的细节和边界
    对于大面积云污染的影像检测效果不佳
    下载: 导出CSV 
    | 显示表格

    早期的云雾检测方法主要通过分析遥感影像各个波段的光谱特征,设置相应的阈值来分离云雾和地物. 地物的光谱特征一般是通过大量的人工样本分析得到,比较有代表性的是Fmask算法[16],以大气表观反射率(top of atmosphere reflectance, TOA)和亮度温度(brightness temperature, BT)作为输入数据,分别计算雪、植被等属性的指数并通过阈值方法来分离遥感影像中的云雾和地物. 但是Fmask算法难以区分Landsat遥感影像上的薄云雾和冰,并且在山地区域云雾检测效果不佳,因此一些学者提出了改进的MFmask(mountainous Fmask)[17],Tmask(multitemporal mask)[18]等方法. 然而,随着遥感卫星空间分辨率的提高,许多超高分辨率卫星例如高分系列、Worldview系列等得到了发展,但因只有红、绿、蓝和近红外4个波段的遥感数据,之前的基于多红外波段的检测方法便不再适用[19] .

    伴随着对云检测精度越来越高的要求,固定阈值由于其局限性而逐渐被淘汰,越来越多的学者关注于动态阈值的设计. 不同卫星传感器所获取的光谱特性具有较大的差异性,例如,高分5号卫星搭载的大气气溶胶多角度偏振探测仪具有强偏振特性[5],二氧化碳观测卫星(TANSAT)上的云与气溶胶偏振成像探测器配备了近紫外到近红外波段的通道[6],高分6号配置了宽幅相机[7]. 针对不同的传感器设计自适应动态阈值即可实现有效的遥感影像云检测,但是这类方法往往依赖于宽频谱范围内多个频段中的众多阈值,仅仅适用于特定的卫星数据. 因此,Yao等人[10]提出了基于随机森林(random forest, RF)的云检测方法,结合从最常见波段中提取的稳定光谱和纹理特征,减少了对多波段信息的依赖,提高了方法的可扩展性,同时避免了复杂的阈值设置. 郭玲等人[11]采用马氏距离进行聚类,利用阈值法对划分出的每个超像素进行2值化处理,将云雾和地物进行分类. 此方法提高了图像分割的精度和云图识别的准确率和灵敏度,不受光谱范围限制,扩大了云检测方法的使用范围. 但文献[11]方法由于使用时间固定的参考数据,无法响应由于气候变化或特殊天气现象导致的像素值变化. 因此,一些学者提出了将动态阈值与多时相影像相结合进行云检测,利用多时相遥感影像的互补信息解决高亮度地表、雪和云容易混淆的问题[20]. 文献[8]结合了包括角度变化和TOA随时间变化最小时反射率的滤波技术,利用动态阈值方法得到了较为准确的云检测结果. 而文献[9]利用PlanetScope卫星具有比其他卫星更少光谱带的特点,运用自适应阈值方法将PlanetScope单个影像的云/阴影指数和时间序列中的反射异常信息相结合,相比于其他方法,针对热带地点的云检测具有更高且更有效的精度.

    综上,基于阈值的方法主要利用云雾在可见光波段具有很强反射的特性来实现云检测,应用场景较为广泛,并且计算效率较高,但是该类方法对阈值的设置非常敏感,通常只利用了低层次的光谱信息;对下垫面和云雾覆盖区域较为敏感,忽略了较多高层次的空间信息,阈值会因遥感影像在不同时间和天气条件下发生较大变化,因此局限性较高,易产生误检.

    随着遥感影像的空间分辨率不断提高,云层和地表物体相应的空间信息越来越丰富,空间特征越来越明显,相比于需要预先确定阈值和先验信息的阈值法,空间特征法通过对影像空间进行分割,提取光谱、纹理、频谱等特征可以更容易地区分云雾和地物信息,实现遥感影像云检测[21-23].

    常用的空间特征云检测方法主要根据各类地物在不同光谱下通过将每个像素邻域的空间信息变化值与某个阈值进行比较,依照图像地物反射率及阈值判定法进行区分,从而识别出云与非云[24-26]. 文献[12]在此基础上做出了改进,针对高分7号卫星等高分辨率遥感影像只有4个波段的特点,将待检测图像划分为块并根据图像上云与地物的差异特征对云覆盖区域进行自适应分割得到云和云掩膜. 该方法将光谱信息和自适应阈值方法相结合,无需依赖预先确定的阈值和先验信息,检测效率较高. 但该方法的云检测结果易受影像中山脉、雪等类云地物影响,厚云边缘过渡部分在内的各种薄云容易出现漏判.

    最近,一些学者提出了基于SVM的云检测方法,根据影像中云层和下垫面地物的光谱、纹理、频率等属性训练SVM分类器,并使用训练好的SVM分类器对图像块进行是否为云的判断,提取影像中的云区域,对云检测过程容易相互混淆的部分有针对性地增加检测环节,提高了检测准确性. 例如,文献[13]采用结合遥感影像灰度、纹理和频率特征的SVM云检测方法,对遥感影像分2层设计3个分类器进行检测,实现了厚云、薄云、地物之间的区分,从而提升了云检测的准确率,对于各种形态的云层覆盖表现良好. Zhang等人[14]利用多特征嵌入式学习SVM构造分类器进行云检测,考虑云的成像特性和物理特性,构建云和非云的灰度、几何、对比度、相关性和角2阶矩5个特征的特征空间,将遥感影像的云检测视为2分类问题,该方法对稠密、稀薄和卷积云图像表现良好.

    此外,通过结合多时相遥感影像,能够获得比基于单幅影像云检测方法更准确的云掩膜[18, 27-28]. 现有的多时相云检测方法大多无法准确估计无云参考背景,Zhang等人[15]利用影像在光谱-时间维上具有强相关性的低秩先验,在时间序列中计算比例和动态位置相对较低的云稀疏先验,提出了基于多时相图像构建低秩矩阵分解模型来估计无云背景,结合空间信息细化云检测. 该方法有效地保留了云的细节和边界,生成更精确的云掩膜.

    综上可知,基于阈值法通常利用遥感影像的多个近红外波段,大多用于特定类型的多光谱数据,如Landsat系列. 其原理是根据云的高反射率和低温特性,算法简单,检测效果较好,缺点是当地面覆盖了冰、雪、沙漠或云为薄卷云、层云和小积云时,很难将云和地面区分开来,局限性较高. 随着遥感影像空间分辨率的提高,基于空间特征云检测方法的功能越来越强大,其关键在于如何进行空间特征阈值的选取和对于多特征进行训练,提高检测的准确性. 虽然该方法可以检测出影像中存在较大的云区域,但是因云存在较多的特征,纹理形状丰富多样,基于单个或多个空间特征的方法只能对特定类型的遥感数据有效,而针对其他传感器数据性能差异很大.

    近几年,随着深度学习在图像检测和识别领域的高速发展和不断成熟,国内外的研究人员开始将深度学习方法应用于遥感影像云检测的研究,其表现已经逐渐超越了基于传统方法的云检测方法[29-32]. 例如,Xie等人[33]改进了简单线性迭代聚类算法,通过优化初始聚类中心、动态距离测量、搜索空间,能够更准确地获得云的边缘. Ronneberger等人[34]提出利用U-Net网络解决云检测问题,Mohajerani等人[35]基于该U-Net网络提出了由一个完全卷积网络(fully convolutional neural network, FCN)组成的Cloud-Net网络实现遥感影像云检测. 但是,目前大多数深度模型参数量都比较大,严重限制了其适用性和可解释性,并且卷积神经网络(convolutional neural network, CNN)训练时存在梯度分散、训练效率低和优化困难等问题. 表2对当前基于深度学习的部分云检测方法进行了对比.

    表  2  基于深度学习的云检测方法对比
    Table  2.  Comparison of Cloud Detection Methods Based on Deep Learning
    方法来源 网络类型 方法描述 优点 缺点/难点
    文献[36] 轻量级CNN 快速捕获图像中的多尺度特征信息并高效分割云和地物 突出云层细节,提高检测精度 无法根据云的结构信息进行自适应调整
    文献[37] 轻量级CNN 利用双路径架构同时提取空间和语义信息 参数和计算量通过特征重用大大减少 没有充分利用影像的光谱特征,光谱细节容易丢失
    文献[38] 轻量级CNN 融合了多尺度光谱和空间特征 计算量很少,没有额外的参数 无法根据云的结构信息进行自适应调整
    文献[39-40] 自适应CNN 利用可变形的上下文特征金字塔模块和可变形卷积块 提高了多尺度特征的自适应建模能力 需要大量的像素级标注标签
    文献[41] CNN 基于级联特征注意和通道注意的卷积神经网络 可以提取云区域的颜色和纹理特征,去除冗余 仅适用于单一传感器,泛化能力较差
    文献[42] CNN 基于地理信息驱动网络的新型云检测方法 整合了地理信息,优于其他云和雪检测方法 容易漏掉薄云区域
    文献[43] CNN 提出了将遥感影像与地理空间数据相结合的自动云检测神经网络 提高云雪共存下高分辨率影像云检测的准确性 容易漏掉薄云区域
    文献[44] CNN 提出了全局上下文密集块网络 能够解决薄云漏检问题 仅适用于单一传感器,泛化能力较差
    文献[45] CNN和Transformer 提出一种融合遥感影像光谱和空间信息的新型云检测深度网络 克服了光谱特征提取依赖经验性的线性组合,并能减少空间位置信息损失 多个分支的存在造成模型参数量较大
    文献[46] CNN和Transformer 利用双路径解码器结构实现了对相似目标的准确分类 对于云雪以及薄云的检测更准确 模型计算速度较慢
    下载: 导出CSV 
    | 显示表格

    针对深度学习方法中模型参数多和训练成本高的问题,部分学者提出了基于轻量级深度学习网络的云检测方法. 文献[36]通过快速捕获图像中的多尺度特征实现高效分割云和地物的混合信息,其中的轻量级自注意力模块可以对不可预测的目标进行定位,降低误检率;门控通道激励模块可以有效减少网络中的特征冗余,从而突出云层细节,提高检测精度. Luo等人[37]同样采用轻量级深度学习云检测模型,提出了一种双路径架构同时提取空间和语义信息,并设计了密集金字塔模块用于多尺度上下文信息提取,使得模型的参数和计算量大大减少. 然而文献[37]的网络过分强调图像的空间特征,没有充分利用遥感影像的光谱特征,使得光谱细节容易丢失. 因此,文献[38]在云检测的轻量级网络基础上融合了多尺度光谱和空间特征,利用混合深度可分离卷积以及共享和扩张残差块充分融合光谱信息和空间特征,该方法计算量少并且没有额外参数.

    目前大多数方法仅利用固定网格来提取云层周围信息,无法根据云的结构信息进行自适应调整,检测结果中经常出现边界模糊的情况. 因此,文献[39-40]分别利用可变形的上下文特征金字塔模块和可变形卷积块提高多尺度特征的自适应建模能力,自适应捕捉空间信息,并精确得到云检测结果. 在云检测领域,如何将反射率较高的雪覆盖区域与云遮挡区域准确地区分是一个重要的难题,Zhang等人[41]为了增强对颜色特征和纹理特征的关注,提出了基于级联特征注意和通道注意CNN的云检测方法,利用扩张卷积来突出通道维度中的重要信息,并使用不同扩张率的扩张卷积来获取多个感受野的信息. Wu等人[42]利用海拔、纬度和经度等地理信息设计了地理信息编码器,将影像的高度、纬度和经度编码为一组辅助映射. 针对云和雪在可见光谱中具有相似光谱的特征,Chen等人[43]提出了将遥感影像与地理空间数据相结合的自动云检测神经网络,该网络包含光谱空间信息提取模块、地理信息提取模块和云边界细化模块,旨在提高云雪共存下高分辨率影像云检测的准确性. 但该方法会漏掉尺寸小、分布稀疏以及与非云背景区域的透明度和相似性高的薄云区域. 因此,Li等人[44]将全局上下文密集块嵌入到U-Net框架,实现了有效的薄云检测.

    虽然CNN能够利用卷积核不断地提取抽象的高级特征,但是CNN固定的卷积核限制了感受野的大小,不能充分利用上下文信息进行特征的捕获[47]. 近几年在计算机视觉领域新兴起的Transformer模型利用注意力的方式捕获全局的上下文信息,从而对目标建立起远距离的依赖[48],能够提取更强有力的特征. 因此,通过结合CNN和Transformer,文献[45]提出了一种融合遥感影像光谱和空间信息的新型云检测深度网络,引入了1×1卷积核和Transformer分别提取图像的光谱特征和远距离特征,获得了较好的云检测结果,但模型的多个分支导致参数量较大. 另外,针对当前云检测方法无法准确区分云、雪和薄云的问题[42-43],Zhang等人[46]提出了一种结合CNN和Transformer的云检测框架,利用双路径解码器结构实现了对相似目标的准确分类,并使用金字塔结构编码器对薄云和覆盖面积小的云区域进行了准确检测.

    综上可知,基于深度学习算法可以实现高精度的云检测,在复杂的地表场景中优于其他类型的方法. 但是深度学习模型大多忽略了云的物理特性、空间邻近性和几何相似性,并且严重依赖标记样本,从而在训练数据不足或不具有代表性的情况下,在机器学习模型的泛化应用中产生严重的偏差. 因此,未来基于深度学习的云检测方法可以结合云的物理规则方法的经验,重点解决与大训练样本需求和跨传感器应用相关的问题.

    云雾检测是云雾去除的必要步骤,从遥感影像中准确检测出云雾后,根据薄云与厚云的不同性质以及对下垫面信息的阻挡程度,可以采用基于单幅影像、参考影像和多传感器影像的云雾去除方法进行修复或重建,得到去云雾后的清晰遥感影像. 下面将对3类方法分别进行详细的讨论.

    基于单幅影像的云去除方法是指仅利用一张含有云雾的影像进行去云,可大致分为基于成像模型、图像修复和深度学习3类算法. 其中,基于成像模型方法主要解决薄云雾覆盖问题,基于图像修复和深度学习方法还可以对厚云遮挡导致的图像信息缺失进行重建修复. 表3对目前基于单幅影像云去除的部分方法进行了对比和分析.

    表  3  基于单幅影像的云去除方法对比
    Table  3.  Comparison of Cloud Removal Methods Based on Single Image
    类别 方法来源 方法描述 优点 缺点/难点
    成像模型 文献[49] 将图像分块并通过新的颜色通道去除大气散射 恢复图像的清晰度较高,恢复效果较好 当图像中没有晴空区域,会导致计算不精确
    文献[50-52] 通过大气散射模型估计大气光和透射图 可以恢复纹理细节并在非均匀雾图像上也有成效 直接用于高光谱图像去雾时结果不佳
    文献[53-55] 改进的基于辐射传输模型薄云去除算法 去除薄云并有效保留地物信息 薄云和地面目标反射率的混合会对结果产生影响
    文献[56] 通过可见光或红外波段与卷云波段之间的关系估计云污染 解决从卷云污染数据中自动识别同质背景的关键问题 对于复杂场景效果不佳
    文献[57] 结合散射定律和2个相邻蓝色波段之间的高相关性 去除卷云的同时地面信息也能充分恢复 无法解决卷云与地物信息混合的问题
    图像修复 文献[58] 改进的双边滤波器Retinex算法 增强整幅图像的对比度并还原图像的色彩信息 未完备考虑图像降质的原因,去雾效果有限
    文献[59-60] 利用小波变换对图像进行多分辨率分解 更好地恢复地物信息,保留图像的细节 未完备考虑图像降质的原因,去雾效果有限
    文献[61] 利用图像滤波自适应图像增强算法优化图像 保证了恢复图像的结构相似性,减少颜色失真 时间复杂度和计算量较大
    文献[62-65] 基于暗通道先验与多尺度修正的Retinex去雾算法 颜色畸变小,更接近真实图像 性能依赖于先验和约束信息
    文献[66-67] 提出邻域相似像素插值器方法 通过计算相似像素权重再重新组合得到预测信息 缺乏辅助影像,仅适用于地物分布较简单场景
    文献[68-69] 学习特征字典通过稀疏表示相邻信息推断缺失补丁 结构和纹理与周围地面信息保持一致 结果不适用于裁剪过的 Landsat-7场景
    深度学习 文献[70-73] 基于CNN端到端的方法进行薄云校正 提取充足的有用特征信息,并能够处理复杂场景 会丢弃一些有用的先验知识,配对数据不准确时效果较差
    文献[74] 基于GAN和云失真物理模型的半监督方法 可以将未配对的多云和无云图像作为输入 没有足够的训练数据去除厚云区域
    文献[75-76] 基于GAN网络模型去除薄云 保留了原始图像的纹理信息 当有云/无云数据配对不准确时会严重影响去云效果
    文献[77] 利用迁移学习技术在大量模拟图像对上进行预训练 可以在训练数据稀缺的情况下取得更好的性能 在厚云存在场景会降低准确性
    文献[78] 使用失真编码网络结合复合损失函数 图像语义连贯性恢复效果较好,非云区不影响去云质量 没有足够的训练数据去除厚云区域
    文献[79-80] 基于GAN和CNN网络相结合的厚云去除方法 更好解决局部性问题,不需要成对图像,对复杂纹理效果好 对去雨、去雾等任务不能通用,区域破坏大,会产生不真实结果
    下载: 导出CSV 
    | 显示表格

    成像模型方法主要包括云雾物理成像模型和辐射传输模型. 基于物理成像模型的校正方法,通过对大气光和大气透射率进行估计,重建无云影像. 但是大气透射率参数对去云结果的质量影响较大,不适当的大气透射率评估结果会造成图像失真和校正过度的问题,研究人员针对性地提出了大量的优化方法 [81-82]. 在恢复雾霾影响的图像时,由于暗通道先验技术性能依赖于先验和约束信息,Sahu等人[49]提出将图像分块并逐块估计大气光,通过新的颜色通道去除大气散射并计算传输图,该方法恢复效果较好,但当图像中没有晴空区域时会导致大气光估计计算值不准确. 因此,将稀薄的云层划分为多个区域[50-51],并认为每个区域的云层几乎都是均匀的,通过计算每个区域的大气散射模型估计大气光和透射图,可以解决非均匀云雾干扰问题[50-52, 83]. 但文献[50-51]方法无法从遥感影像中恢复纹理细节信息,因此文献[52]将变形的大气散射模型与显著图(saliency map)生成器结合,通过引导融合模块捕获更多纹理细节,提高模型空间感知的能力.

    辐射传输模型在云去除中应用广泛,但因模型参数通常较难选择,不同的参数对计算精度影响较大. 因此,文献[53]使用多个可见光波段和1个近红外波段进行参数化,并提出一种基于经验和辐射传输模型的方法去除可见光波段中的薄云. Zhou等人[54]通过结合Landsat-8的卷云波段对辐射传输模型进行了改进,实现了去除可见光波段中的薄云,但因使用基于辐射传输模型算法建模的云成分可能包括薄云和地物的混合,容易发生过校正[55]. Xu等人[56]开发了一种基于图像的卷云污染校正方法,可见光或红外波段与卷云波段之间的关系是通过使用同质土地覆盖区域中的数据进行线性回归来估计的,此方法解决了从卷云污染数据中自动识别同质背景的关键问题. 利用可见光和近红外波段与卷云波段之间的回归关系通常对均匀地物分布区域有效,但对解决复杂场景有限. 因此,Zhang等人[57]提出了基于散射规律的卷云校正方法,该方法结合散射定律和2个相邻蓝色波段之间的高相关性来估计每个近红外波段的卷云辐射,从而恢复图像的地面信息.

    利用图像修复解决薄云雾干扰的基本思路是将图像中云成分作为一种噪声,通过增强地物特征的方式减弱或消除图像中云的影响,改善薄云雾覆盖区域的图像质量. 薄云雾在图像中呈现低频的特征,对图像的低频信息进行处理可以达到去薄云雾的效果,主要包括Retinex理论[58, 84]、小波变换[59-60, 85]、图像滤波[61, 86-87]和暗通道先验[62-64, 88]. 另外,针对现有的航拍图像去雾后图像对比度低、图像明暗差异不明显问题,Xia等人[65]提出了基于暗通道的航空图像去雾增强方法,将图像方差和绝对梯度平均值组合在一起以获得权重系数,并使用多个分解形式平滑边缘像素,实现图像的去雾增强.

    相比于去除薄云,重建厚云遮挡区域更加困难,一般仅能根据厚云遮挡区域邻域信息对缺失的信息进行预测和重建,云污染区域是根据周围清晰区域合成的,仅能获得视觉上合理且非云的图像. Chen等人[66]提出了邻域相似像素插值器(neighborhood similar pixel interpolator, NSPI)方法来预测因Landsat-7 ETM+(enhanced thematic mapper plus)传感器的扫描线校正器失败导致的数据信息缺失,该方法同时也适用于重建厚云遮挡区域,通过在原始有云图像和其他日期的无云图像之间搜索相似像素预测云遮挡像素的值. Zhu等人[67]提出了增强邻域相似像素插值器(modified NSPI, MNSPI)方法来标记云区域并寻找无云的相似像素,通过计算相似像素权重再重新组合得到预测信息,但由于缺乏辅助影像,该方法仅适用于地物分布较简单的场景[89].

    字典学习技术[90]是图像修复的一种经典方法,文献[6869]从无云区域的样本中学习特征字典,通过稀疏表示相邻信息推断缺失补丁,此方法能够有效保持结构连续性和纹理一致性,适合具有显著结构的高空间分辨率遥感影像云去除. 通过借鉴流形学习的思想,Liu等人[91]提出了基于多图的低秩张量逼近算法,将具有邻近关系特征的几何信息与低秩张量逼近相结合以恢复高光谱影像,有效去除云的同时保持光谱的完整性. 对于高光谱数据的云去除问题,Wang等人[92]提出了一种快速空间光谱随机森林(fast spatial-spectral RF, FSSRF)方法,从大量冗余数据中提取有效信息,通过高光谱中丰富的光谱信息和空间邻域信息重建云层遮挡区域.

    近些年,CNN凭借强大的非线性拟合能力,成为了深度学习研究领域的热点方向. 因此,在遥感影像去云领域陆续涌现出了大量基于CNN的去云算法. 例如,深度残差对称连接网络[[70]、Slope-Net[71]、SG-Net[72]以及结合注意力机制的CNN方法[73]. 2014 年由Goodfellow提出的生成对抗网络(generative adversarial networks, GAN)[93]已广泛应用于云去除领域[94-99]. 例如,Isola等人[100]利用条件生成对抗网络(conditional GAN, cGAN)学习从输入图像到输出图像的映射,提出了pix2pix方法. 但是,配对的多云和无云图像在实际应用中很难获得,Zhu等人[101]利用未配对数据提出了无约束的从源数据域图像到目标数据域图像的映射学习方法,同时引入了Cycle Consistency Loss损失函数.

    同样,通过将未配对的多云和无云图像作为输入,Li等人[74]提出了基于GAN和云失真物理模型的半监督方法,基于GAN和图像分解原理,从输入的有云图像中分解出无云背景和云失真层,并利用物理模型进行重建,用于去除来自不同区域的未配对图像的薄云. 因文献[96]提出的Cloud-GAN网络与文献[102]运用的云感知生成网络往往会破坏地物的结构信息,因此Zhao等人[75]使用基于感知的图像质量评估器来选择最佳输出,使得对抗一致性损失的多模式GAN保留了原始图像的纹理信息,能够更准确地学习不同的地面信息,并生成更逼真、质量更高的图像,并且该方法相比于文献[74]提出的方法不需要任何参考图像,有更少的约束. 同样,文献[76]也针对生成网络会破坏地物结构信息的问题进行了改进,提出了空间注意力生成对抗网络模型,增强了薄云区域信息恢复能力,当该方法应用于去除厚云区域时,可以保留地物更多的细节,生成更高质量的无云图像.

    另外,Wen等人[77]使用迁移学习(transfer learning, TL)技术在大量模拟图像对上进行预训练,然后对真实图像使用迁移学习,可以在训练数据稀缺的情况下取得更好的性能. 但该方法从多云图像到无云图像的单向映射不区分多云和非多云区域,从而忽略局部区域的重建. 因此,Zhou等人[78]提出了使用失真编码网络结合复合损失函数对薄云或厚云区域进行重建,在损失函数中同时考虑了连贯语义和局部自适应重建因素,该方法有很强的图像语义连贯性,并且能够保证非云区域保持不变从而不会影响去云图像的质量. Ran等人[79]提出了一种端到端软注意力循环神经网络模块去除厚云,通过对所有特征节点添加全局依赖,更好地解决了局部性问题. 基于空间注意力生成对抗网络模型[76],文献[80]利用纹理复杂度引导机制,将训练样本按纹理复杂度从低到高进行排序,然后使用自定义进度学习框架训练生成对抗性云去除网络,该框架不需要配对图像,对于具有复杂纹理区域的图像去云效果表现很好.

    综上所述,基于成像模型和图像修复的去云算法虽然不需要额外的信息,但是由于辅助信息较少,很难准确判断薄云和地物的边界,导致一些有云区域和无云区域同时被计算处理,去云效果较差且保真度有所欠缺. 基于深度学习的遥感影像云去除方法虽然准确度较高,但是通常需要大量的训练数据,对数据的要求较高. 例如,基于GAN网络训练时需要同时输入有云影像对和无云影像对,而且影像对之间的时间间隔如果过长,地物可能发生较大变化,在网络训练过程中会产生较大的误差. 另外,因单幅图像辅助信息较少,当影像中存在较大面积的厚云或高亮地物时,网络模型训练效果显著下降,导致重建结果中会存在噪声或失真的现象. 因此,对于大面积的厚云覆盖影像,增加辅助信息进行云去除更符合实际的需求.

    利用参考影像进行云去除通常是当仅利用单幅影像时无法实现有效的图像恢复,尤其是处理厚云的遮挡问题. 本节讨论的参考影像一般是指相同传感器获取的无云污染多时相影像,根据辅助信息可以被显式利用还是隐式学习,可以分为显式构建和隐式构建2种方法. 显式利用指云遮挡区域直接运用多时相参考影像对应的补充信息获得无云重建结果,而隐式学习需要通过学习遮挡区域和辅助信息之间的关系从而获得重建影像. 诸多学者分别从这2个方面进行了深入的研究,表4对目前基于参考影像云去除的不同方法进行了对比.

    表  4  基于参考影像的云去除方法对比
    Table  4.  Comparison of Cloud Removal Methods Based on Reference Images
    类别 方法来源 方法描述 优点 缺点/难点
    显示构建文献[103]应用统计相似性在克隆过程中考虑光谱特征和季节效应保持光谱和结构一致性结果与云检测预处理步骤中生成的精度直接相关
    文献[104]多时相影像采用泊松混合算法在重建像素方面非常有效严重依赖陆地卫星数据的云掩膜质量
    文献[105]采用空间和时间加权回归模型优化整合来自不变相似像素的互补信息得到理想的去云效果忽略了由太阳光照和大气条件引起的相互差异
    文献[106]提出增强时间序列模型和连续变化检测算法具有更高的预测精度和处理土地覆盖突变情况的能力对于没有物候特征的覆盖类型精度没有显著提高
    文献[107]结合使用自动编码器和基于长短期记忆的相似像素聚类前向重建模型与前向和后向模型相比,呈现更好的结果应设计集成网络,将相似像素聚类和重建结合在一起
    隐式构建文献[108]提出了时间平滑的空间-光谱全变分正则化低秩组稀疏分解方法提高了稀疏度,保证不同方向的平滑度并可以重建细节可能会破坏固有的高维结构,没有考虑波段之间的相关性
    文献[109]提出了框约束沿光谱维度的群稀疏函数
    相比稀疏函数更准确地表征云特性,不需要云掩码作为先验不能实时快速处理相关应用,对参数敏感
    文献[110]将期望最大化Tucker方法应用于卫星遥感影像与简单PCA方法相比,对缺失数据的补全准确度更高待修复区域发生较大地物变化时效果较差
    文献[111]将深度先验与低秩张量补全相结合保持空间一致性,细节纹理清晰只能处理单幅图像
    文献[112]运用数据驱动方法将深度时空先验与低秩张量奇异值分解相结合具有实用性,去除效果比单独使用低秩张量奇异值分解更好不能实时快速处理
    文献[113]提出基于光谱-时间度量的缺失观测预测方法在恢复异质植被区域方面表现出色需对目标图像中的缺失值进行预插补来计算光谱和时间权重
    文献[114]提出基于耦合张量分解和基于拉格朗日乘子法的厚云去除方法解决云掩膜不准确的问题不能实时快速处理
    下载: 导出CSV 
    | 显示表格

    基于参考影像云去除方法从显式构建角度大致可分为:直接替换法和寻找相似像元法. 当含云影像与无云影像之间的差异较小时,可以采用直接替换法先对参考影像做色彩匹配,再采用多尺度融合的方式将参考影像中与云遮挡区域对应的有效像元融合到云遮挡影像中. 例如,文献[115116]使用泊松方程在无云的相似补丁中克隆信息到它们相应的受云污染的补丁中,但该方法对边界条件很敏感. 因此,Surya等人[117]利用结构相似性指数(structural similarity index, SSIM)对多时相遥感影像进行排序,对于每个云污染区域,从排序的多时相影像中选择相应的无云区域用泊松方程重建出无明显边界的清晰区域. Kalkan等人[103]则通过在克隆过程中考虑光谱特征和季节效应保持光谱和结构的一致性,并应用统计相似性找到用于克隆过程的最佳无云影像. 另外,Hu等人[104]也提出了改进算法,首先利用质量评估(QA)波段构建云掩膜,然后对多时相影像采用泊松混合算法进一步消除无云区域和重建区域之间的辐射差异,但结果非常依赖于云掩膜的准确性.

    另一类方法是从相似像元的角度进行云修复,借助参考影像可以更加准确地定位到含云影像自身内部及参考影像上的相似像元,与含云自身的相似像元共同完成云区信息修复. 例如,Chen等人[105]利用输入场景的无云信息,并采用空间和时间加权回归模型优化整合来自不变相似像素的互补信息,得到理想的去云效果,但忽略了由太阳光照和大气条件引起的相互差异,且没有考虑土地覆盖突然变化的问题. 因此,Xie等人[106]提出了增强时间序列模型和连续变化检测算法,将时间序列模型估计和空间域中的相似像素替换相结合,产生了更高的预测精度,并且在处理多时相图像存在较大地物变化情况时表现更好. Zhou等人[107]则结合使用自动编码器和基于长短期记忆的相似像素聚类,用于搜索相似像素,并利用反向长短期记忆模型恢复缺失值. 以上利用参考影像相似像元进行修复的方法[105-107],因相似像元可以作为很好的补充信息,基于多时相影像的相似像元修复法可得到更加理想的修复结果.

    隐式构建是指待修复区域与多时相影像无云区域之间的关系可以通过学习的方式获得,其具体可以分为2类:模型驱动方法和数据驱动方法. 模型驱动方法可以准确地描述多时相图像的固有特征,例如基于字典学习、稀疏表示和低秩张量分解等的方法. 其中,Xu等人[118]提出多时相字典学习(multitemporal dictionary learning, MDL)去除厚云方法,通过组合来自无云参考图像的系数和从有云图像中学习的字典进行云去除. Duan等人[108]提出了一种时间平滑的空间-光谱全变分正则化低秩组稀疏分解方法,提高了厚云元素的稀疏度并保证不同方向的平滑度,最后选择参考图像重建修复区域的细节. 但该方法通过将数据重塑为矩阵来考虑基础数据的低秩属性,可能会破坏固有的高维结构,并且尽管考虑了每个波段的云信息稀疏性,但没有考虑波段之间的相关性. 因此为了更好地表征云特征,Ji等人[109]提出了一种框约束(box constraint, BC)平滑低秩加权稀疏模型,解决了文献[108]因张量秩表征图像分量的全局属性无法保持无云区域信息不变的问题,充分利用波段之间云的相关性,引入了框约束,强制每次迭代中图像分量的无云区域与观察到的数据相同,因此不需要云掩膜作为先验知识,与稀疏函数相比可以更准确地表征云的特性,改进了因改变无云信息而降低恢复质量的情况. Þórðarson等人[110]将期望最大化Tucker应用于卫星遥感影像,直接分析存储在多维数组中的数据,并利用其多路结构能力进行缺失信息重建,与简单的主成分分析(principal components analysis, PCA)迭代方法相比,文献[110]中方法在拟合过程中同时利用时间和空间信息,对缺失数据的补全准确度更高.

    然而,模型驱动方法对设置参数很敏感,例如秩值和迭代次数[119],因此由于复杂的迭代优化,文献[119]方法通常非常耗时. Zhang等人[111]将深度先验与低秩张量补全相结合,以去除Sentinel-2时间序列图像中的厚云,更好地保持空间一致性,而且也确保细节纹理清晰. 多时相影像中通常存在多幅厚云污染图像,无云参考图像较难获得,因此为了可以同时处理时间序列的多幅厚云图像,Zhang等人[112]运用数据驱动方法将深度时空先验与低秩张量奇异值分解相结合,通过3阶张量奇异值分解的多时相图像低秩特性,利用3维卷积神经网络的深度时空特征表达能力,去除多时相图像中的厚云,与单独使用低秩张量奇异值分解方法相比,厚云去除效果更好. 另外,为了解决Landsat时间序列信息缺失问题,填补单日期陆地卫星图像的大面积空白,Tang等人[113]提出了基于光谱-时间度量的缺失观测预测方法,计算谱时态信息的权重并找到时间序列上最相似的像素值,最后利用有效像素训练k-近邻算法并预测间隙中的缺失值. 该方法在恢复热带森林等异质植被区域方面表现出色,但存在需要对目标图像中的缺失值进行预插补计算光谱和时间权重的问题. 目前,大部分方法的云掩膜在厚云去除中通常是人工标注或通过云检测方法获得的,其准确性不能保证,因此可能会影响云去除效果. Lin等人[114]提出了鲁棒性厚云去除(robust thick cloud/shadow removal, RTCR)方法,通过耦合张量分解探索多时相图像之间的关系并基于拉格朗日乘子法重建多时相信息,可以解决云掩膜不准确的问题.

    综上,无论有云影像与参考影像之间的关系如何构建,云遮挡信息修复的方法本质上都依赖于无云参考影像的质量,很难在云掩膜不准确情况下进行云去除,并且重建区域和无云区域容易出现颜色差异. 未来应该重点研究充分利用有云影像本身的空间和光谱信息,降低地物变化带来的不确定性,提高算法效率,实现批量处理多幅时间序列厚云覆盖影像.

    随着卫星技术的发展,可获取的遥感影像种类越来越丰富,因此当同源参考影像无法获取或可利用的多时相影像时间间隔过长导致地表覆盖发生了显著变化时,许多专家学者提出了基于多传感器的异源数据辅助的遥感影像云去除方法. 该方法根据辅助影像的不同类型,可分为光学影像辅助和合成孔径雷达(SAR)影像辅助的方法,如表5所示.

    表  5  基于多传感器影像的云去除方法对比
    Table  5.  Comparison of Cloud Removal Methods Based on Multi-Sensor Images
    类别 方法来源 方法描述 优点 缺点/难点
    光学影像辅助 文献[120] 将MODIS影像作为辅助数据,利用泊松调整的时空融合方法实现Landsat影像云层的去除 能够很好地处理土地覆盖类型发生显著变化的时间序列影像 算法非常依赖云检测结果
    文献[121] 提出改进的时空数据融合模型,将MODIS和Landsat时序数据结合 处理显著土地覆盖变化的场景效果较好 难以处理多种类型云覆盖场景
    文献[122] 使用MNSPI时间序列方法去除Sentinel-2和Landsat-8遥感影像云层覆盖 可以生成具有高时空分辨率时间序列影像 计算效率较低
    文献[123] 基于SSRF方法,利用Landsat-8对高光谱影像进行厚云去除 能获得更高精度的高光谱重建结果 没有充分挖掘影像空间信息
    SAR影像辅助 文献[124] 通过预卷积将SAR和光学影像转换为超特征图并输入到G-FAN模型网络 可以同时实现云去除、图像去模糊和图像去噪 模型缺乏可解释性
    文献[125-127] 以GAN作为主干网络,将SAR作为辅助数据实现光学影像去云 充分学习了SAR与光学影像之间的映射关系 可利用的数据集有限,需要解决配准问题
    文献[128] 将CNN和GAN网络结合重建云覆盖区域 能够利用被云污染区域的光谱信息 需要在不同的地点对不同模型进行预训练
    文献[129] 提出基于深度学习的异构时空谱融合方法 利用端到端循环一致生成对抗网络学习生成结果与真实影像之间的映射 受SAR影像的散斑噪声较大
    文献[130] 提出基于全局-局部融合的云去除算法 能够增强SAR数据的利用率 SAR和光学影像边缘提取不准确
    文献[131] 采用了GAN架构,结合自动编码器 利用光学特征和边缘图指导修复模型生成无云影像 SAR和光学影像边缘提取不准确
    文献[132] 训练CNN建立多时相SAR和光学影像之间的关系 在没有大量训练数据集情况下反映地面信息变化的去云结果 计算效率较低
    文献[133] 利用cGAN和ConvLSTM提取SAR数据和光学时间序列影像时空特征 在大量数据集上进行验证,鲁棒性强 需要充分挖掘SAR时间序列影像特征
    文献[134] 提出多模态和多时相3维卷积神经网络模型 充分保留多时相影像时间信息,并发布了大规模数据集 没有考虑无云区域在长期变化引起的纹理和结构差异
    下载: 导出CSV 
    | 显示表格

    Landsat系列卫星自1972年起至今不间断地获取影像,且对公众免费开放,为诸多研究提供了方便,其时间分辨率为16天,因此有效的参考影像与目标有云影像的时间相隔可能会是几个月甚至1年,导致待恢复区域地物发生了显著变化,难以得到准确的无云影像. MODIS影像具有极高的时间分辨率(1天),和Landsat影像有相似的波段设置,且同样免费实时公开,因此许多学者提出了利用MODIS影像辅助修复Landsat缺失数据的方法. 例如,Zhang等人[120]获取Landsat有云影像和相邻时间的MODIS辅助影像,提出了一种带有泊松调整的时空融合方法实现Landsat影像云层去除. Shen等人[121]将MODIS和Landsat 时序数据结合,通过改进的时空数据融合模型从2个辅助影像中捕获土地覆盖的时间变化,并基于泊松方程的残差校正策略增强恢复区域和剩余区域之间的光谱相干性,在处理土地覆盖显著变化场景时取得了较好的效果.

    除了常见的利用传感器参数相近的MODIS和Landsat结合,还有学者提出将多种类型光学卫星数据融合,例如,Zhao等人[122]使用MNSPI时间序列方法去除Sentinel-2和Landsat-8遥感影像上的云层覆盖,利用时空数据融合模型融合Sentinel-2和MODIS影像以获得多时相Sentinel-2数据,并利用融合后的遥感数据构建时间序列影像,生成具有高时空分辨率(10 m和≤16天)的时间序列植被指数. 此外,由于公开可用的高光谱数据比较匮乏,针对高光谱影像去云的研究也相对较少. 最近,王蓝星等人[123]提出了基于空谱随机森林(spatial-spectral-based RF,SSRF)的方法,利用时间分辨率更高的Landsat-8影像对高光谱影像的厚云进行去除.

    SAR是一种主动式对地观测系统,能够在极低能见度天气情况下获得高分辨率雷达影像,几乎不受云层影响,具有对地球进行全天候观测的能力,弥补了其他传感器数据的不足. 但是SAR与光学影像之间成像机制的差异极大地增加了融合难度,因此,现有利用SAR对光学影像进行去云的方法大多基于深度学习技术. 例如,Chen等人[124]通过预卷积将SAR和光学影像转换为从超特征图输入到基于图的特征聚合网络(graph based feature aggregation network, G-FAN),实现了SAR影像辅助的Sentinel-2光学影像云去除,但由于该模型只利用了SAR的2个波段,导致模型的可解释性较差,而且在城市等地表复杂区域难以得到准确的结果.

    随着GAN网络的兴起,GAN模型结构为SAR和光学影像融合提供了新的思路,许多学者提出了多种以GAN作为主干网络的云去除方法[125-127]. Gao等人[128]将CNN和GAN网络结合,利用SAR影像模拟光学影像,然后将模拟的光学影像、SAR影像和有云光学影像级联以实现云覆盖区域的修复重建,该模型充分学习了SAR与光学影像之间的映射关系,同时充分利用了目标光学影像的光谱信息.

    由于级联方式对SAR数据信息的利用能力有限,并且为了改进现有方法大多局限于2个传感器之间的融合现状,Jiang等人[129]提出了一种基于深度学习的异构时空谱融合方法,将低空间分辨率有云影像、高空间分辨率SAR影像和无云光学图像相结合,融合框架中利用端到端循环一致生成对抗网络学习,生成结果与真实影像之间的映射,提高了光学影像空间分辨率. Xu等人[130]提出了一种基于全局-局部融合的云去除算法,增强了SAR数据的利用率,在修复过程中能够保持纹理细节并引导所有局部光学影像窗口之间的关系保持一致,利用嵌入在SAR影像中的互补信息进行云去除. 另外,针对SAR和光学影像在图像解译方面存在的差异问题,Xiao等人[131]采用了生成对抗网络架构,运用自动编码器生成无云边缘图,并利用光学特征和边缘图指导修复模型生成无云图像,该方法可以得到很好的性能并可以应用到更大的数据集中.

    综合时域邻近的多时相影像对,可以更准确地模拟不同传感器影像之间的关系,减少传感器差异以及地物边界在时间上的变化给去云带来的较大负面影响. 因此,最近许多文献提出了结合多时相SAR和光学影像的多传感器去云方法. 例如,Gao等人[132]将多时相SAR和光学影像作为深度神经网络的输入,在无需大量训练数据集的情况下得到能够反映地面信息变化的去云结果,适用性较强. 而Sebastianelli等人[133]利用条件生成对抗网络和卷积长短期记忆(convolutional long short-term memory, ConvLSTM)网络分别从SAR数据和光学时间序列影像中提取时空特征,并与U型网络结合到得无云光学影像. 此外,Ebel等人[134]提出了多模态和多时相3维卷积神经网络,通过序列到序列的转换模型,从有云时间序列影像和相对应的SAR影像中预测得到无云时间序列影像,但该方法没有考虑无云区域长期变化引起的纹理和结构差异. 文献[132134]方法的模型性能和泛化能力在很大程度上取决于固定数据集,存在过拟合的风险,因此Czerkawski等人[135]提出基于深度图像先验的修复技术,可以在未训练的情况下全年不同天气条件下修复受云影响的区域,应用场景更广.

    目前,已经有大量的研究开始关注基于多传感器影像的云去除方法,并且已经取得了一定的成效,弥补了基于参考影像去云方法的不足. 但是不同传感器影像的配准问题以及空间和光谱分辨率不一致问题仍然会给重建工作带来巨大挑战,研究如何降低异源数据差异性、提高数据一致性、增强融合可靠性是未来深入开展研究的重点方向.

    对于云检测与云去除结果的精度评估,数据集的构建至关重要. 随着最早Landsat-7云量评估数据集的提出,后续的大规模、细粒度标注数据集不断涌现. 本文对用于云检测与云去除的遥感影像常见数据集进行介绍,云检测数据集具体包括38-Cloud [136],GF1-WHU [137],Sentinel-2 Cloud [138],云去除数据集具体包括RICE[139],NWPU-RESISC45 [140],SPARCS [141],如表6所示.

    表  6  云检测与云去除公共数据集
    Table  6.  Public Datasets of Cloud Detection and Cloud Removal
    数据集 数据规模 像素大小 空间分辨率/m 波段数量 云厚度
    38-Cloud[136] 38个场景,2000多幅影像 384×384 30 4 薄、厚
    GF1-WHU[137] 19个场景,950幅影像 600×600 16 4 薄、厚
    Sentinel-2 Cloud[138] 513幅影像 1022×1022 20 13 薄、厚
    RICE[139] RICE1:500组,RICE2:450组 512×512 30 11
    NWPU-RESISC45[140] 45个场景,每个场景700幅影像 256×256 0.2~30 3 薄、厚
    SPARCS[141] 80个场景,共720幅影像 1000×1000 30 10 薄、厚
    下载: 导出CSV 
    | 显示表格

    1)38-Cloud [136]. 该数据集共包括38种场景的Landsat-8有云覆盖影像,每幅影像的像素大小为384×384,空间分辨率为30 m,波段数量为4个,分别为蓝、绿、红、近红外. 训练集和测试集的图像都包含了许多场景元素,如植被、裸土、建筑物、城市区域、水、雪、冰、雾、不同类型的云覆盖等,训练集和测试集的平均云覆盖率都在50%左右.

    2)GF1-WHU[137]. 该数据集共包括19个场景的遥感影像,每幅影像的像素大小为600 × 600,空间分辨率为16 m,波段数量为4个,分别为蓝、绿、红、近红外. 数据集中标注了云和非云的区域,专门用于卫星遥感图像云检测算法的研究和评估,为云检测研究提供了重要的数据基础.

    3)Sentinel-2 Cloud[138]. 该数据集包含513个像素大小为1022×1022的子场景云覆盖数据,每幅影像的空间分辨率为20 m,共包含13个不同波段的数据,该数据集提供了厚云、薄云和无云的影像,并附带了相应的云标注.

    1)RICE (remote sensing image cloud removing dataset)[139]. 该数据集由2个部分组成:RICE1包含500幅薄云雾覆盖影像和500幅对应无云影像,像素大小为512×512;RICE2包含450组影像,每组包含3幅像素大小为512×512的图像(云图、云掩膜图、无云参考图),空间分辨率为30 m,包含11个波段,保证了数据集的丰富性.

    2) NWPU-RESISC45[140]. 该数据集包含45个类别的遥感影像,每个类别有700幅256×256像素的RGB彩色图像,空间分辨率为0.2~30 m,具有规模大、图像中所含信息丰富等特点.

    3) SPARCS[141]. 该数据集包含了如水、雪、冰、土壤和不同类型的云覆盖以及云和阴影的掩膜等共80个场景的720幅影像,每幅影像的像素大小为1000×1000,空间分辨率为30 m,共有10个波段,可用于云去除算法效果评估.

    表6中可以看出,近几年可见光遥感影像云检测与去除相关数据集发展迅速且备受瞩目,数据集的构建对于云检测与云去除结果的精度评估具有至关重要的作用,这些数据集包含不同场景,如城市、农村、森林等,以及包含不同分辨率、云类型和云量的遥感影像. 因此可以满足不同应用场景的需求. 同时,这些数据集中的标注方式也不尽相同,既有像素级的掩膜标注,又有对象级的实例标注. 这些不同的标注方式为云检测和云去除的研究提供了不同的评估指标与基础,进一步促进了云检测与云去除领域的研究和应用不断深入.

    本节在2个公共遥感影像云数据集38-Cloud[136]和RICE[139]上分别对4种云检测方法Fmask[16],CNN,U-Net[34],Cloud-Net[35]和4种薄云去除方法HazeRemoval[88],pix2pix[100],CycleGAN[101],SpA-GAN[76]进行综合实验分析,并制作Landsat模拟数据集对4种厚云去除方法HALRTC[142],STDC [143],NLLRTC[144],TRLRF [145]进行对比.

    Fmask方法是一种经典的基于阈值的云检测方法,通过像元级的阈值分割和边缘检测来提取云和阴影,其优势在于简单易实现,适用于不同类型的遥感影像,能够对大面积的遥感影像进行快速云检测,且对于云的形态、颜色等变化不敏感;CNN是一种经典的基于深度学习的云检测方法,能够自动学习和提取图像特征,检测准确度和鲁棒性高;U-Net方法是一种U型结构的卷积神经网络云检测方法,具有很强的特征提取和重构能力,在云检测中能够准确地定位和分割云区域;Cloud-Net方法是基于U-Net提出的一种深度卷积神经网络云检测方法,结合了多个尺度的特征表示,以捕捉云的不同尺度和形状. 因此,这4种方法是云检测中比较经典和具有代表性的,能够展现不同类型方法的优点和局限性.

    4种薄云去除方法中,HazeRemoval方法是一种基于暗通道先验的薄云去除方法,其原理是通过利用图像中的暗通道统计信息来估计薄云的透射率并将其应用于薄云去除,方法简单快速,适用于不同场景和数据集;基于深度学习去除薄云的方法中,我们选取了3种具有代表性的网络模型,其中pix2pix方法是一种基于条件生成对抗网络的图像转换方法,其原理是通过学习输入图像与输出图像之间的映射关系来实现图像转换,该方法已广泛应用于云去除领域;CycleGAN方法能够处理非配对数据,是一种基于无监督学习的图像转换方法,其原理是通过学习不同域之间的映射关系实现薄云去除,具有较高的去除效果和鲁棒性;SpA-GAN方法是一种结合了条件生成对抗网络和注意力机制的薄云去除方法,使生成器在去除薄云时更加关注图像中的云区域,从而提升去云效果. 这4种方法在薄云去除领域代表了不同的技术思路和方法策略,具有广泛的应用,为遥感图像的薄云去除问题提供了多种解决方案.

    我们对4种厚云去除实验进行了对比分析,因厚云区域遮挡严重,需要利用图像修复技术并使用辅助多时相信息来补全云遮挡区域. HALRTC[142],STDC [143],NL-LRTC[144],TRLRF [145]这4种方法都是可用于厚云去除的常见方法. 其中,HALRTC是一种基于Tucker张量分解的方法,它可以对多维数据进行分解,从而实现厚云去除;STDC是一种基于稀疏表示的方法,它可以将厚云看作是噪声,并通过稀疏表示来去除云噪声;NLLRTC是一种基于非局部低秩张量分解的方法,它可以利用非局部信息来提高厚云去除的效果;TRLRF是一种基于张量环式分解的方法,它可以减轻张量环式分解秩的选取难度和计算消耗,从而提高厚云去除的效果. 通过对比这4种厚云去除方法的去云效果,可以评估不同方法的性能和可行性,深入理解其优劣势.

    我们将准确度(A)、精度(P)、召回率(R)、F1分数(F1)和方差(V)作为云检测性能评价指标,将峰值信噪比(PSNR)、结构相似性(SSIM)、均方根误差(RMSE)和方差(V)作为云去除表现评估指标进行对比. 下面对云检测、去除薄云和去除厚云3个实验分别进行详细的介绍与分析.

    为了评估现有云检测算法的效果和泛化能力,本实验采用Mohajerani等人[136]建立的38-Cloud数据集作为遥感影像云检测实验的训练和测试数据. Mohajerani对38-Cloud数据集中的所有影像进行了人工标注并发布了对应的云掩膜结果. 图3展示了该数据集的其中2幅有云覆盖和其对应云掩膜结果的影像,可以看出该数据集中云覆盖的分布是多样的. 本实验将该数据集的所有影像裁剪成空间尺寸为384×384的小图像,因此共得到8400幅和9201幅小图像分别用作训练和测试,保证了实验的丰富性.

    图  3  38-Cloud数据集中2幅有云图像和对应云掩膜示例
    Figure  3.  Example of cloudy images and corresponding cloud masks in the 38-Cloud dataset

    云检测实验结果的性能通过评估其云掩膜的准确度(A)、精度(P)、召回率(R)和F1以及方差(V)指标决定,对算法进行了客观评价. 这些指标的计算公式为:

    A=TP+TNTP+FN+FP+TN, (1)
    P=TPTP+FP, (2)
    R=TPTP+FN (3)
    F1=2×P×RP+R (4)
    V=1NNi=1(Xi¯X) (5)

    其中TP表示预测为云实际也是云的像元数量, TN表示预测为非云实际也为非云的像元数量,FP表示预测为云但实际为非云的像元数量,FN表示预测为非云但实际为云的像元数量.

    准确度是所有像素中云分类正确的概率,代表整体的计算准确程度,但是在云区域过多或过少的不均衡情况下,并不能作为很好的指标来衡量结果;精度是检测为云的像素中真正是云的概率,代表对结果中云像素的预测准确程度;召回率是真值中属于云的像素被正确分类的概率,其与精度互相制约;F1分数是为了平衡精度和召回率的调和平均数,可以有效评估样本不均衡时云检测算法的效果.

    V表示为方差,Xi为每个样本i的结果值,¯X为样本结果平均值,N为样本数量. 在云检测与云去除实验中,都加入方差来衡量云检测效果的稳定性和一致性. 如果结果方差较小,则说明模型比较稳定,不容易受到噪声等因素的影响.

    图4 展示了Fmask,CNN,U-Net,Cloud-Net这4种云检测方法的部分结果.

    图  4  4种云检测方法结果对比
    Figure  4.  Results comparison of four cloud detection methods

    图4(a)是测试样本中4幅小图像的2, 3, 4波段组成的真彩色RGB有云影像,包含了不同类型的云覆盖情况,其中,第1幅和第3幅图像包含块状云和部分薄云,第2幅图像包含较厚云,第4幅图像包含厚云和部分薄云;图4(b)~(e)分别为4种方法的云检测结果;图4(f)为真实结果(ground truth, GT).

    算法评价方法可以分为主观评价和客观评价. 主观评价基于人眼视觉效果对云掩膜预测结果进行评价,客观评价则基于特定算法对云掩膜结果进行自动评价. 针对主观评价,从可视化结果可以看出,由于Fmask方法是仅基于有云图像本身设置阈值进行云检测的传统方法,其在4幅图像计算出的云掩膜面积都大于真实结果. CNN是采用卷积神经网络提取云特征的云检测方法,识别效果比Fmask好,但仍然存在将其他地物识别为云的问题. U-Net是利用U-Net网络模型的深度学习方法,其检测结果在第1幅测试图像上出现了比较大的误差,在其他图像上的检测结果与CNN方法效果比较接近. 从视觉角度上看,Cloud-Net方法的检测结果与GT最接近. 为了更客观地评价,表7展示了4种方法的定量结果对比,可以看出,基于深度学习算法的效果整体优于基于传统阈值的方法. Cloud-Net方法的准确度、召回率、F1分数都是这4种方法中最高的,并且因方差数值最小,该方法鲁棒性最好. U-Net方法的精度高于其他3种方法,可见,目前部分云检测方法仍存在泛化能力不足、检测不准确问题.

    表  7  4种云检测方法的定量结果对比
    Table  7.  Quantitative Results Comparison of Four Cloud Detection Methods
    方法 A P R F1 V
    Fmask 0.904 0.935 0.793 0.842 0.226
    CNN 0.903 0.913 0.801 0.837 0.225
    U-Net 0.907 0.957 0.777 0.851 0.232
    Cloud-Net 0.934 0.839 0.945 0.875 0.222
    注:数值为结果平均值,加粗数字表示最优结果.
    下载: 导出CSV 
    | 显示表格

    为了评估现有方法在薄云去除方面的效果和泛化能力,遥感影像云去除实验使用RICE数据集. 图5展示了RICE1中的4组影像,像素大小为512×512. 本节实验均使用RICE1作为训练和测试数据集.

    图  5  RICE1数据集示例
    Figure  5.  Example of RICE1 dataset

    为了验证不同方法的去云效果,我们采用PSNRSSIMRMSEV这4个定量指标参数评价方法的有效性.

    1)PSNR. PSNR是评价图像质量最常用的客观指标,常用于客观评价图像的劣化程度,其计算公式为:

    PSNR=10×lg((2B1)2MSE) (6)

    其中B为位数,当图像是8 b数据时,2B1=255. MSE是去云图像和无云图像之间的均方差,计算公式为:

    MSE = \frac{1}{n}{\left\| {{\boldsymbol{X}} - \hat {\boldsymbol{X}}} \right\|^2} , (7)

    其中 {\boldsymbol{X}} \in {\mathbb{R}^{x \times y}} 表示去云后图像, \hat {\boldsymbol{X}} \in {\mathbb{R}^{x \times y}} 表示真实无云图像, n = x \times y 表示图像中像素的个数,PSNR值越大表明去云后图像更接近真实无云图像.

    2)SSIM. SSIM用于衡量2幅图像的相似度,其定义为:

    SSIM = l\left( {x,y} \right)c\left( {x,y} \right)s\left( {x,y} \right) , (8)

    其中亮度l、对比度c和结构s是计算基于样本 x y 之间的3种比较测量:l(x,y) = \dfrac{{2{\mu _x}{\mu _y} + {c_1}}}{{\mu _x^2 + \mu _y^2 + {c_1}}}c(x,y) = \dfrac{{2{\sigma _y}{\sigma _y} + {c_2}}}{{\sigma _x^2 + \sigma _y^2 + {c_2}}} s(x,y) = \dfrac{{{\sigma _{xy}} + {c_3}}}{{{\sigma _x}{\sigma _y} + {c_3}}} . {c_1} , {c_2} , {c_3} 为常量, {\mu _x} {\mu _y} x y 的平均值, \sigma _x^2 \sigma _y^2 x y 的方差, {\sigma _{xy}} x y 的协方差. SSIM的取值范围为0~1,SSIM值越大表示2幅图像的相似度越大.

    3)RMSE. RMSE用于计算真实无云图像和去云后图像之间的均方根误差MSE,去云后图像与真实无云图像差异越小,RMSE值就越小. 我们对4种薄云去除算法进行对比分析,在实验中,HazeRemoval的常数参数设置为27;pix2pix和CycleGAN模型的学习率设置为0.0002,epoch设置为200;SpA-GAN的学习率设置为0.0004,epoch设置为200,mini-batch为1. 这4种方法的去云实验结果如图6所示,从视觉角度上看,所有方法都能实现薄云雾去除. 具体来说,pix2pix方法与GT色彩最接近,去云效果最显著. HazeRemoval方法尽管去除了云,但存在颜色过度补偿,恢复图像色调不自然. CycleGAN和SpA-GAN方法的去除效果也非常明显,但是存在颜色偏差.

    图  6  4种去云方法实验结果对比
    Figure  6.  Experimental results comparison of four cloud removal methods

    表8显示了4种方法的量化评估结果,可以看出pix2pix的无论是去云效果还是鲁棒性都是最好的,HazeRemoval方法的效果较差,与GT差距较大. 由此可见,目前薄云去除方法仍存在不足,设计更具泛化性和鲁棒性的云去除方法,仍是未来需要重点研究的问题.

    表  8  4种云去除方法的定量对比结果
    Table  8.  Quantitative Comparison Results of Four Cloud Removal Methods
    方法PSNR/dBSSIMRMSEV
    HazeRemoval21.5040.8990.1100.011
    CycleGAN26.9930.9350.0520.011
    SpA-GAN27.8850.9370.0430.115
    pix2pix 31.8830.9500.0320.007
    注:加粗数字表示最优结果.
    下载: 导出CSV 
    | 显示表格

    为了评估厚云算法的鲁棒性和计算能力,由于没有真实去云后影像的限制,厚云去除实验通常需要在模拟数据集上进行对比验证,而且需要多时相无云影像进行辅助修复. 因此,我们采集Landsat-8 OLI遥感影像制作模拟实验数据集,该数据具有30 m的空间分辨率和16天的时间分辨率. 首先,将每幅图像裁剪为512×512×3大小,选取3幅同一位置但不同时间拍摄到的图像,并在不同位置添加人工污染模拟厚云. 然后,将这3幅图像堆叠在一起生成512×512×9的多时相数据集,该数据集能够测试各种算法在去除厚云方面的重建能力. 最后,为了定量评估不同方法的厚云去除效果,我们采用PSNRSSIMRMSEV这4个定量指标参数评价方法的有效性.

    4种方法的去云实验结果如图7所示,TRLRF得到的结果优于其他方法,与GT最接近,恢复图像较自然;NLLRTC和STDC都只恢复出了部分多时相图像,实验结果存在黑色阴影没有补全完整的情况;而HALRTC方法并没有得到具有清晰纹理细节的云去除结果.

    图  7  4种厚云去除方法实验结果
    Figure  7.  Experimental results of four thick cloud removal methods

    表9显示了4种方法的量化评估结果,可以看出TRLRF的厚云去除效果是4种方法中最好的,HALRTC方法的指标结果较差,与GT差距较大,与主观感受较为一致. 由此可见,目前厚云去除方法仍存在不足,各种方法都存在一定的局限性. 因此设计更具泛化性和更好修复能力的厚云去除方法,仍是未来需要重点研究的问题.

    表  9  4种厚云去除方法的定量对比结果
    Table  9.  Quantitative Comparative Results of Four Thick Cloud Removal Methods
    方法PSNR/dBSSIMRMSEV
    HALRTC19.7100.9800.0700.009
    STDC7.5290.9620.2850.014
    NLLRTC15.2450.9750.1170.010
    TRLRF21.4290.9860.0580.010
    注:加粗数字表示结果最优.
    下载: 导出CSV 
    | 显示表格

    随着遥感影像处理技术的蓬勃发展,在过去的几十年中,云检测与云去除一直作为遥感影像后续应用的基础性任务之一. 学者们针对这个挑战性的工作提出了大量的方法,本文综述了国内外遥感影像云检测和云去除方面的研究现状,分析了面向多种云层特性的不同云检测和云去除方法,总结和对比了典型方法的优缺点,通过2组实验对4种云检测方法、4种薄云去除方法和4种厚云去除方法进行了验证,并采用多种评价指标对实验结果性能进行了评测和对比分析.

    目前在遥感影像云检测和云去除方面的研究已经取得可观的进展,但各类方法仍存在不足之处. 基于阈值和空间特征的云检测方法通常只适用于特定传感器或场景,局限性高. 基于深度学习的云检测方法虽然在复杂场景下的效果优于其他方法,但大多忽略云的物理和反射特性,且结果依赖于训练数据,当训练数据不足时,在实际应用中误差较大. 而对于单幅影像云去除方法,其性能大多依赖先验和约束信息,并且薄云影像中存在厚云时,会降低模型恢复的准确性,且厚云区域因无法提供足够的信息,云量过大时会产生不真实的结果. 基于参考影像云去除方法通过获取辅助信息可以得到较好效果,但是其本质仍依赖于无云参考影像,因此获得高质量的云掩膜与匹配的无云影像非常重要. 同样,基于多传感器的云去除方法因使用的SAR辅助影像通常只有2个波段,影像解译困难,限制了其可解释性,并且依赖于高质量的云掩膜,泛化能力不足.

    由此可见,遥感影像云层检测和云去除方面的研究依然存在许多问题,今后可在4个方面进行下一步研究:

    1)提高云检测方法的鲁棒性和泛化性. 现有基于深度学习的云检测方法严重依赖训练数据,在不同地表场景中会产生偏差,无法满足实际应用的需求. 因此未来云检测方法需要借鉴基于物理规则的方法经验,重点解决与大训练样本和跨传感器应用相关问题,提高鲁棒性和泛化能力,解决不同种类污染如薄云、雾和厚云等检测不通用问题.

    2)减少云去除方法对配对参考影像的依赖. 目前在基于参考影像的厚云去除问题上,存在无云影像和有云影像配对不准确且可用数据不足的情况,且目前不需要精确配对的云去除研究较少. 因此,在无准确配对有云及无云区域条件下即可对污染区域进行云去除,是未来需要进一步研究和探索的方向.

    3)加强对轻量化网络去除云覆盖的研究. 基于深度学习的云去除方法为了提高遥感影像恢复质量,同时考虑了云的纹理和空间等特征,往往需要设计复杂的算法或网络,时间复杂度高. 但目前提出的轻量化网络在处理大面积云覆盖时,会产生不真实信息,因此如何设计实时应用的轻量化网络是今后的研究重点.

    4)提高影像恢复质量和整体一致性. 目前提出的云去除方法仍然存在部分区域欠校正和过校正的问题. 同时,很多方法没有考虑到云层覆盖的上下文信息,导致恢复后的影像出现纹理和结构性差异. 因此,如何提高重建影像的质量并保持整体一致性,将是未来的研究方向.

    作者贡献声明:徐萌确定综述选题,提出整体研究思路,撰写与修改论文;王思涵负责文献资料的整理并完成相关实验与分析及论文撰写;郭仁忠和贾秀萍对论文组织结构和部分内容提供指导意见;贾森提出论文修改意见和指导论文撰写.

  • 图  1   遥感影像云检测和云去除演示图

    Figure  1.   Demonstration chart of cloud detection and cloud removal for remote sensing images

    图  2   遥感影像云检测和云去除方法分类

    Figure  2.   Cloud detection and cloud removal methods classification for remote sensing images

    图  3   38-Cloud数据集中2幅有云图像和对应云掩膜示例

    Figure  3.   Example of cloudy images and corresponding cloud masks in the 38-Cloud dataset

    图  4   4种云检测方法结果对比

    Figure  4.   Results comparison of four cloud detection methods

    图  5   RICE1数据集示例

    Figure  5.   Example of RICE1 dataset

    图  6   4种去云方法实验结果对比

    Figure  6.   Experimental results comparison of four cloud removal methods

    图  7   4种厚云去除方法实验结果

    Figure  7.   Experimental results of four thick cloud removal methods

    表  1   基于传统方法的云检测方法对比

    Table  1   Comparison of Cloud Detection Methods Based on Traditional Methods

    类别 方法来源 卫星/特征 方法描述 优点 缺点/难点
    阈值法 文献[5] 高分6号 多信息协同云识别算法 消除将冰/雪像素误识别为云的问题 只适用于特定卫星数据
    文献[6] 二氧化碳观测卫星
    基于近紫外到近红外进行不同
    阈值测试
    解决该探测器可见光到热红外波段
    有效的云识别问题
    只适用于特定卫星数据
    文献[7] 高分6号 最大类间方差法(OTSU)自适应
    获得阈值
    适用于高分6号卫星宽幅相机数据 只适用于特定卫星数据
    文献[8] GK-2A卫星
    结合滤波技术以及动态阈值方法 准确检测云覆盖区域 会在明亮地表覆盖和沙漠地区出现误分类
    文献[9] PlanetScope卫星
    自适应将单个图像的云指数和时间
    序列中的反射异常值信息相结合
    对热带地区的云检测准确度更高更
    有效
    仍有大量的低密度云/霾/云阴影遗漏
    文献[10] 多种传感器
    基于随机森林云检测方法 适用于多种传感器,避免了复杂的
    阈值设置
    地表被大面积雪覆盖且纹理信息较弱时检测不准确
    文献[11] 多种传感器 采用马氏距离进行聚类 不受光谱范围限制,扩大适用范围 无法响应实时变化
    空间特征法 文献[12] 光谱信息
    将影像划分块并根据云雾与地物的
    差异特征对云区域进行自适应分割
    无需依赖预先确定的阈值和先验
    信息,检测效率较高
    易受影像中山脉、雪等类云地物影响
    文献[13] 光谱、纹理和频率信息 训练SVM分类器提取影像中的
    云区域
    提高了检测准确性 只对厚云薄云进行了初步的定性区分,没有定量分析
    文献[14] 成像和物理特性
    利用多特征嵌入式学习SVM构造
    分类器
    对稠密、稀薄和卷积云影像表现
    良好
    研究区域地物类型比较单一
    文献[15] 光谱和时间信息
    基于多时相影像构建低秩矩阵分解
    模型
    比基于单幅影像的效果好,同时
    有效地保留了云的细节和边界
    对于大面积云污染的影像检测效果不佳
    下载: 导出CSV

    表  2   基于深度学习的云检测方法对比

    Table  2   Comparison of Cloud Detection Methods Based on Deep Learning

    方法来源 网络类型 方法描述 优点 缺点/难点
    文献[36] 轻量级CNN 快速捕获图像中的多尺度特征信息并高效分割云和地物 突出云层细节,提高检测精度 无法根据云的结构信息进行自适应调整
    文献[37] 轻量级CNN 利用双路径架构同时提取空间和语义信息 参数和计算量通过特征重用大大减少 没有充分利用影像的光谱特征,光谱细节容易丢失
    文献[38] 轻量级CNN 融合了多尺度光谱和空间特征 计算量很少,没有额外的参数 无法根据云的结构信息进行自适应调整
    文献[39-40] 自适应CNN 利用可变形的上下文特征金字塔模块和可变形卷积块 提高了多尺度特征的自适应建模能力 需要大量的像素级标注标签
    文献[41] CNN 基于级联特征注意和通道注意的卷积神经网络 可以提取云区域的颜色和纹理特征,去除冗余 仅适用于单一传感器,泛化能力较差
    文献[42] CNN 基于地理信息驱动网络的新型云检测方法 整合了地理信息,优于其他云和雪检测方法 容易漏掉薄云区域
    文献[43] CNN 提出了将遥感影像与地理空间数据相结合的自动云检测神经网络 提高云雪共存下高分辨率影像云检测的准确性 容易漏掉薄云区域
    文献[44] CNN 提出了全局上下文密集块网络 能够解决薄云漏检问题 仅适用于单一传感器,泛化能力较差
    文献[45] CNN和Transformer 提出一种融合遥感影像光谱和空间信息的新型云检测深度网络 克服了光谱特征提取依赖经验性的线性组合,并能减少空间位置信息损失 多个分支的存在造成模型参数量较大
    文献[46] CNN和Transformer 利用双路径解码器结构实现了对相似目标的准确分类 对于云雪以及薄云的检测更准确 模型计算速度较慢
    下载: 导出CSV

    表  3   基于单幅影像的云去除方法对比

    Table  3   Comparison of Cloud Removal Methods Based on Single Image

    类别 方法来源 方法描述 优点 缺点/难点
    成像模型 文献[49] 将图像分块并通过新的颜色通道去除大气散射 恢复图像的清晰度较高,恢复效果较好 当图像中没有晴空区域,会导致计算不精确
    文献[50-52] 通过大气散射模型估计大气光和透射图 可以恢复纹理细节并在非均匀雾图像上也有成效 直接用于高光谱图像去雾时结果不佳
    文献[53-55] 改进的基于辐射传输模型薄云去除算法 去除薄云并有效保留地物信息 薄云和地面目标反射率的混合会对结果产生影响
    文献[56] 通过可见光或红外波段与卷云波段之间的关系估计云污染 解决从卷云污染数据中自动识别同质背景的关键问题 对于复杂场景效果不佳
    文献[57] 结合散射定律和2个相邻蓝色波段之间的高相关性 去除卷云的同时地面信息也能充分恢复 无法解决卷云与地物信息混合的问题
    图像修复 文献[58] 改进的双边滤波器Retinex算法 增强整幅图像的对比度并还原图像的色彩信息 未完备考虑图像降质的原因,去雾效果有限
    文献[59-60] 利用小波变换对图像进行多分辨率分解 更好地恢复地物信息,保留图像的细节 未完备考虑图像降质的原因,去雾效果有限
    文献[61] 利用图像滤波自适应图像增强算法优化图像 保证了恢复图像的结构相似性,减少颜色失真 时间复杂度和计算量较大
    文献[62-65] 基于暗通道先验与多尺度修正的Retinex去雾算法 颜色畸变小,更接近真实图像 性能依赖于先验和约束信息
    文献[66-67] 提出邻域相似像素插值器方法 通过计算相似像素权重再重新组合得到预测信息 缺乏辅助影像,仅适用于地物分布较简单场景
    文献[68-69] 学习特征字典通过稀疏表示相邻信息推断缺失补丁 结构和纹理与周围地面信息保持一致 结果不适用于裁剪过的 Landsat-7场景
    深度学习 文献[70-73] 基于CNN端到端的方法进行薄云校正 提取充足的有用特征信息,并能够处理复杂场景 会丢弃一些有用的先验知识,配对数据不准确时效果较差
    文献[74] 基于GAN和云失真物理模型的半监督方法 可以将未配对的多云和无云图像作为输入 没有足够的训练数据去除厚云区域
    文献[75-76] 基于GAN网络模型去除薄云 保留了原始图像的纹理信息 当有云/无云数据配对不准确时会严重影响去云效果
    文献[77] 利用迁移学习技术在大量模拟图像对上进行预训练 可以在训练数据稀缺的情况下取得更好的性能 在厚云存在场景会降低准确性
    文献[78] 使用失真编码网络结合复合损失函数 图像语义连贯性恢复效果较好,非云区不影响去云质量 没有足够的训练数据去除厚云区域
    文献[79-80] 基于GAN和CNN网络相结合的厚云去除方法 更好解决局部性问题,不需要成对图像,对复杂纹理效果好 对去雨、去雾等任务不能通用,区域破坏大,会产生不真实结果
    下载: 导出CSV

    表  4   基于参考影像的云去除方法对比

    Table  4   Comparison of Cloud Removal Methods Based on Reference Images

    类别 方法来源 方法描述 优点 缺点/难点
    显示构建文献[103]应用统计相似性在克隆过程中考虑光谱特征和季节效应保持光谱和结构一致性结果与云检测预处理步骤中生成的精度直接相关
    文献[104]多时相影像采用泊松混合算法在重建像素方面非常有效严重依赖陆地卫星数据的云掩膜质量
    文献[105]采用空间和时间加权回归模型优化整合来自不变相似像素的互补信息得到理想的去云效果忽略了由太阳光照和大气条件引起的相互差异
    文献[106]提出增强时间序列模型和连续变化检测算法具有更高的预测精度和处理土地覆盖突变情况的能力对于没有物候特征的覆盖类型精度没有显著提高
    文献[107]结合使用自动编码器和基于长短期记忆的相似像素聚类前向重建模型与前向和后向模型相比,呈现更好的结果应设计集成网络,将相似像素聚类和重建结合在一起
    隐式构建文献[108]提出了时间平滑的空间-光谱全变分正则化低秩组稀疏分解方法提高了稀疏度,保证不同方向的平滑度并可以重建细节可能会破坏固有的高维结构,没有考虑波段之间的相关性
    文献[109]提出了框约束沿光谱维度的群稀疏函数
    相比稀疏函数更准确地表征云特性,不需要云掩码作为先验不能实时快速处理相关应用,对参数敏感
    文献[110]将期望最大化Tucker方法应用于卫星遥感影像与简单PCA方法相比,对缺失数据的补全准确度更高待修复区域发生较大地物变化时效果较差
    文献[111]将深度先验与低秩张量补全相结合保持空间一致性,细节纹理清晰只能处理单幅图像
    文献[112]运用数据驱动方法将深度时空先验与低秩张量奇异值分解相结合具有实用性,去除效果比单独使用低秩张量奇异值分解更好不能实时快速处理
    文献[113]提出基于光谱-时间度量的缺失观测预测方法在恢复异质植被区域方面表现出色需对目标图像中的缺失值进行预插补来计算光谱和时间权重
    文献[114]提出基于耦合张量分解和基于拉格朗日乘子法的厚云去除方法解决云掩膜不准确的问题不能实时快速处理
    下载: 导出CSV

    表  5   基于多传感器影像的云去除方法对比

    Table  5   Comparison of Cloud Removal Methods Based on Multi-Sensor Images

    类别 方法来源 方法描述 优点 缺点/难点
    光学影像辅助 文献[120] 将MODIS影像作为辅助数据,利用泊松调整的时空融合方法实现Landsat影像云层的去除 能够很好地处理土地覆盖类型发生显著变化的时间序列影像 算法非常依赖云检测结果
    文献[121] 提出改进的时空数据融合模型,将MODIS和Landsat时序数据结合 处理显著土地覆盖变化的场景效果较好 难以处理多种类型云覆盖场景
    文献[122] 使用MNSPI时间序列方法去除Sentinel-2和Landsat-8遥感影像云层覆盖 可以生成具有高时空分辨率时间序列影像 计算效率较低
    文献[123] 基于SSRF方法,利用Landsat-8对高光谱影像进行厚云去除 能获得更高精度的高光谱重建结果 没有充分挖掘影像空间信息
    SAR影像辅助 文献[124] 通过预卷积将SAR和光学影像转换为超特征图并输入到G-FAN模型网络 可以同时实现云去除、图像去模糊和图像去噪 模型缺乏可解释性
    文献[125-127] 以GAN作为主干网络,将SAR作为辅助数据实现光学影像去云 充分学习了SAR与光学影像之间的映射关系 可利用的数据集有限,需要解决配准问题
    文献[128] 将CNN和GAN网络结合重建云覆盖区域 能够利用被云污染区域的光谱信息 需要在不同的地点对不同模型进行预训练
    文献[129] 提出基于深度学习的异构时空谱融合方法 利用端到端循环一致生成对抗网络学习生成结果与真实影像之间的映射 受SAR影像的散斑噪声较大
    文献[130] 提出基于全局-局部融合的云去除算法 能够增强SAR数据的利用率 SAR和光学影像边缘提取不准确
    文献[131] 采用了GAN架构,结合自动编码器 利用光学特征和边缘图指导修复模型生成无云影像 SAR和光学影像边缘提取不准确
    文献[132] 训练CNN建立多时相SAR和光学影像之间的关系 在没有大量训练数据集情况下反映地面信息变化的去云结果 计算效率较低
    文献[133] 利用cGAN和ConvLSTM提取SAR数据和光学时间序列影像时空特征 在大量数据集上进行验证,鲁棒性强 需要充分挖掘SAR时间序列影像特征
    文献[134] 提出多模态和多时相3维卷积神经网络模型 充分保留多时相影像时间信息,并发布了大规模数据集 没有考虑无云区域在长期变化引起的纹理和结构差异
    下载: 导出CSV

    表  6   云检测与云去除公共数据集

    Table  6   Public Datasets of Cloud Detection and Cloud Removal

    数据集 数据规模 像素大小 空间分辨率/m 波段数量 云厚度
    38-Cloud[136] 38个场景,2000多幅影像 384×384 30 4 薄、厚
    GF1-WHU[137] 19个场景,950幅影像 600×600 16 4 薄、厚
    Sentinel-2 Cloud[138] 513幅影像 1022×1022 20 13 薄、厚
    RICE[139] RICE1:500组,RICE2:450组 512×512 30 11
    NWPU-RESISC45[140] 45个场景,每个场景700幅影像 256×256 0.2~30 3 薄、厚
    SPARCS[141] 80个场景,共720幅影像 1000×1000 30 10 薄、厚
    下载: 导出CSV

    表  7   4种云检测方法的定量结果对比

    Table  7   Quantitative Results Comparison of Four Cloud Detection Methods

    方法 A P R F1 V
    Fmask 0.904 0.935 0.793 0.842 0.226
    CNN 0.903 0.913 0.801 0.837 0.225
    U-Net 0.907 0.957 0.777 0.851 0.232
    Cloud-Net 0.934 0.839 0.945 0.875 0.222
    注:数值为结果平均值,加粗数字表示最优结果.
    下载: 导出CSV

    表  8   4种云去除方法的定量对比结果

    Table  8   Quantitative Comparison Results of Four Cloud Removal Methods

    方法PSNR/dBSSIMRMSEV
    HazeRemoval21.5040.8990.1100.011
    CycleGAN26.9930.9350.0520.011
    SpA-GAN27.8850.9370.0430.115
    pix2pix 31.8830.9500.0320.007
    注:加粗数字表示最优结果.
    下载: 导出CSV

    表  9   4种厚云去除方法的定量对比结果

    Table  9   Quantitative Comparative Results of Four Thick Cloud Removal Methods

    方法PSNR/dBSSIMRMSEV
    HALRTC19.7100.9800.0700.009
    STDC7.5290.9620.2850.014
    NLLRTC15.2450.9750.1170.010
    TRLRF21.4290.9860.0580.010
    注:加粗数字表示结果最优.
    下载: 导出CSV
  • [1] 陈善静,向朝参,康青,等. 基于多源遥感时空谱特征融合的滑坡灾害检测方法[J]. 计算机研究与发展,2020,57(9):1877−1887

    Chen Shanjing, Xiang Chaocan, Kang Qing, et al. Multi-source remote sensing based accurate landslide detection leveraging spatial-temporal-spectral feature fusion[J]. Journal of Computer Research and Development, 2020, 57(9): 1877−1887 (in Chinese)

    [2]

    Liu Huizeng, Zhou Qiming, Li Qingquan, et al. Determining switching threshold for NIR-SWIR combined atmospheric correction algorithm of ocean color remote sensing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 153: 59−73 doi: 10.1016/j.isprsjprs.2019.04.013

    [3]

    Wang Lin, Bi Jianzhao, Meng Xia, et al. Satellite-based assessment of the long-term efficacy of PM2.5 pollution control policies across the Taiwan Strait[J]. Remote Sensing of Environment, 2020, 251: 112067

    [4]

    Liu Qi, Gao Xinbo, He Lihuo, et al. Haze removal for a single visible remote sensing image[J]. Signal Processing, 2017, 137: 33−43 doi: 10.1016/j.sigpro.2017.01.036

    [5]

    Li Jinghan, Ma Jinji, Li Chao, et al. Multi-information collaborative cloud identification algorithm in Gaofen-5 directional polarimetric camera imagery[J]. Journal of Quantitative Spectroscopy and Radiative Transfer, 2021, 261: 107439

    [6]

    Ding Ning, Shao Jianbing, Yan Changxiang, et al. Near-ultraviolet to near-infrared band thresholds cloud detection algorithm for TANSAT-CAPI[J]. Remote Sensing, 2021, 13(10): 1906 doi: 10.3390/rs13101906

    [7]

    Ke Shiyun, Wang Mi, Cao Jinshan, et al. Research on cloud detection method of GaoFen-6 wide camera data[C] //Proc of the 7th China High Resolution Earth Observation Conf (CHREOC). Berlin: Springer, 2022: 321−340

    [8]

    Lee S, Choi J. Daytime cloud detection algorithm based on a multitemporal dataset for GK-2A imagery[J]. Remote Sensing, 2021, 13(16): 3215 doi: 10.3390/rs13163215

    [9]

    Wang Jing, Yang Dedi, Chen Shuli, et al. Automatic cloud and cloud shadow detection in tropical areas for PlanetScope satellite images[J]. Remote Sensing of Environment, 2021, 264: 112604 doi: 10.1016/j.rse.2021.112604

    [10]

    Yao Xudong, Guo Qing, Li An, et al. Optical remote sensing cloud detection based on random forest only using the visible light and near-infrared image bands[J]. European Journal of Remote Sensing, 2022, 55(1): 150−167 doi: 10.1080/22797254.2021.2025433

    [11] 郭玲,韩迎春,蔡浩宇,等. 基于马氏距离和 SLIC 算法的云检测模型[J]. 计算机科学与应用,2022,12(1):17−25 doi: 10.12677/CSA.2022.121003

    Guo Ling, Han Yingchun, Cai Haoyu, et al. Cloud detection model based on Mahalanobis distance and SLIC algorithm[J]. Computer Science and Application, 2022, 12(1): 17−25 (in Chinese) doi: 10.12677/CSA.2022.121003

    [12] 李俊杰,傅俏燕. “高分七号”卫星遥感影像自动云检测[J]. 航天返回与遥感,2020,41(2):108−115

    Li Junjie, Fu Qiaoyan. Automatic cloud detection of GF-7 satellite imagery[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(2): 108−115 (in Chinese)

    [13] 张波,胡亚东,洪津. 基于多特征融合的层次支持向量机遥感图像云检测[J]. 大气与环境光学学报,2021,16(1):58−66

    Zhang Bo, Hu Yadong, Hong Jin. Cloud detection of remote sensing images based on H-SVM with multi-feature fusion[J]. Journal of Atmospheric and Environmental Optics, 2021, 16(1): 58−66 (in Chinese)

    [14]

    Zhang Weidong, Jin Songlin, Zhou Ling, et al. Multi-feature embedded learning SVM for cloud detection in remote sensing images[J]. Computers and Electrical Engineering, 2022, 102: 108177 doi: 10.1016/j.compeleceng.2022.108177

    [15]

    Zhang Hongyan, Huang Qi, Zhai Han, et al. Multi-temporal cloud detection based on robust PCA for optical remote sensing imagery[J]. Computers and Electronics in Agriculture, 2021, 188: 106342 doi: 10.1016/j.compag.2021.106342

    [16]

    Zhu Zhe, Woodcock C E. Object-based cloud and cloud shadow detection in Landsat imagery[J]. Remote Sensing of Environment, 2012, 118: 83−94 doi: 10.1016/j.rse.2011.10.028

    [17]

    Shi Qiu, He Binbin, Zhu Zhe, et al. Improving Fmask cloud and cloud shadow detection in mountainous area for Landsats 4–8 images[J]. Remote Sensing of Environment, 2017, 199: 107−119 doi: 10.1016/j.rse.2017.07.002

    [18]

    Zhu Zhe, Woodcock C E. Automated cloud, cloud shadow, and snow detection in multitemporal Landsat data: An algorithm designed specifically for monitoring land cover change[J]. Remote Sensing of Environment, 2014, 152: 217−234 doi: 10.1016/j.rse.2014.06.012

    [19] 刘心燕, 孙林, 杨以坤, 等. 高分四号卫星数据云和云阴影检测算法[J]. 光学学报, 2019, 39(1): 0128001

    Liu Xinyan, Sun Lin, Yang Yikun, et al. Cloud and cloud shadow detection algorithm for Gaofen-4 satellite data[J]. Acta Optica Sinica, 2019, 39(1): 0128001(in Chinese)

    [20] 陈曦东,张肖,刘良云,等. 增强型多时相云检测[J]. 遥感学报,2019,23(2):280−290

    Chen Xidong, Zhang Xiao, Liu Liangyun, et al. Enhanced multi-temporal cloud detection algorithm for optical remote sensing images[J]. Journal of Remote Sensing, 2019, 23(2): 280−290 (in Chinese)

    [21] 谭凯,张永军,童心,等. 国产高分辨率遥感卫星影像自动云检测. 测绘学报,2016,45(5):581−591

    Tan Kai, Zhang Yongjun, Tong Xin, et al. Automatic cloud detection for Chinese high resolution remote sensing satellite imagery[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(5): 581−591 (in Chinese)

    [22]

    Hu Xiangyun, Wang Yan, Shan Jie. Automatic recognition of cloud images by using visual saliency features[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(8): 1760−1764 doi: 10.1109/LGRS.2015.2424531

    [23]

    Li Pengfei, Dong Linmin, Xiao Huachao, et al. A cloud image detection method based on SVM vector machine[J]. Neurocomputing, 2015, 169: 34−42 doi: 10.1016/j.neucom.2014.09.102

    [24] 徐冬宇,历小梅,赵辽英,等. 基于光谱分析和动态分形维数的高光谱遥感图像云检测[J]. 激光与光电子学进展,2019,56(10):101003

    Xu Dongyu, Li Xiaomei, Zhao Liaoying, et al. Hyperspectral remote sensing image cloud detection based on spectral analysis and dynamic fractal dimension[J]. Laser & Optoelectronics Progress, 2019, 56((10): ): 101003 (in Chinese)

    [25] 冯书谊,张宁,沈霁,等. 基于反射率特性的高光谱遥感图像云检测方法研究[J]. 中国光学,2015,8(2):198−204

    Feng Shuyi, Zhang Ning, Shen Ji, et al. Method of cloud detection with hyperspectral remote sensing image based on the reflective characteristics[J]. Chinese Optics, 2015, 8(2): 198−204 (in Chinese)

    [26]

    Xia Meng, Wang Zhijie, Han Fang, et al. Enhanced multi-dimensional and multi-grained cascade forest for cloud/snow recognition using multispectral satellite remote sensing imagery[J]. IEEE Access, 2021, 9: 131072−131086 doi: 10.1109/ACCESS.2021.3114185

    [27]

    Goodwin N R, Collett L J, Denham R J, et al. Cloud and cloud shadow screening across Queensland, Australia: An automated method for Landsat TM/ETM+ time series[J]. Remote Sensing of Environment, 2013, 134: 50−65 doi: 10.1016/j.rse.2013.02.019

    [28]

    Mateo-García G, Gómez-Chova L, Amorós-López J, et al. Multitemporal cloud masking in the Google earth engine[J]. Remote Sensing, 2018, 10(7): 1079 doi: 10.3390/rs10071079

    [29]

    Chai Dengfeng, Newsam S, Zhang Hankui, et al. Cloud and cloud shadow detection in Landsat imagery based on deep convolutional neural networks[J]. Remote Sensing of Environment, 2019, 225: 307−316 doi: 10.1016/j.rse.2019.03.007

    [30]

    Zhan Yongjie, Wang Jian, Shi Jianping, et al. Distinguishing cloud and snow in satellite images via deep convolutional network[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1785−1789 doi: 10.1109/LGRS.2017.2735801

    [31]

    Li Zhiwei, Shen Huanfeng, Cheng Qing, et al. Deep learning based cloud detection for medium and high resolution remote sensing images of different sensors[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150: 197−212 doi: 10.1016/j.isprsjprs.2019.02.017

    [32]

    Li Yansheng, Chen Wei, Zhang Yongjun, et al. Accurate cloud detection in high-resolution remote sensing imagery by weakly supervised deep learning[J]. Remote Sensing of Environment, 2020, 250: 112045 doi: 10.1016/j.rse.2020.112045

    [33]

    Xie Fengying, Shi Mengyun, Shi Zhenwei, et al. Multilevel cloud detection in remote sensing images based on deep learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(8): 3631−3640 doi: 10.1109/JSTARS.2017.2686488

    [34]

    Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[C] //Proc of the 18th Medical Image Computing and Computer-Assisted Intervention (MICCAI). Berlin: Springer, 2015: 234−241

    [35]

    Mohajerani S, Saeedi P. Cloud-Net: An end-to-end cloud detection algorithm for Landsat 8 imagery[C] //Proc of the 39th IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2019: 1029−1032

    [36]

    Hu Kai, Zhang Dongsheng, Xia Min, et al. LCDNet: Light-weighted cloud detection network for high-resolution remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 4809−4823 doi: 10.1109/JSTARS.2022.3181303

    [37]

    Luo Chen, Feng Shanshan, Li Xutao, et al. ECDNet: A bilateral lightweight cloud detection network for remote sensing images[J]. Pattern Recognition, 2022, 129: 108713 doi: 10.1016/j.patcog.2022.108713

    [38]

    Li Jun, Wu Zhaocong, Hu Zhongwen, et al. A lightweight deep learning-based cloud detection method for Sentinel-2A imagery fusing multiscale spectral and spatial features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 3069641

    [39]

    He Qibin, Sun Xiao, Yan Zhiyuan, et al. DABNet: Deformable contextual and boundary-weighted network for cloud detection in remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 5601216

    [40]

    Liu Yang, Wang Wen, Li Qingyong, et al. DCNet: A deformable convolutional cloud detection network for remote sensing imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 8013305

    [41]

    Zhang Jing, Wu Jun, Wang Hui, et al. Cloud detection method using CNN based on cascaded feature attention and channel attention[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 4104717

    [42]

    Wu Xi, Shi Zhenwei, Zou Zhengxia. A geographic information-driven method and a new large scale dataset for remote sensing cloud/snow detection[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 174: 87−104 doi: 10.1016/j.isprsjprs.2021.01.023

    [43]

    Chen Yang, Weng Qihao, Tang Luliang, et al. An automatic cloud detection neural network for high-resolution remote sensing imagery with cloud–snow coexistence[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1−5

    [44]

    Li Xian, Yang Xiaofei, Li Xutao, et al. GCDB-UNet: A novel robust cloud detection approach for remote sensing images[J]. Knowledge-Based Systems, 2022, 238: 107890 doi: 10.1016/j.knosys.2021.107890

    [45] 陈思亚,计璐艳,张鹏,等. 融合遥感图像光谱和空间信息的云检测深度网络[J]. 中国科学院大学学报,2021,40(3):371−379

    Chen Siya, Ji Luyan, Zhang Peng, et al. Spectral-spatial feature fusion deep network for cloud detection in remote sensing images[J]. Journal of University of Chinese Academy of Sciences, 2021, 40(3): 371−379 (in Chinese)

    [46]

    Zhang Zheng, Xu Zhiwei, Liu Chang’an, et al. Cloudformer: Supplementary aggregation feature and mask-classification network for cloud detection[J]. Applied Sciences, 2022, 12(7): 3221 doi: 10.3390/app12073221

    [47] 赵敏钧,赵亚伟,赵雅捷,等. 一种新的基于深度学习的重叠关系联合抽取模型(英文)[J]. 中国科学院大学学报,2022,39(2):240−251

    Zhao Minjun, Zhao Yawei, Zhao Yajie, et al. A new joint model for extracting overlapping relations based on deep learning[J]. Journal of University of Chinese Academy of Sciences, 2022, 39(2): 240−251

    [48]

    Sha Youyang, Zhang Yonghong, Ji Xuquan, et al. Transformer-Unet: Raw image processing with Unet[J]. arXiv preprint, arXiv: 2109.08417, 2021

    [49]

    Sahu G, Seal A, Krejcar O, et al. Single image dehazing using a new color channel[J]. Journal of Visual Communication and Image Representation, 2021, 74: 103008 doi: 10.1016/j.jvcir.2020.103008

    [50]

    Song Chengfang, Xiao Chunxia, Zhang Yeting, et al. Thin cloud removal for single RGB aerial image[J]. Computer Graphics Forum, 2021, 40(1): 398−409 doi: 10.1111/cgf.14196

    [51]

    Ganguly B, Bhattacharya A, Srivastava A, et al. Single image haze removal with haze map optimization for various haze concentrations[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(1): 286−301

    [52]

    Shi Zhenghao, Shao Shuai, Zhou Zhaorun. A saliency guided remote sensing image dehazing network model[J]. IET Image Processing, 2022, 16(9): 2483−2494 doi: 10.1049/ipr2.12502

    [53]

    Lv Haitao, Wang Yong, Shen Yang. An empirical and radiative transfer model based algorithm to remove thin clouds in visible bands[J]. Remote Sensing of Environment, 2016, 179: 183−195 doi: 10.1016/j.rse.2016.03.034

    [54]

    Zhou Binxing, Wang Yong. A thin-cloud removal approach combining the cirrus band and RTM-based algorithm for Landsat-8 OLI data[C] //Proc of the 39th IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2019: 1434−1437

    [55]

    Shan Shuai, Wang Yong. An algorithm to remove thin clouds but to preserve ground features in visible bands[C] //Proc of the 40th IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2020: 5321−5324

    [56]

    Xu Meng, Jia Xiuping, Pickering M. Automatic cloud removal for Landsat 8 OLI images using cirrus band[C] //Proc of the 34th IEEE Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2014: 2511−2514

    [57]

    Zhang Chi, Li Huifang, Shen Huanfeng. A scattering law based cirrus correction method for Landsat 8 OLI visible and near-infrared images[J]. Remote Sensing of Environment, 2021, 253: 112202 doi: 10.1016/j.rse.2020.112202

    [58] 张驰,谭南林,李响,等. 基于改进型Retinex算法的雾天图像增强技术[J]. 北京航空航天大学学报,2019,45(2):309−316

    Zhang Chi, Tan Nanlin, Li Xiang, et al. Foggy image enhancement technology based on improved Retinex algorithm[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(2): 309−316 (in Chinese)

    [59] 胡根生,周文利,梁栋,等. 融合引导滤波和迁移学习的薄云图像中地物信息恢复算法[J]. 测绘学报,2018,47(3):348−358

    Hu Gensheng, Zhou Wenli, Liang Dong, et al. Information recovery algorithm for ground objects in thin cloud images by fusing guide filter and transfer learning[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(3): 348−358 (in Chinese)

    [60]

    Hsu W Y, Chen Y. Single image dehazing using wavelet-based haze-lines and denoising[J]. IEEE Access, 2021, 9: 104547−104559 doi: 10.1109/ACCESS.2021.3099224

    [61]

    Zhou Guangbin, He Lifeng, Qi Yong, et al. An improved algorithm using weighted guided coefficient and union self-adaptive image enhancement for single image haze removal[J]. IET Image Processing, 2021, 15(11): 2680−2692 doi: 10.1049/ipr2.12255

    [62]

    Shi Shaoqi, Zhang Ye, Zhou Xinyu, et al. Cloud removal for single visible image based on modified dark channel prior with multiple scale[C] //Proc of the 41st IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2021: 4127−4130

    [63]

    Liu Xinggang, Liu Changjiang, Lan Hengyou, et al. Dehaze enhancement algorithm based on retinex theory for aerial images combined with dark channel[J]. Open Access Library Journal, 2020, 7(4): 1106280

    [64]

    Tang Qunfang, Yang Jie, He Xiangjian, et al. Nighttime image dehazing based on retinex and dark channel prior using Taylor series expansion[J]. Computer Vision and Image Understanding, 2021, 202: 103086 doi: 10.1016/j.cviu.2020.103086

    [65]

    Xia Fei, Song Hu, Dou Hao. Fog removal and enhancement method for UAV aerial images based on dark channel prior[J]. Journal of Control and Decision, 2022, 10(2): 188−197

    [66]

    Chen Jin, Zhu Xiaolin, Vogelmann J E, et al. A simple and effective method for filling gaps in Landsat ETM+ SLC-off images[J]. Remote Sensing of Environment, 2011, 115((4): ): 1053−1064 doi: 10.1016/j.rse.2010.12.010

    [67]

    Zhu Xiaolin, Gao Feng, Liu Desheng, et al. A modified neighborhood similar pixel interpolator approach for removing thick clouds in Landsat images[J]. IEEE Geoscience and Remote Sensing Letters, 2011, 9(3): 521−525

    [68]

    Meng Fan, Yang Xiaomei, Zhou Chenghu, et al. A sparse dictionary learning-based adaptive patch inpainting method for thick clouds removal from high-spatial resolution remote sensing imagery[J]. Sensors, 2017, 17(9): 2130 doi: 10.3390/s17092130

    [69]

    Meng Fan, Yang Xiaomei, Zhou Chenghu, et al. Multiscale adaptive reconstruction of missing information for remotely sensed data using sparse representation[J]. Remote Sensing Letters, 2018, 9(5): 457−466 doi: 10.1080/2150704X.2018.1439198

    [70]

    Li Wenbo, Li Ying, Chen Di, et al. Thin cloud removal with residual symmetrical concatenation network[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 153: 137−150 doi: 10.1016/j.isprsjprs.2019.05.003

    [71]

    Zi Yue, Xie Fengying, Zhang Ning, et al. Thin cloud removal for multispectral remote sensing images using convolutional neural networks combined with an imaging model[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 3811−3823 doi: 10.1109/JSTARS.2021.3068166

    [72]

    Ma Xiaofeng, Wang Qunming, Tong Xiaohua. A spectral grouping-based deep learning model for haze removal of hyperspectral images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 177−189 doi: 10.1016/j.isprsjprs.2022.04.007

    [73]

    Wen Xue, Pan Zongxu, Hu Yuxin, et al. An effective network integrating residual learning and channel attention mechanism for thin cloud removal[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 6507605

    [74]

    Li Jun, Wu Zhaocong, Hu Zhongwen, et al. Thin cloud removal in optical remote sensing images based on generative adversarial networks and physical model of cloud distortion[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 166: 373−389 doi: 10.1016/j.isprsjprs.2020.06.021

    [75]

    Zhao Yunpu, Shen Shikun, Hu Jiarui, et al. Cloud removal using multimodal GAN with adversarial consistency loss[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 8015605

    [76]

    Pan Heng. Cloud removal for remote sensing imagery via spatial attention generative adversarial network[J]. arXiv preprint, arXiv: 2009.13015, 2020

    [77]

    Wen Xue, Pan Zongxu, Hu Yuxin, et al. Generative adversarial learning in YUV color space for thin cloud removal on satellite imagery[J]. Remote Sensing, 2021, 13(6): 1079 doi: 10.3390/rs13061079

    [78]

    Zhou Jianjun, Luo Xiaobo, Rong Wentao, et al. Cloud removal for optical remote sensing imagery using distortion coding network combined with compound loss functions[J]. Remote Sensing, 2022, 14(14): 3452 doi: 10.3390/rs14143452

    [79]

    Ran Xinyu, Ge Liang, Zhang Xiaofeng. RGAN: Rethinking generative adversarial networks for cloud removal[J]. International Journal of Intelligent Systems, 2021, 36(11): 6731−6747 doi: 10.1002/int.22566

    [80]

    Tao Chao, Fu Siyang, Qi Ji, et al. Thick cloud removal in optical remote sensing images using a texture complexity guided self-paced learning method[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5619612

    [81]

    Chen Shuli, Chen Xuehong, Chen Jin, et al. An iterative haze optimized transformation for automatic cloud/haze detection of Landsat imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 54(5): 2682−2694

    [82]

    He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341−2353

    [83]

    Xu Meng, Pickering M, Plaza A J, et al. Thin cloud removal based on signal transmission principles and spectral mixture analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 54(3): 1659−1669

    [84]

    Land E H. The retinex theory of color vision[J]. Scientific American, 1977, 237(6): 108−129 doi: 10.1038/scientificamerican1277-108

    [85] 杨晓倩,贾振红,杨杰,等. 基于小波变换和 Retinex 结合的遥感图像的薄云去除[J]. 激光杂志,2019,40(10):77−80

    Yang Xiaoqian, Jia Zhenhong, Yang Jie, et al. Thin cloud removal of remote sensing images based onwavelet transform and Retinex[J]. Laser Journal, 2019, 40(10): 77−80 (in Chinese)

    [86]

    Shen Huanfeng, Li Huifang, Qian Yan, et al. An effective thin cloud removal procedure for visible remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 96: 224−235 doi: 10.1016/j.isprsjprs.2014.06.011

    [87]

    Xu Meng, Jia Xiuping, Pickering M, et al. Thin cloud removal from optical remote sensing images using the noise-adjusted principal components transform[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 149: 215−225 doi: 10.1016/j.isprsjprs.2019.01.025

    [88]

    Pan Xiaoxi, Xie Fengying, Jiang Zhiguo, et al. Haze removal for a single remote sensing image based on deformed haze imaging model[J]. IEEE Signal Processing Letters, 2015, 22(10): 1806−1810 doi: 10.1109/LSP.2015.2432466

    [89]

    Telea A. An image inpainting technique based on the fast marching method[J]. Journal of Graphics Tools, 2004, 9(1): 23−34 doi: 10.1080/10867651.2004.10487596

    [90]

    Li Xinghua, Shen Huanfeng, Zhang Liangpei, et al. Sparse-based reconstruction of missing information in remote sensing images from spectral/temporal complementary information[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 106: 1−15 doi: 10.1016/j.isprsjprs.2015.03.009

    [91]

    Liu Na, Li Wei, Tao Ran, et al. Multigraph-based low-rank tensor approximation for hyperspectral image restoration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5530314

    [92]

    Wang Lanxing, Wang Qunming. Fast spatial-spectral random forests for thick cloud removal of hyperspectral images[J]. International Journal of Applied Earth Observation and Geoinformation, 2022, 112: 102916 doi: 10.1016/j.jag.2022.102916

    [93]

    Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139−144 doi: 10.1145/3422622

    [94]

    Chen Hui, Chen Rong, Li Nannan. Attentive generative adversarial network for removing thin cloud from a single remote sensing image[J]. IET Image Processing, 2021, 15(4): 856−867 doi: 10.1049/ipr2.12067

    [95]

    Xu Meng, Deng Furong, Jia Sen, et al. Attention mechanism-based generative adversarial networks for cloud removal in Landsat images[J]. Remote Sensing of Environment, 2022, 271: 112902 doi: 10.1016/j.rse.2022.112902

    [96]

    Singh P, Komodakis N. Cloud-GAN: Cloud removal for Sentinel-2 imagery using a cyclic consistent generative adversarial networks[C] //Proc of the 38th IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2018: 1772−1775

    [97]

    Toizumi T, Zini S, Sagi K, et al. Artifact-free thin cloud removal using GANs[C] //Proc of the 26th IEEE Int Conf on Image Processing (ICIP). Piscataway, NJ: IEEE, 2019: 3596−3600

    [98]

    Enomoto K, Sakurada K, Wang Weimin, et al. Filmy cloud removal on satellite imagery with multispectral conditional generative adversarial nets[C] //Proc of the IEEE Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2017: 48−56

    [99]

    Liu Yang, Pan Jinshan, Ren J, et al. Learning deep priors for image dehazing[C] //Proc of the IEEE/CVF Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 2492−2500

    [100]

    Isola P, Zhu Junyan, Zhou Tinghui, et al. Image-to-image translation with conditional adversarial networks[C] //Proc of the IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 1125−1134

    [101]

    Zhu Junyan, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C] //Proc of the IEEE Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2017: 2223−2232

    [102]

    Sun Linjian, Zhang Ye, Chang Xuling, et al. Cloud-aware generative network: Removing cloud from optical remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(4): 691−695

    [103]

    Kalkan K, Maktav M D. A cloud removal algorithm to generate cloud and cloud shadow free images using information cloning[J]. Journal of the Indian Society of Remote Sensing, 2018, 46: 1255−1264 doi: 10.1007/s12524-018-0806-y

    [104]

    Hu Changmiao, Huo Lianzhi, Zhang Zheng, et al. Multi-temporal Landsat data automatic cloud removal using Poisson blending[J]. IEEE Access, 2020, 8: 46151−46161 doi: 10.1109/ACCESS.2020.2979291

    [105]

    Chen Bin, Huang Bo, Chen Lifan, et al. Spatially and temporally weighted regression: A novel method to produce continuous cloud-free Landsat imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 55(1): 27−37

    [106]

    Xie Shuai, Liu Liangyun, Yang Jiangning. Enhanced Landsat surface reflectance prediction considering land cover change by using an ensemble of spectro-temporal and spectro-spatial predictions[J]. Advances in Space Research, 2022, 69(7): 2697−2710 doi: 10.1016/j.asr.2022.01.009

    [107]

    Zhou Yanan, Wang Shunying, Wu Tianjun, et al. For-backward LSTM-based missing data reconstruction for time-series Landsat images[J]. GIScience & Remote Sensing, 2022, 59(1): 410−430

    [108]

    Duan Chenxi, Pan Jun, Li Rui. Thick cloud removal of remote sensing images using temporal smoothness and sparsity regularized tensor optimization[J]. Remote Sensing, 2020, 12(20): 3446 doi: 10.3390/rs12203446

    [109]

    Ji Tengyu, Chu Delin, Zhao Xile, et al. A unified framework of cloud detection and removal based on low-rank and group sparse regularizations for multitemporal multispectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5303015

    [110]

    Þórðarson A F, Baum A, García M, et al. Gap-filling of NDVI satellite data using Tucker decomposition: Exploiting spatio-temporal patterns[J]. Remote Sensing, 2021, 13(19): 4007 doi: 10.3390/rs13194007

    [111]

    Zhang Qiang, Sun Fujun, Yuan Qiangqiang, et al. Thick cloud removal for Sentinel-2 time-series images via combining deep prior and low-rank tensor completion[C] //Proc of the 41st IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2021: 2675−2678

    [112]

    Zhang Qiang, Yuan Qiangqiang, Li Zhiwei, et al. Combined deep prior with low-rank tensor SVD for thick cloud removal in multitemporal images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 177: 161−173 doi: 10.1016/j.isprsjprs.2021.04.021

    [113]

    Tang Zhipeng, Amatulli G, Pellikka P K E, et al. Spectral temporal information for missing data reconstruction (STIMDR) of Landsat reflectance time series[J]. Remote Sensing, 2021, 14(1): 172 doi: 10.3390/rs14010172

    [114]

    Lin Jie, Huang Tingzhu, Zhao Xile, et al. Robust thick cloud removal for multitemporal remote sensing images using coupled tensor factorization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5406916

    [115]

    Lin Chaohuang, Tsai P H, Lai Kanghua, et al. Cloud removal from multitemporal satellite images using information cloning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 51(1): 232−241

    [116]

    Lin Chaohung, Lai Kanghua, Chen Zhibin, et al. Patch-based information reconstruction of cloud-contaminated multitemporal images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(1): 163−174

    [117]

    Surya S R, Simon P. Automatic cloud removal from multitemporal satellite images[J]. Journal of the Indian Society of Remote Sensing, 2015, 43: 57−68 doi: 10.1007/s12524-014-0396-2

    [118]

    Xu Meng, Jia Xiuping, Pickering M, et al. Cloud removal based on sparse representation via multitemporal dictionary learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(5): 2998−3006 doi: 10.1109/TGRS.2015.2509860

    [119]

    Li Zhiwei, Shen Huanfeng, Weng Qihao, et al. Cloud and cloud shadow detection for optical satellite imagery: Features, algorithms, validation, and prospects[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 89−108 doi: 10.1016/j.isprsjprs.2022.03.020

    [120]

    Zhang Chengyue, Li Zhiwei, Cheng Qing, et al. Cloud removal by fusing multi-source and multi-temporal images[C] //Proc of the 37th IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway: IEEE, 2017: 2577−2580

    [121]

    Shen Huanfeng, Wu Jingan, Cheng Qing, et al. A spatiotemporal fusion based cloud removal method for remote sensing images with land cover changes[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(3): 862−874 doi: 10.1109/JSTARS.2019.2898348

    [122]

    Zhao Rongkun, Li Yuechen, Chen Jin, et al. Mapping a paddy rice area in a cloudy and rainy region using spatiotemporal data fusion and a phenology-based algorithm[J]. Remote Sensing, 2021, 13(21): 4400 doi: 10.3390/rs13214400

    [123] 王蓝星,王群明,童小华. 融合多光谱影像的高光谱影像厚云去除方法[J]. 测绘学报,2022,51(4):612−621

    Wang Lanxing, Wang Qunming, Tong Xiaohua. Thick cloud removal of hyperspectral images by fusing with multispectral images[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(4): 612−621(in Chinese)

    [124]

    Chen Shanjing, Zhang Wenjuan, Li Zhen, et al. Cloud removal with SAR-optical data fusion and graph-based feature aggregation network[J]. Remote Sensing, 2022, 14(14): 3374 doi: 10.3390/rs14143374

    [125]

    Grohnfeldt C, Schmitt M, Zhu Xiaoxiang. A conditional generative adversarial network to fuse SAR and multispectral optical data for cloud removal from Sentinel-2 images[C] //Proc of the 38th IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2018: 1726−1729

    [126]

    Bermudez J D, Happ P N, Oliveira D A B, et al. Sar to optical image synthesis for cloud removal with generative adversarial networks[J]. ISPRS Annals of Photogrammetry, Remote Sensing & Spatial Information Sciences, 2018, 4(1): 5−11

    [127]

    Darbaghshahi F N, Mohammadi M R, Soryani M. Cloud removal in remote sensing images using generative adversarial networks and SAR-to-optical image translation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 4105309

    [128]

    Gao Jianhao, Yuan Qiangqiang, Li Jie, et al. Cloud removal with fusion of high resolution optical and SAR images using generative adversarial networks[J]. Remote Sensing, 2020, 12(1): 191 doi: 10.3390/rs12010191

    [129]

    Jiang Menghui, Li Jie, Shen Huanfeng. A deep learning-based heterogeneous spatio-temporal-spectral fusion: SAR and optical images[C] //Proc of the 41st IEEE Int Geoscience and Remote Sensing Symp (IGARSS). Piscataway, NJ: IEEE, 2021: 1252−1255

    [130]

    Xu Fang, Shi Yilei, Ebel P, et al. Exploring the potential of SAR data for cloud removal in optical satellite imagery[J]. arXiv reprint, arXiv: 206.02850, 2022

    [131]

    Xiao Xiao, Lu Yilong. Cloud removal of optical remote sensing imageries using SAR data and deep learning[C/OL] // Proc of the 7th Asia-Pacific Conf on Synthetic Aperture Radar (APSAR). Piscataway, NJ: IEEE, 2021[2023-06-30].https://ieeexplore.ieee.org/abstract/document/9688535

    [132]

    Gao Jianhao, Yi Yang, Wei Tang, et al. Sentinel-2 cloud removal considering ground changes by fusing multitemporal SAR and optical images[J]. Remote Sensing, 2021, 13(19): 3998 doi: 10.3390/rs13193998

    [133]

    Sebastianelli A, Nowakowski A, Puglisi E, et al. Spatio-Temporal SAR-optical data fusion for cloud removal via a deep hierarchical model[J]. arXiv preprint, arXiv: 2106.12226, 2021

    [134]

    Ebel P, Xu Yajin, Schmitt M, et al. SEN12MS-CR-TS: A remote-sensing data set for multimodal multitemporal cloud removal[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5222414

    [135]

    Czerkawski M, Upadhyay P, Davison C, et al. Deep internal learning for inpainting of cloud-affected regions in satellite imagery[J]. Remote Sensing, 2022, 14(6): 1342 doi: 10.3390/rs14061342

    [136]

    Mohajerani S, Krammer T A, Saeedi P. Cloud detection algorithm for remote sensing images using fully convolutional neural networks[J]. arXiv preprint, arXiv: 1810.05782, 2018

    [137]

    Li Zhiwei, Shen Huanfeng, Li Huifang, et al. Multi-feature combined cloud and cloud shadow detection in GaoFen-1 wide field of view imagery[J]. Remote Sensing of Environment, 2017, 191: 342−358 doi: 10.1016/j.rse.2017.01.026

    [138]

    Baetens L, Desjardins C, Hagolle O. Validation of copernicus Sentinel-2 Cloud masks obtained from MAJA, Sen2Cor, and Fmask processors using reference cloud masks generated with a supervised active learning procedure[J]. Remote Sensing, 2019, 11(4): 433 doi: 10.3390/rs11040433

    [139]

    Lin Daoyu, Xu Guangluan, Wang Xiaoke, et al. A remote sensing image dataset for cloud removal[J]. arXiv preprint, arXiv: 1901.00600, 2019

    [140]

    Gong Cheng, Han Junwei, Lu Xiaoqiang. Remote sensing image scene classification: Benchmark and state of the art[J]. Proceedings of the IEEE, 2017, 105(10): 1865−1883 doi: 10.1109/JPROC.2017.2675998

    [141]

    Hughes M J, Kennedy R. High-quality cloud masking of Landsat 8 imagery using convolutional neural networks[J]. Remote Sensing, 2019, 11(21): 2591 doi: 10.3390/rs11212591

    [142]

    Liu Ji, Musialski P, Wonka P, et al. Tensor completion for estimating missing values in visual data[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(1): 208−220

    [143]

    Chen Yilei, Hsu C T, Liao Hongyuan. Simultaneous tensor decomposition and completion using factor priors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 36(3): 577−591

    [144]

    Ji Tengyu, Yokoya N, Zhu Xiaoxiang, et al. Nonlocal tensor completion for multitemporal remotely sensed images’ inpainting[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(6): 3047−3061 doi: 10.1109/TGRS.2018.2790262

    [145]

    Yuan Longhao, Li Chao, Mandic D, et al. Tensor ring decomposition with rank minimization on latent space: An efficient approach for tensor completion[C] //Proc of the AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 9151−9158

  • 期刊类型引用(1)

    1. 贾世豪,张思乐,张克勤,陈志伟,葛晓虎. 面向6G空口信号处理的新一代GPU基带研究. 移动通信. 2024(10): 114-120 . 百度学术

    其他类型引用(0)

图(7)  /  表(9)
计量
  • 文章访问数:  571
  • HTML全文浏览量:  366
  • PDF下载量:  180
  • 被引次数: 1
出版历程
  • 收稿日期:  2023-03-27
  • 修回日期:  2023-07-09
  • 网络出版日期:  2024-03-13
  • 刊出日期:  2024-05-31

目录

/

返回文章
返回