-
摘要:
小样本学习（few-shot learning，FSL）旨在利用少量样本学习得到解决问题的模型，为解决应用场景中样本量少或标注样本少的问题. 图神经网络（graph neural network，GNN）由于其在许多应用中的卓越性能引起了极大的关注，许多学者开始尝试利用图神经网络进行小样本学习，基于图神经网络的方法在小样本领域取得了卓越的成绩. 目前与基于图神经网络的小样本学习方法相关的综述性研究较少，缺乏该类方法的划分体系与介绍性工作，因此系统地梳理了当前基于图神经网络的小样本学习的相关工作：概括了小样本学习的图神经网络方法的概念，根据模型的基本思想将其划分为基于节点特征、基于边特征、基于节点对特征和基于类级特征的4类方法，介绍了这4类方法的研究进展；总结了目前常用的小样本数据集和代表性模型在这些数据集上的实验结果，归纳各类方法主要的研究内容和优劣势；最后概述了基于图神经网络的小样本学习方法的应用和面临的挑战，并展望其未发展方向.
Abstract:Few-shot learning (FSL) aims to learn to get a problem-solving model using a small number of samples. Under the trend of training models with big data, deep learning has gained success in many fields, but realistic scenarios often lack sufficient samples or labeled samples. Therefore, FSL becomes a promising research direction at present. Graph neural networks (GNN) have attracted great attention due to their excellent performance in many applications. In view of this, many methods try to use GNN for FSL. Currently there are few review researches related to FSL methods based on GNN, and there is a lack of division system and introductory work on this type of methods. We systematically compose the current work related to FSL based on GNN. The work outlines the basis and concepts of graph methods for FSL, broadly classifies them into four categories of methods based on node-based feature, edge-based feature, node-pair-based feature and class-level-based feature according to the basic ideas of the models. The research progress of the four methods is introduced as well. Then the experimental results of the commonly used few-shot datasets and representative models on these datasets are summarized, as well as the advantages and disadvantages of each type of methods. Finally, current status and challenges of the graph methods for FSL are introduced, and their future directions are prospected.
-
Keywords:
- few-shot learning /
- graph neural network /
- meta-learning /
- metric-learning /
- transfer-learning
-
无人驾驶系统（autonomous driving system, ADS）可通过各类的车载传感器（如相机、激光雷达、超声波雷达等）进行实时的驾驶环境感知，并进一步根据目标驾驶任务进行驾驶行为的规划与决策，以此控制车辆的自动化行进. 作为交通领域中的颠覆性智能技术，无人驾驶已展示出广泛的应用场景，如物流配送、军事探勘、公共交通等. 鉴于此，众多科技公司、整车厂商与政府部门正积极推动无人驾驶的技术落地，期望实现公开道路的无人驾驶车辆部署.
然而现如今，安全性作为无人驾驶系统重要的预期属性，已然成为了其大规模落地的瓶颈. 在无人驾驶车辆的试运行过程中，因无人驾驶系统缺陷导致的交通事故不断发生，造成了严重程度不一的财产损失与人身伤害. 例如，截止2023年1月6日，美国加州交管局[1]（Department of Motor Vehicles, DMV）已接收并公布了546件无人驾驶车辆相关的交通事故[2]. 同时，建立无人驾驶功能安全相关的测评标准已成为国内外标准化组织的重点工作. 例如，国际标准化组织发布了ISO 21448[3]以规范无人驾驶的安全测试流程，作为跟进，我国的国家标准计划《道路车辆预期功能安全》[4]也在积极筹备之中.
为有效提高无人驾驶的安全性并满足合规检测需求，各大厂商与监管机构正积极采用2类测试方案，即道路测试[5-6]和仿真测试[7–10]，来挖掘并整治无人驾驶系统中可能导致交通事故的系统缺陷. 道路测试指在封闭的真实道路上长久地运行无人驾驶车辆，并监控其驾驶行为. 然而，道路测试存在着较大的限制：一方面，布置各种封闭道路场景的成本较高，且测试周期较长；另一方面，道路测试难以验证无人驾驶系统在极端驾驶场景（如极端天气与路况）中的可靠性. 与道路测试不同的是，仿真测试指在仿真器中配置虚拟的驾驶场景来验证无人驾驶系统的安全性. 相较于传统的道路测试，因仿真测试可任意指定虚拟场景的配置（如天气环境、地图道路和交通车流等），能以更低的成本灵活地验证在真实道路上难以挖掘到的危险驾驶场景. 鉴于该优势，仿真测试已被学术界和产业界广泛使用来评估无人驾驶系统的安全性.
显然，仿真测试的有效性直接由虚拟场景配置的质量决定，即安全测试人员能否设计出易导致无人驾驶安全事故的虚拟场景. 然而，设计事故场景绝非易事. 其原因在于，虚拟场景中包含着种类丰富的待配置要素，包括天气环境、道路地图和交通车流等，这些要素的排列组合将构成难以估量的场景搜索空间. 直观地说，从这样庞大的搜索空间中有效挖掘事故场景配置无异于大海捞针. 截止当前，这仍然是困扰学术界[11–13]和工业界[14]的棘手难题.
为有效应对该难题，前沿的研究工作[15–20]尝试将模糊测试技术[21-22]与仿真测试相结合，构建出面向无人驾驶系统的仿真模糊测试技术（simulation-based fuzzing）. 该技术的基本原理是：给定数量有限的初始场景配置（称之为种子场景），通过类模糊测试的变异操作来自动调整种子场景中的可配置要素（如将天气参数由晴天变更为雨天），以此源源不断地生成新的更易导致事故的场景配置. 基于此原理，仿真模糊测试技术即可自动化地探索庞大的场景搜索空间，并从中挖掘出易导致无人车事故的驾驶场景. 例如，AV-FUZZER[16]提出了与遗传算法相结合的模糊测试方案，通过改变无人车周围车辆的变道行为和驾驶速度，寻找直道上因车距过近而导致的无人车事故场景；AutoFuzz[18]利用神经网络来指导仿真模糊测试，其首先将场景配置向量化，并通过梯度下降算法变异各类场景要素，以此生成导致无人车碰撞的驾驶场景.
尽管已有的仿真模糊测试工作已经在高级别无人驾驶系统（high-level autonomous driving system）的安全测评中展示出了良好的应用成效，即发现了数十乃至数百例主流开源无人驾驶系统Apollo和Autoware的事故场景，它们仍然存在数个缺陷与不足，直接制约了它们提升无人驾驶系统安全性的能力. 例如，现有的仿真模糊测试工作在准备种子场景时，普遍采用手工的方式构建极其简易的驾驶场景，该类质量低下的种子极大地限制了现有工具的事故挖掘能力. 又如，现有的仿真模式测试工作的事故分类机制缺乏完善的设计，大量冗余重复的事故为进一步的系统缺陷归因溯源造成巨大阻碍.
鉴于此，本文旨在系统性地总结现有工作的不足，指明完善这些不足之处的技术方向，并最终给出可行的解决方案，以此为该领域的后续工作提供可靠的指导建议.
本文的主要贡献包括3个方面：
1）调研了面向无人驾驶系统的仿真模糊测试技术，并总结了该类技术的一般架构，该架构分为种子场景生成、事故挖掘、事故分类与事故根源分析四大关键模块.
2）面向这4个关键模块，剖析了现有工作的不足，以及解决这些不足所面临的技术挑战.
3）针对现有工作的不足提出了可行的优化方案，并在主流无人驾驶系统上进行了可行性的实验论证，以此指明该领域的未来发展方向.
1. 背景知识
1.1 无人驾驶系统
为了区分不同自动驾驶系统的能力，国际汽车工程学会（Society of Automotive Engineers, SAE）将无人驾驶系统分为6个等级[23]，从L0（无自动驾驶）到L5（完全自动驾驶）. 其中，L4与L5的无人驾驶系统又称高级别无人驾驶系统. 因高级别无人驾驶系统在多样的驾驶场景中都具备自主运行能力，许多制造商正致力于该类系统的开发部署与安全测试. 具体地说，高级别无人驾驶系统通常是由多个功能模块组成，这些模块协同工作，以实现实时的自动驾驶. 如图1所示，高级别无人驾驶系统主要包含4个关键模块：
![]()
图 1 无人驾驶系统仿真测试架构Figure 1. Architecture of simulation testing for autonomous driving systems1）感知（Perception）模块. 通过接收来自摄像头、激光雷达和超声波雷达等车载传感器的数据，基于机器学习算法探知车身周围障碍物的位置和类型.
2）预测（Prediction）模块. 基于上述障碍物探知信息，运用机器学习算法进一步预测周边障碍物的未来运动轨迹.
3）规划（Planning）模块. 结合目标驾驶任务与驾驶环境的感知预测结果，为无人驾驶车辆规划出可达目的地的安全行驶轨迹.
4）控制（Control）模块. 基于规划的轨迹和车辆的当前状态，使用不同的控制算法生成一系列车身控制命令，如加速、刹车和转向等.
这4类功能模块通常以异步的形式高频运作，并在运行时依赖高性能中间件框架（如Cyber-RT[24]和ROS[25]）进行模块间的通信. 此外，该框架还负责无人驾驶系统和车载硬件之间的信息交互.
1.2 无人驾驶系统仿真测试
为了提高无人驾驶系统的安全性，许多研究工作着眼于测试单个系统模块（如感知模块[26–31]）的鲁棒性，即假设攻击者或罕见的驾驶情况可能导致单个系统模块的故障. 例如，攻击者伪造的传感器数据可能会导致错误的障碍物感知结果. 然而，因无法从宏观的层面对无人驾驶系统整体进行测试[32]，该类工作往往无法发现由多个模块共同导致的系统故障.
与上述工作不同的是，无人驾驶系统仿真测试是面向无人驾驶系统整体而非单点模块的测试方法. 在虚拟的仿真环境下，安全分析人员可灵活指定场景的各类要素，并通过待测无人驾驶系统的实时计算来控制仿真无人车在该场景下的运动. 图1描述了无人驾驶系统仿真平台的整体框架. 其中，驾驶模拟器通常建立在图形渲染引擎（如Unity[33]和Unreal[34]）上，包含3个用于仿真测试的重要组件：
1）无人车模拟组件. 该组件主要负责模拟目标无人车在虚拟场景中的驾驶行为. 仿真环境中的无人车配置了各种虚拟传感器，这些虚拟传感器可以产生与仿真环境对应的传感器数据（如摄像头数据、激光雷达数据和GPS数据）. 随后，驾驶模拟器会通过通信网桥将这些数据作为输入连续地传输给无人驾驶系统. 同样，经过无人驾驶系统计算后生成的车辆控制指令（如油门和转向）也会通过通信网桥实时地发送给驾驶模拟器，进而控制无人车在仿真环境中的运动.
2）环境模拟组件. 该组件允许配置多样的驾驶环境，主要包括环境的物理属性和静态的地图元素. 这些配置决定了仿真环境的渲染，同时也是虚拟无人车传感器生成实时传感器数据的重要根据.
3）交通模拟组件. 该组件旨在模拟无人车周围具有特定动态行为的交通参与者. 根据交通行为者的类型，交通模拟可以分为车辆交通模拟（如汽车和公共汽车）和非车辆交通模拟（如自行车和行人）.
1.3 仿真场景配置
驾驶模拟器具有3个重要组件，即无人车模拟组件、环境模拟组件和交通模拟组件. 在实际的仿真测试过程中，测试人员须正确配置这3个组件的必要参数以保证仿真测试的正常开展：
1）环境模拟参数. 该参数主要用于定制化场景的自然物理属性和地图元素. 最常见的自然物理属性包括天气情况与光照情况. 地图元素通常指的是具有特定结构和地理坐标的道路网络，其中包含必要的道路基础设施如交通标志牌与交通信号灯等.
2）无人车模拟参数. 该参数主要指定待测无人车的物理学模型与动力学模型. 此外，该参数还须指定无人车驾驶的起点、目的地以及初始速度.
3）交通模拟参数. 该参数需指定各交通参与方的动态行为. 常见的方式是令车辆与行人等沿着给定的轨迹坐标点运动.
为保证这3个参数配置的可移植性，现有工作普遍采用不同的领域特定语言（domain-specific language, DSL）实例化参数配置. 例如，GeoScenario[35]和OpenSCENARIO[36]利用面向对象的语言来描述仿真场景的各项参数. 此外，这些DSL通常会结合其他标准（如OpenDRIVE[37]，OSM[38]和Lanelets[39]）来描述道路地图. 最终，这些格式良好的场景参数配置会被保存为与系统无关的文件格式（如XML文件或JSON文件），本文将此类文件统称为场景配置文件.
2. 面向无人驾驶系统的仿真模糊测试
2.1 仿真模糊测试架构
现有工作[15–20]在实现面向无人驾驶系统的仿真模糊测试时，主要利用了模糊测试的随机性和仿真测试的灵活性，在仅有少数初始场景配置的情况下，自动化地生成并验证海量未知的仿真驾驶场景. 通过对现有工作的系统性总结，本文将仿真模糊测试的一般架构解构为4个关键模块，分别为种子场景生成模块、事故挖掘模块、事故分类模块和事故归因分析模块，如图2所示.
1）种子场景生成模块. 进行模糊测试的首要条件是准备一定量的初始输入作为种子，从而可以通过种子的变异或调整源源不断地生成新的测试输入. 在无人驾驶系统仿真测试的语境下，种子指代的是初始的仿真场景配置文件，其指明了驾驶仿真器在实现无人车模拟、环境模拟以及交通模拟时所依赖的必要参数.
2）事故挖掘模块. 在给定种子场景的情况下，事故挖掘模块的预期功能是通过变异种子场景的各项配置来生成新的待测场景，并通过监控各待测场景的仿真执行结果，验证变异后的场景是否会造成无人驾驶车辆的不当行为，如车辆碰撞或交通违规等. 在传统的软件模糊测试领域，现有工作[40–45]通常制定“变异-反馈”机制来避免盲目的种子生成与验证，即在变异过程中筛选出高质量的种子，引导种子向更优异的方向持续演进. 同样地，这类反馈机制也存在于面向无人驾驶系统的仿真模糊测试中，其旨在遴选出更接近事故发生的仿真驾驶场景.
3）事故分类模块. 在传统的软件模糊测试领域，崩溃去重[46-47]是必不可少的重要步骤. 在收集完所有能够触发程序崩溃的种子后，该步骤旨在筛除有相似崩溃行为的冗余种子，以此减少安全人员的分析开销. 类似地，仿真模糊测试的事故分类模块旨在去除同类的无人车事故场景，以此辅助安全分析人员更快定位和治理无人驾驶系统中的不同缺陷.
4）事故归因分析模块. 传统模糊测试通常可依赖内存错误检测工具（如AddressSanitizer[48]）来定位导致程序崩溃的代码位置. 然而，因无人驾驶系统的碰撞事故通常由逻辑缺陷（如算法设计缺陷或模型运算错误）导致，其不会出现显式的内存崩溃. 因此，仿真模糊测试通常需要额外的事故归因步骤来确认导致事故的系统模块、模型或代码片段等.
2.2 现有工作概述
近年来，不少前沿的学术工作[15–20]尝试设计面向无人驾驶系统的仿真模糊测试技术，以挖掘和整治无人驾驶系统的功能安全威胁. 如表1所示，根据2.1节所述的四大模块，本文尝试对现有工作的技术方案进行模块化拆解，分别介绍这些工作实现的各关键模块的具体方案.
表 1 现有的面向无人驾驶系统的仿真模糊测试工作Table 1. Existing Work in Simulation-based Fuzzing for Autonomous Driving Systems现有工作 场景语料库生成 事故挖掘 事故分类 事故归因分析 MFT[15] 人工构建 在前方道路上随机放置静态障碍物 无 无 AV-FUZZER[16] 人工构建 改变NPC的变道策略和速度；计算安全距离来评估场景 人工分类 无 ASF[17] 随机生成 一定范围内新增或修改NPC坐标数据，随机改变场景元素状态；
计算轨迹覆盖率来评估场景无 人工分析 AutoFuzz[18] 随机生成 使用梯度下降算法变异NPC和环境参数；使用神经网络分类器来评估场景 基于场景属性
的自动化分类无 DriveFuzz[19] 随机生成 提出4种变异策略变异不同的属性值和约束值；检测碰撞、违规、
停滞3种不当行为，并量化鲁莽驾驶的因素来评估场景无 人工分析 MOSAT[20] 随机生成 定义了4种行为模式，在变异过程中随机选择；提出了多目标的场景评估策略 人工分类 无 1）针对种子场景生成模块，已有工作主要采用2类方案，一类是根据人工经验配置简单的驾驶场景，另一类是设计随机算法以生成初始的场景配置. MFT[15]和AV-FUZZER[16]人工构建了1～2个简单的直道驾驶场景作为初始种子，场景中仅包含少量的动态运行车辆与静态障碍物. 其余工作则依据先验知识，通过随机采样的方式生成一定数量的仿真场景作为初始种子. 更具体地说，ASF[17]尝试完全随机生成符合场景配置格式的初始场景；AutoFuzz[18]从驾驶模拟器的API规范中提取出场景配置参数的相关约束，并通过随机采样生成有效的场景配置；DriveFuzz[19]设计了一套可达性分析算法，为无人车在地图上随机选取有效的起点和目的地；MOSAT[20]在指定NPC的数量和距离范围后随机生成初始场景.
2）针对事故挖掘模块，已有工作基于无人驾驶测试的领域知识，设计了多样且有效的“变异-反馈”机制，以便将初始的种子场景更快地变异为诱发无人驾驶事故的场景. 同时，在挖掘事故场景时，已有工作普遍关注车辆碰撞这一严重的安全事故类型. MFT尝试在无人车的行进道路上随机放置新的静态障碍物，通过增加无人车与周边场景元素的交互来提高事故发生的概率. AV-FUZZER尝试改变无人车周围虚拟车辆 (NPC) 车辆的变道策略和速度，计算NPC车辆和无人车的安全距离作为遗传算法的适应度函数，用于发现更苛刻的行驶场景. MOSAT则根据NPC车辆与无人车的位置关系，定义了4种场景变异模式来增加无人车路径规划的难度，此外还提出了多目标的适应度函数，通过考虑事故的多样性和无人车驾驶行为的不稳定性等来引导变异的流程. ASF在一定范围内新增NPC车辆并修改原有NPC车辆的起始位置，以无人车驾驶的轨迹覆盖率为导向，尝试触发更多样的无人车驾驶行为以挖掘不同的事故场景. AutoFuzz将场景配置参数向量化的同时，创新性地利用梯度下降算法变异参数向量，并使用神经网络分类器来遴选更危险的驾驶场景. DriveFuzz在场景变异过程中，设计了更多样的NPC车辆驾驶行为（如变道插队），通过观测无人车的危险驾驶操作（如急刹车和急转弯）来量化各场景的危险程度.
3）针对事故分类模块，AV-FUZZER和MOSAT通过观察所有事故场景的仿真运行流程，根据无人车的驾驶行为特征，以人工的方式主观地将碰撞事故归为不同的类别. 更进一步地，AutoFuzz首次尝试实现自动化的事故场景去重. 给定任意2个事故场景，AutoFuzz通过判断仿真场景配置文件的差异程度来决定两者是否等价，即当差异程度超过预设的阈值时，则认为2个事故场景属于不同的类别.
4）针对事故归因分析模块，目前所有的工作都缺乏自动化分析事故场景根源缺陷的能力. ASF针对一例事故展开了详细的人工归因分析，并最终定位到导致事故的缺陷代码位置. DriveFuzz以人工分析的方式，将事故的根源归纳为不同的种类，包括仿真器缺陷、系统逻辑缺陷和系统功能不足等. 此外，ASF和DriveFuzz仅描述了事故归因分析的结果，但并未详细阐释归因分析的方法论与具体步骤.
2.3 现有工作的缺陷
根据2.2节的阐述不难发现，现有的仿真模糊测试技术主要关注事故挖掘模块的设计，即尝试借鉴传统软件模糊测试的“变异-反馈”机制，融合遗传算法或神经网络等前沿方法，以便更快地挖掘到无人车事故场景. 然而，相比之下，种子场景生成模块、事故分类模块与事故归因分析模块的设计则普遍依赖启发式的规则或人工分析来实现. 值得注意的是，这4个关键模块协同工作才能构成仿真模糊测试的闭环，换言之，单个模块的设计缺陷将直接影响到仿真模糊测试的有效性和可靠性. 下面本文将详细剖析不同模块的设计缺陷.
1）种子场景的质量低下且依赖个人经验手工构造. 长期以来，初始种子的质量已被广泛证明对模糊测试的结果存在显著影响[49-50]. 然而，在开展面向无人驾驶系统的仿真模糊测试时，现有工作普遍根据专家经验或个人经验，主观地选择数量有限的简单场景作为种子，没有重视或评估种子场景对于测试结果可能存在的影响. 其次，现有工作普遍采用手工构造的方式来创建初始场景. 正如1.3节所述，场景的配置涉及种类繁多的参数，且不同参数的格式与内涵相差甚远，即需要耗费可观的人力与时间才能完成参数的逐一配置. 虽然部分工作尝试使用随机生成的方式来减少人工开销，但这些工作仍然需要人工总结出场景模板或场景约束来指导场景的生成.
2）缺乏可靠的自动化事故分类. 现有的仿真模糊测试工作在各自的实验评估中均成功发现了主流开源无人驾驶系统的多例事故场景. 然而，这些工作普遍缺乏自动化的事故分类方法，导致分析人员难以从众多的事故案例中遴选出典型的案例作为进一步分析和诊断的目标. AutoFuzz虽然尝试提出自动化的聚类方法，但该方法仅通过仿真场景配置的相似度来判断事故是否类似. 因缺乏事故相关的分析（如事故主体和事故特性），AutoFuzz在事故分类中极易产生错误.
3）缺乏可靠的自动化事故归因分析. 现有的仿真模糊测试在汇报了事故场景后，无法通过可靠的自动化归因分析来定位系统缺陷点（即代码位置）. 这使得事故的确认与修复受到了极大的阻碍. ASF和DriveFuzz尝试通过人工的方式进行系统缺陷点的定位. 显然，该类方式需要极强的无人驾驶领域知识，以及对目标无人驾驶系统代码实现的深入理解. 此外，因ASF与DriveFuzz并未阐明人工归因分析的具体流程与方法论，这使得归因分析结果的准确性难以得到保证.
为切实提高仿真模糊测试的可用性和可靠性，本文面向上述3大缺陷提出针对性的解决思路. 具体而言，在第3～5节中，本文分别剖析了优化种子场景生成模块、事故分类模块与事故归因模块所面临的挑战，并提供了可行的解决思路. 为论证这些思路的可行性与先进性，本文尝试在主流开源无人驾驶系统Apollo和Autoware开展实验并与现有工作的方案进行对比. 此外，本文将根据实验论证的结果进一步展望仿真模糊测试领域的发展方向.
3. 种子场景生成：挑战、实践与展望
3.1 挑 战
如2.1节所述，仿真模糊测试依赖种子场景作为初始输入. 然而，现有的无人驾驶相关的公开数据集[51–59]主要提供原始传感器数据（如相机、激光雷达等），这些数据可以用于训练和测试无人驾驶系统内的机器学习算法（如对象检测和追踪），但不能直接用于仿真测试. 因此，现有的仿真模糊测试工作中所使用的种子场景普遍是研究者根据自身经验手动或随机构建的简单场景，极大地限制了仿真模糊测试的事故场景挖掘能力. 然而，为仿真模糊测试自动化准备高质量的种子场景绝非易事，所构建的种子场景应该满足2个基本特性：
挑战1. 满足高保真性. 仿真场景是现实世界驾驶场景的数字化版本，其应当符合真实世界中可能存在的驾驶情况. 为了满足该需求，安全测试人员通常需要参考已有的交通事故报告或路测报告，以繁重的人工成本在仿真环境中进行等价的还原.
挑战2. 满足语法正确性. 对于仿真测试而言，虚拟场景的参数配置应该被编码成规范的格式（如OpenSCENARIO[36]），否则仿真器不能接受其作为输入. 这些格式规范往往有着复杂的语法约束，例如，一个简单的变道超车场景需要200多行格式良好的代码来进行参数配置.
3.2 基本思路
针对3.1节所述的2个挑战，本文提出了一种自动化的种子场景构建方法. 该方法的核心思路是，从真实世界的交通轨迹数据集[60-61]中收集指定路段上可能出现的交通参与方（车辆或行人）的运动行为，以此作为仿真场景参数配置的数据参考. 这类轨迹数据通常由车端或路端记录仪在真实道路上实时捕捉所得，因此可以准确地反映真实世界中可能存在的复杂交通流模式. 参考这类数据来配置仿真场景的交通模拟参数可以极大地确保场景的保真性.
交通轨迹数据集主要以带时间戳的GPS坐标序列来描述各交通参与方的行为：
{Entityi:[(gpsi0,ti0),(gpsi1,ti1),…],Entityj:[…],…}, 其中，Entity表示交通参与方，gps表示经纬地理坐标，t表示时间戳.
在构建种子场景时，本文尝试基于现有的地图转换工具[62]，将交通轨迹相关的路段地图（如Lanelets格式[39]）转换为等价的仿真地图格式（如OpenDrive格式[37]），并在该仿真地图上灵活地布置这些具有特定运动行为的交通参与方，以此完成交通模拟参数的配置. 然而，这些轨迹数据通常被存储于自定义格式的CSV文件中，并不兼容仿真场景参数配置的格式规范（见1.3节）. 此外，这些轨迹数据的坐标系通常与仿真场景所需的坐标系不同. 因此，为进一步保证仿真场景配置的语法正确性，交通参与方的GPS坐标序列须进行正确的坐标转换（如从UTM坐标系转换为局部坐标系），并按照仿真场景的语法格式规范进行参数配置.
图3展示了自动化种子场景构建的一般流程. 值得注意的是，除交通模拟参数和地图参数外，本文将随机生成仿真场景的自然环境参数（如天气），使用仿真器和无人驾驶系统提供的无人车物理学和动力学模型，并随机生成其余无人车模拟参数（如驾驶的起始位置）. 最终，基于仿真场景描述性语言（如OpenSCENARIO[36]）的语法模板（如XSD文件），本文将上述参数实例化为种子场景配置文件（如XML文件），以作为模糊测试的输入.
3.3 实验设计
本文尝试证明3.2节所述的方法所得的种子场景能够提升仿真模糊测试技术的事故场景挖掘能力. 为实现该目标，本文尝试将所得种子场景与现有工作使用的种子场景分别作为同一款仿真模糊测试工具的输入，并面向相同的无人驾驶系统进行事故场景挖掘.
在仿真模糊测试工具方面：本文基于LGSVL模拟器实现，通过4 000行左右的Python代码实现了基本的仿真模糊测试工具. 在实现该工具时，本文参考了领域内的前沿工作DriveFuzz[19]，并进一步丰富了其场景变异的模式（如变更光照强度等）. 值得注意的是，该实验的目标是衡量种子质量对于模糊测试结果的影响. 因此，参考传统模糊测试领域的实践方式[47]，本文禁用了DriveFuzz的种子调度机制，以免对实验结果造成干扰.
在待测无人驾驶系统方面：本文挑选了2款主流的高级别无人驾驶系统作为测试对象，Apollo 6.0和Autoware 1.15.
在待测种子场景方面：实验生成了50个适用于模拟器LGSVL的仿真场景作为待测种子. 这些种子场景基于数十种地图进行构建，拥有不同的道路结构（如单车道、合并车道、交通路口等）、车流模式（如跟车、转弯、变道超车、紧急停车等）、车辆类型（如汽车、卡车、自行车等）和天气状况（如晴天、雨天、雾天）等.
另外，本文尝试从现有工作中获取可用的种子场景用于实验对比. 此处，只有AV-FUZZER和AutoFuzz开源了可用的场景配置文件. 因此，本文最终获取了AV-FUZZER的2个种子场景和AutoFuzz的4个种子场景，并以这6个种子场景作为实验的参照组.
为便于理解，图4直观地展示了来自AV-FUZZER、AutoFuzz及本文构建的部分场景种子的俯视图（蓝色车辆为无人车，蓝色箭头代表预期驾驶任务）.
![]()
图 4 现有工作和本文工作的种子场景对比Figure 4. Comparison of seed scenarios from existing works and our work在实验设置与环境方面：以各种子场景作为仿真模糊测试工具的输入，本文独立进行时长为3 h的仿真模糊测试，并收集产生的事故场景数量. 所有的实验评估都在Ubuntu 18.04服务器上进行，该服务器有314 GB 内存、4个GPU核心（NVIDIA GeForce RTX 2080 Ti）和40 个 CPU 核心（Intel Xeon Gold 5215，2.50 GHz）.
3.4 实验结果与分析
如表2所示，参照本文思路构建的各种子场景在3 h内平均可发现Apollo的80.3例事故场景和Autoware的84.9例事故场景，远高于AV-FUZZER和AutoFuzz的种子场景在相同实验配置下产生的事故数量. 例如，本文种子场景在Apollo系统上的碰撞数量相较现有工作的种子场景分别提升了203%和351%. 该数据直观地表明本文构建的种子场景更利于事故场景的挖掘.
表 2 种子场景质量的评估结果Table 2. Assessment Results on Seed Scenarios Quality种子来源 种子数量 3 h平均碰撞数量
（Apollo）3 h平均碰撞数量
（Autoware）本文思路 50 80.3 84.9 AV-FUZZER 2 26.5 0.5 AutoFuzz 4 17.8 26.5 经分析，本文发现导致该差异的主要原因是，现有工作使用的初始场景往往交通状况简单且场景元素匮乏，故需要进行繁多的变异操作后才能增加无人车与周围环境或交通参与方的交互频率，以此提高事故发生的概率. 然而相比之下，依照本文思路构建的种子场景反映了真实世界的交通路况，其场景元素复杂且交通参与方行为多样，即初始的场景配置就对无人驾驶系统的感知、规划与控制造成了不小的挑战. 因此，该类场景仅需少量的变异操作，就极有可能触发无人驾驶系统的缺陷，继而导致事故的发生.
3.5 未来展望
如表2所示，本文构建的种子场景的平均事故挖掘能力远高于现有工作的种子场景. 然而，本文发现，不同种子的事故挖掘能力存在巨大差异. 例如，在本文构建的50个种子场景中，某种子场景在3h内无法挖掘到任何事故，而某种子场景可成功挖掘到200余例事故场景. 鉴于此，若能在仿真模式测试前对种子场景的事故挖掘能力进行预测，则能够极大地提升测试的有效性. 在二进制模糊测试的领域，现有工作[49,63]往往在测试前基于代码覆盖率对种子质量进行预测评估. 与此不同的是，无人驾驶仿真测试具有更多可参考的信息要素（如场景语义和系统代码），如何妥当地利用这些要素实现种子场景的遴选是该领域内有待探索的方向之一.
4. 事故分类：挑战、实践与展望
4.1 挑 战
在传统的模糊测试领域，长时间的测试极有可能产生大量的程序崩溃，且其中不乏相似的崩溃. 为避免不必要的分析开销，相关工作普遍依赖崩溃去重技术[46-47]实现相似崩溃的聚类. 类似地，如3.4节的实验结果所示，面向无人驾驶系统的仿真模糊测试也极有可能挖掘到大量的事故场景，亟需事故分类技术实现相似事故的聚类.
挑战：事故场景元素众多，难以自动确认事故相关要素. 在交通领域[64]，相关人员通常需要确认事故主体（对事故发生产生直接或间接影响的交通参与方）和事故特性（地点与危害程度）来完成交通事故的分类. 然而，在仿真事故场景中，场景元素通常复杂繁多，难以实现对该类信息的提取与甄别，进而导致仿真事故场景的分类困难.
4.2 基本思路
针对4.1节所述的难点，本文提出了一种自动化的事故要素分析（即事故主体与事故特性）与事故场景分类方案，该方案主要适用于碰撞类事故. 首先，当在仿真环境中观测到无人车碰撞事故时，本文会立即通过仿真器所提供的应用程序接口 (API) 记录必要的事故特性. 这些特性主要包括：碰撞发生的具体地点（如车辆所在的道路编号）、碰撞的角度（如两车车头的夹角）和碰撞速度. 随后，本文尝试分析各交通参与方与事故发生之间的关联性，从而确认事故主体. 具体而言，该方法将逐个变更交通参与方的运动行为（随机改变速度和轨迹点），若行为变更后碰撞事故不再发生或事故特性改变，则认为该交通参与方为事故主体之一. 通过上述这种“调整-重放”式的分析策略，本文能够可信地确认交通参与方的运动行为与事故发生之间的相关性.
最终，本文根据事故特性和事故主体的一致性，实现碰撞事故的自动化聚类. 具体地说，本文提取发生碰撞所在道路序号来标识碰撞地点，以追尾（0°~60°）、侧撞（60°~120°）与对撞（120°~180°）这3类情况来描述碰撞角度，以低速碰撞（0~30 km/h）、中速碰撞（30~60 km/h）和高速碰撞（60 km/h以上）这3类情况来描述碰撞速度. 当且仅当碰撞所在的道路序号、碰撞角度情况和碰撞速度情况都相同时，2例无人车碰撞事故才被认为具有相同的事故特性. 对于事故主体的一致性分析，本文主要判断主体类型和主体数量是否一致.
4.3 实验设计
本文尝试证明4.2节所述的方案能够帮助实现准确的事故分类. 因现有的仿真模糊测试工作中仅AutoFuzz尝试实现自动化的事故分类，本文尝试将本文所提方案与AutoFuzz进行对比，以体现其优势.
在AutoFuzz事故分类方案方面：AutoFuzz提出，如果2个事故场景配置的参数中至少有x%是不同的（x%是人工设置的阈值），则认为这2个事故场景不是同一类型. 参照AutoFuzz的原文[18]实现，本文将该阈值设置为10%. 与本文所提方案的区别在于，AutoFuzz并不会区分事故主体，也不会甄别事故特性，其考虑仿真场景中所有的元素作为事故相似性的判断依据.
在待分类事故场景方面：本文从第3节的仿真模糊测试结果中人工标注并筛选出了50种不同类型的碰撞事故，每个事故种类包含了10例事故场景. 基于这500例事故场景，本文尝试开展AutoFuzz事故分类方案和本文所提方案的对比实验.
在分类评估指标方面：为了评估事故分类的效果，本文主要使用了聚类分析领域的常用指标[65]，即平均准确率（又称纯净度）和平均召回率（又称倒纯净度）. 具体地说，平均准确率可以有效衡量不同类型的事故是否会被错误地分到同一类中，平均召回率可以有效衡量同一类型的事故是否会被错误地分到不同类中. 因这2个指标涵盖了事故分类中所有可能出现的分类错误情况，本文可以客观地衡量不同分类方案的可靠性. 基于上述定义，平均准确率和平均召回率的计算方式为：
Precisionavg=∑j|Cj|Nmaxi{|Li∩Cj||Cj|} Recallavg=∑i|Li|Nmaxj{|Li∩Cj||Li|} 其中，Cj是第j个实验聚类，Li是第i个基准分类，N是聚类中的元素总数.
在实验设置与环境方面：本文使用3.3节中介绍的服务器开展该实验.
4.4 实验结果与分析
本实验的评估结果如表3所示. 由该表可知，本文方案的平均准确率和平均召回率远高于AutoFuzz. 为了便于理解，下面将通过2个反例分析AutoFuzz分类效果不佳的根本原因.
表 3 事故分类的评估结果Table 3. Assessment Results on Accident Triage分类方法 分类数 平均准确率/% 平均召回率/% 本文思路 74 100.0 94.8 AutoFuzz 196 52.4 55.4 注：如4.3节所述，基准分类数应为50. 1）AutoFuzz平均准确率较低. 如图5所示，对于参数配置高度相似但实则代表不同事故的场景，AutoFuzz会错误地将其归类为同一类型的事故. 其根本原因在于，AutoFuzz无法鉴别事故主体与事故特性.
2）AutoFuzz平均召回率较低. 类似地，如图6所示，当场景中存在较多事故无关的主体时，AutoFuzz极有可能认为2个事故场景代表着不同类型的交通事故.
此外，本文方案也存在将同一类型事故错误分到不同类别的情况，即平均召回率并非100%. 经过细致的案例分析，本文发现其主要的原因在于，部分无人车相关的碰撞事故是概率性的. 如4.2节所述，本文主要通过多次的事故重放来推断各交通参与方是否为事故主体. 因概率性事故的重放结果并不稳定，这极易导致事故主体的判断错误，进而误导事故分类.
4.5 未来展望
值得注意的是，本文在进行事故分类时，仅参考仿真场景的语义信息（事故主体和事故特性），而忽略了无人驾驶系统的内部执行状态. 这意味着，不同系统缺陷导致的交通事故有可能被归为同一类，进而在后续的缺陷确认环节中被忽略. 因此，如何结合场景的语义信息与系统内部的执行信息来完成鲁棒的事故分类也是亟待探索的课题之一.
5. 事故归因分析：挑战、实践与展望
5.1 挑 战
传统的模糊测试工具通常依赖内存错误检测工具（如AddressSanitizer[48]）来确认崩溃发生的代码位置，以此辅助程序缺陷的确认与修复. 同样地，对于仿真模糊测试而言，定位导致交通事故的系统缺陷位置对无人驾驶安全性的提升至关重要. 然而，据现有研究[66]显示，无人驾驶系统中易致使交通事故的缺陷通常为逻辑缺陷，其不会引发显式的内存错误或系统崩溃，因此无法用常规的内存错误检测工具来进行缺陷代码位置的定位. 鉴于此，仿真模糊测试亟需定制化的事故归因分析能力来提升其安全应用价值.
挑战：无人驾驶系统的复杂性. 无人驾驶系统是代码和模型深度耦合的复杂智能系统，其往往具有庞大的代码量，使得藏匿其中的系统缺陷难以被发现. 例如，Apollo开源无人驾驶系统拥有数十万行的代码. 现有的仿真模糊测试工作（如ASF和DriveFuzz）依赖专家经验进行人工的缺陷定位，这不仅需要对无人驾驶系统的模块架构具有深入的了解，还需要对海量的被执行代码进行准确逻辑语义分析. 同时，因这些工作并未提供人工分析的方法论和细节步骤，其可借鉴性十分有限.
5.2 基本思路
尽管不同的高级别无人驾驶系统在代码实现上截然不同，但如1.1节所述，它们的系统模块结构和各模块的预期功能普遍高度相似. 其中，感知模块主要负责确认车身周围障碍物位置；预测模块主要推断障碍物未来的运行轨迹；规划模块主要确定无人车的安全行驶路线；控制模块主要根据规划路线生成对应的车辆控制指令. 鉴于此，本文实现了模块级别的自动化缺陷定位，以此提高该方案在不同无人驾驶系统间的可移植性. 该类模块级别的缺陷定位可极大地辅助缺陷的诊断与修复.
该方案的核心思路为：实时地监控并比对仿真场景中各元素的真实状态（仅考虑事故主体，见4.2节）以及无人驾驶系统的模块执行信息，以此判断无人驾驶系统各功能模块实际运行效果与预期功能的差距（简称为模块功能差距），最终将功能差距最大的模块视为事故主责模块（即缺陷模块）. 为准确地定义模块功能差距，本文归纳了不同系统模块的预期功能，并借助仿真模糊测试可实时观测、可重放的特性实现了模块功能差距的计算，具体为：
1）感知模块功能差距. 正常运作的感知模块旨在准确定位无人车周围所有障碍物的具体位置. 为计算该模块的功能差距，本文在仿真器中实时观测各障碍物的真实位置信息作为预期数据，同时在无人驾驶系统中截取感知模块计算所得的障碍物位置信息作为实际运行数据，最终计算这2类信息中各障碍物的位置坐标的平均距离作为感知模块功能差距.
2）预测模块功能差距. 正常运作的预测模块旨在准确预测无人车周围物体的未来运动轨迹. 为计算该模块的功能差距，本文尝试重放事故场景，记录仿真器中每一时刻各物体的真实未来运动轨迹作为预期数据，同时截取预测模块计算所得的未来轨迹作为实际运行数据，最终计算这2类信息中平均的轨迹差异作为预测模块功能差距. 在衡量轨迹之间的差异时，本文主要计算两轨迹上具有相同时间戳的坐标点之间的平均距离.
3）控制模块功能差距. 正常运作的控制模块旨在准确按照无人驾驶系统规划的行驶路径来控制无人车的行进. 为计算该模块的功能差距，本文截取规划模块计算所得的行驶路径作为预期数据，同时在仿真器中记录无人车的真实运行轨迹作为实际运行数据，最终计算这2类信息中无人车的轨迹差异作为控制模块功能差距. 类似地，此处仍然计算2轨迹上具有相同时间戳的坐标点之间的平均距离作为轨迹差异.
4）规划模块缺陷判断. 值得注意的是，正常运作的规划模块旨在计算出可达目的地的安全驾驶路径. 在没有任何人工分析的辅助下，该模块的预期表现是难以定性的. 因此，本文在进行归因分析时，首先依次计算上述3种模块的功能差距. 若这3种模块的功能差距都小于一定阈值（阈值的设置见5.3节），即认为缺陷不存在于这3种模块中，并参考现有工作[67-68]计算各时间节点无人车的可行驶空间，以此判断是否为规划模块缺陷. 具体地说，若不存在任何可行驶空间但仍然发生了碰撞（例如堵车时被后车追尾），则认为这不是无人车负主责的事故，即该事故不是由规划模块缺陷导致；反之，本文则认为规划模块是该碰撞事故的主责模块.
5.3 实验设计
现有的仿真模糊测试在汇报了事故场景后，通常仅依靠纯人工的方式进行归因分析. 因此，在本实验中，本文尝试将所提归因分析方案与人工分析做对比，以体现本文方案优势.
在人工事故归因分析方面：给定仿真环境下的无人车碰撞事故，本文总计邀请了4位无人驾驶系统领域的专家来分析事故对应的缺陷模块. 他们都曾为主流开源无人驾驶系统Apollo或Autoware提交过漏洞修复的commit，对这2款无人驾驶系统的模块结构与代码实现有着较深的了解. 具体地说，为避免人工分析的错误，各事故场景的归因分析结果将由2位专家进行交叉验证. 该人工验证所得的事故主责模块也将作为衡量本文所提方案的基准数据.
在待归因事故场景方面：本文从4.3节所述的50类交通事故中，各随机挑选了1例事故场景作为待归因分析的对象. 同类事故中，虽然不同事故场景的场景参数不同，但它们的事故特性和事故主体一致，极大概率是由相同的无人车系统缺陷导致的碰撞. 因此，本文仅从每类事故中选取1例作为归因分析的对象. 此外，这50例碰撞事故涵盖了不同的交通路况、无人车驾驶任务以及环境状态，能够全面且可信地评估事故归因分析方案的可靠性.
在阈值设置方面：在该实验中，本文统一将感知模块、预测模块以及控制模块的功能差距阈值设置为1 m. 特别地，若感知模块或预测模块出现了严重的运行时错误（如完全无法探知某物体的存在与运动轨迹或认为空旷处存在某物体），本文直接将相应的模块视作事故主责模块.
在实验环境方面：本文使用3.3节和3.4节中介绍的服务器开展该实验.
5.4 实验结果与分析
表4展示了本实验的评估结果. 本文能够正确分析出44例事故的主责模块. 虽然该准确率（44/50）略低于专家分析，但本文所提的自动化工具不要求测试人员具有丰富的无人驾驶安全领域知识，具有高度的灵活性与可用性. 本文分析了6例归因错误的事故场景，发现错误原因主要有2类：1）其中4例由可行驶空间计算的错误导致. 具体地说，在计算可行驶空间时，本文并未考虑无人车所在道路是否可以变道或逆行，结果导致无法规避的碰撞事故被错误地认为是由规划模块缺陷导致的事故. 2）剩余2例事故场景中，本文发现功能差距最大的模块并非事故主责模块. 这2例事故均为高速驾驶场景，在碰撞前空旷路段的直线高速行驶过程中，因不可避免的系统延时导致控制模块的功能差距高达2.3 m以上. 然而，碰撞发生的关键原因是，无人驾驶系统没有准确预测前车的减速行为. 虽然该预测误差仅为0.9 m左右，但直接导致了无人车没有及时刹车，造成追尾碰撞.
表 4 事故归因分析的评估结果Table 4. Assessment Results on Accident Root Cause Analysis归因方法 事故数 归因正确的事故数 准确率/% 平均分析时间/h 本文思路 50 44 88 0.05 人工分析 50 47 94 4.40 注：在人工分析过程中，有3例事故经专家交叉验证后才定位到了正确的事故主责模块. 此外，由表4可知，本文所提的自动化方案平均仅需0.05 h就可完成1例事故场景的归因分析. 相比之下，具有丰富领域知识的安全专家需要约4.4 h才可完成这一分析任务. 这直接表明，本文工作能够大幅度地提高事故归因分析的效率，降低事故分析的人工成本.
5.5 案例分析
图7展示了本文工作从Apollo 6.0中找到的1处代码缺陷，场景如图7（b）所示. 在无人车经过一处交叉路口时，右侧同时横向驶来一辆速度极慢的灰色车辆，无人车理应观察并预测到该车辆将出现在前方规划的道路上，并做出减速决策. 然而，Apollo系统并没有对该车辆进行任何的轨迹预测，导致无人车径直驶过十字路口，并最终与灰色车辆产生碰撞.
本文通过采用所提的事故归因分析方法，将导致该场景的缺陷定位于预测模块. 随后，经过人工的模块内代码分析，定位于缺陷代码的位置. 如图7（a）所示，在对周围驾驶车辆进行预测时，Apollo定义了静止障碍物速度阈值来对抗扰动，将低于该速度的车辆统一认定为静止的障碍物. 然而，Apollo关于该阈值的默认值（3.6 km/h）较高. 该不合理的设置将导致系统无法对一些低速车辆进行轨迹预测，从而有可能导致交通事故的发生.
5.6 未来展望
本文所提的归因分析方案仅能定位到事故的缺陷模块，而非具体的代码片段. 虽然该模块定位信息能够辅助缺陷的确认与修复，但仍然需要较多的人力进行模块内代码的溯源分析. 鉴于此，本文认为未来工作可以着眼于模块内的缺陷根源分析，通过充分理解事故场景的语义信息，结合模块内代码执行的控制流与数据流信息，实现更细粒度的缺陷定位.
6. 总 结
面向无人驾驶系统的仿真模糊测试技术旨在将传统的模糊测试技术与仿真测试技术结合，自动地挖掘与分析易导致交通事故的无人驾驶系统缺陷. 然而，该研究领域仍处于起步阶段，现有工作仍然存在较大缺陷，制约了其安全应用. 鉴于此，本文首先尝试构建仿真模糊测试的框架，其包含种子场景生成、事故挖掘、事故分类和事故归因分析四大关键模块. 随后，本文系统性地分析了现有工作在实现四大模块时的不足之处. 最终，本文尝试提出可行的解决思路，并将这些思路直接用于主流开源无人驾驶系统的安全测评，以体现其可行性和优越性. 结合实际的安全测评结果，本文进一步指出该领域未来可能的发展方向，为后续的研究工作提供可靠的指导意见.
作者贡献声明：戴嘉润负责论文的框架设计、实验设计以及论文撰写；李忠睿负责论文初稿撰写、图表绘制和实验数据统计；张琬琪参与了论文的修改润色；张源与杨珉关于论文选题和写作提供了指导性建议.
-
表 1 小样本学习方法优缺点对比
Table 1 Comparison of Advantages and Disadvantages of Few-Shot Learning Methods
分类体系 优点 缺点 基于模型微调的方法 方法简单，仅需要设计模型参数；
调整模块，而无需考虑模型构建.当目标数据集与源数据集分布相差较大时，
将导致模型在目标数据集上过拟合.基于数据增强的方法 一定程度地缓解了模型过拟合问题，
通常专注于对数据属性的增强，
更高效地利用现有数据，
避免对模型的优化与调整.可能会产生噪声数据或噪声特征，
难以达到最佳效果.基于迁移学习的方法 基于度量学习的方法 思想易于理解，可解释性较强，
便于计算和公式化，可扩展性强，
能够和其他FSL方法结合.在样本量较少的情况下，简单地通过
距离度量的方法使得最终效果不佳.基于元学习的方法 受到人类学习的启发，使模型具备学习的
能力，能够学习到除训练之外的知识，并利用
已有知识，指导模型更快地适应新任务.
可解释性强，能够更准确地度量样本间关系.模型复杂度较高、训练时间较长，
因此该类方法的时间成本与设备成本
较高，且模型效果仍有较大的提升空间.基于GNN的方法 GNN中节点分类的思想能够自然地应用于
小样本分类问题，且该类FSL方法性能较好.不可避免地存在节点过平滑的
问题，由于该方法较为新颖，其
需要改进和发展的方面还有很多.
下载: 导出CSV
表 2 符号说明
Table 2 Symbol Description
符号 描述 Dbase 训练集 Dnovel 测试集 mbase 训练集中样本数量 mnovel 测试集中样本数量 xi 样本i实例 yi 样本i实际标签 ¯yi 样本i预测标签 Cbase 用于构建训练任务的类集合 Cnovel 用于构建测试任务的类集合 N 每轮任务中类的数量 K 支持集中每一种类的样本数量 H 查询集中每一种类的样本数量 Ttrain 训练任务 Ttest 测试任务 θ 图神经网络参数 S 支持集 Q 查询集 L 损失函数 Y 样本标签矩阵 A 邻接矩阵 D 度矩阵 fi 样本i对应的特征向量 ni 样本i对应的节点表示 F 样本特征向量矩阵
下载: 导出CSV
表 3 数据集的统计与划分
Table 3 Statistics and Division of Datasets
数据集 类别数量 图像数量 训练数量/验证数量/测试数量 MiniimageNet 100 60000 64/16/20 TieredimageNet 608 779165 351/97/160 CUB-200-2011 200 11788 100/50/50 CIFAR-FS 100 60000 64/16/20 Stanford Cars 196 16185 130/17/49
下载: 导出CSV
表 4 基于GNN的小样本图像分类学习方法在2个数据集上的准确率
Table 4 Accuracy of GNN-Based Few-Shot Image Classification Learning Method on Two Datasets
% 方法 模型 主干 MiniimageNet TieredImageNet
1-shot
5-shot
1-shot
5-shot基于节点特征 GNN-FSL[43] Conv4 50.33 66.41 54.97 70.92 TPN[44] Conv4 55.51±0.86 69.86±0.65 57.53±0.96 72.86±0.74 AGNN[48] Conv4 54.81 69.85 57.47 72.29 AGNN*[48] Conv4 60.14 72.41 67.23 79.55 DMH-FSL[51] Conv4 51.18 67.86 文献[50] Conv4 61.99 78.81 57.89 73.62 基于边缘特征 EGNN[53] Conv4 52.86 66.85 70.98 EGNN*[53] Conv4 59.18 76.37 63.52 80.15 MDEGNN*[22] Conv4 62.23±0.73 78.83±0.67 MCGN[56] Conv4 57.89±0.87 73.58 ± 0.87 58.45 ± 0.59 74.58 ± 0.84 MCGN*[56] Conv4 67.32±0.43 83.03 ± 0.54 71.21 ± 0.85 85.98 ± 0.98 DPGN*[58] Conv4 66.01±0.36 82.83±0.41 69.43±0.49 85.92±0.42 MDGN[59] Conv4 69.22±0.46 85.35±0.72 Fuzzy GNN[62] Conv4 64.15±0.28 80.08±0.35 69.09±0.15 84.13±0.18 基于节点对特征 TPRN-T*[64] Conv4 57.84±0.51 78.57±0.44 59.26±0.50 79.66±0.45 TPRN-D*[65] Conv4 62.98±0.50 81.24±0.42 61.01±0.49 80.98±0.42 基于类级特征 Hybrid GNN[69] Conv4 55.63±0.22 72.48±0.16 56.05±0.21 72.82±0.18 Hierachical GNN[66] Conv4 60.03±0.51 79.64±0.36 64.32±0.49 83.34±0.45 文献[71] Conv4 71.82±0.88 83.04±0.51 77.67±0.27 87.98±1.01 ECKPN[67] Conv4 68.89±0.34 83.59±0.44 70.45±0.48 86.74±0.42 注：*表示转导学习设置下的模型.
下载: 导出CSV
表 5 基于GNN的小样本学习方法总结
Table 5 Summary of Few-Shot Learning Methods Based on GNN
方法 模型名称 应用 主要技术 优点 缺点 基于节点特征 GNN-FSL[43] 图像分类 GCN 1. 节点特征易获取、易利用.
2. 扩展性强，通过丰富GNN模型使节 点特征在图上进行高效的传播.
3. 易理解模型设计容易，可解释性强.1. 对节点之间相关性的探究不足.
2. 通常利用节点特征间的相似度构建邻接矩阵，易导致不适当的特征聚合.
3. 存在过拟合的风险.TPN[44] 图像分类 GCN 转导学习 AGNN[48] 图像分类 GCN 注意力机制 AMGNN[21] 疾病诊断 GCN 多模态融合 DMH-FSL[51] 图像分类 超图卷积 文献[50] 图像分类 GCN 幻觉网络 基于边缘特征 EGNN[53] 图像分类 GCN 1. 在节点特征的基础上考虑到对节点间的关系进行深入挖掘.
2. 精心设计的边缘特征既可以控制节点信息聚合的程度也可以建模节点间丰富的关系，效果提升明显.
3. 设计过的边特征可以缓解图上的过拟合问题.1. 边缘特征的表示形式不够丰富.
2. 缺乏明确的初始边缘特征建模标准.
3. 设计合适的边缘特征更新网络较为困难. 算法复杂度较高.文献[54] 图像分类 GCN MDEGNN[55] 图像分类 GCN HOSP-GNN[80] 图像分类 GCN 高阶关系 MCGN[56] 图像分类 GCN 混合高斯分布 DPGN[58] 图像分类 GCN 分布图 DPGNN[60] 视频分类 GCN 图池化 Fuzzy-GNN[62] 图像分类 GCN 模糊数学 基于节点对特征 Frog-GNN[17] 文本分类 GCN 1. 对节点关系进行显示建模，由此丰富了关系的表现形式.
2. 直接将关系在图上进行传播，能够学习到节点间的深入的关系.
3. 能够充分挖掘样本间相关性.1. 关系节点的构建方法复杂.
2. 多种形式的信息在图上传播可能导致节点间过平滑.
3. 可解释性较差.
4. 算法复杂度较高.
5. 模型扩展性较差.TPRN-T[64] 图像分类 GCN TPRN-D[65] 图像分类 GCN 解耦学习 基于类级特征 Hierachical GNN[66] 图像分类 GCN 图池化 1. 结合类级知识能够为查询样本匹
配更高可信度的类级知识，对于5-shot的分类任务这类方法平均性能
提升明显.
2. 模型扩展性较强，改进方式较多.1. 对于1-shot的分类任务，类级知识对模型性能的提升相当于失效. ECKPN[67] 图像分类 GCN 图池化
多模态NSCGNN[19] 文本分类 GCN 胶囊网络
动态路由算法Hybrid GNN[69] 图像分类 GCN 原型网络 EGNN-prot[18] 图像分类 GCN 原型网络 文献[71] 图像分类 GCN 分布校准最优
传输（OPT）
下载: 导出CSV
-
[1] 葛轶洲,刘恒,王言,等. 小样本困境下的深度学习图像识别综述[J]. 软件学报,2022,33(1):193−210 doi: 10.13328/j.cnki.jos.006342 Ge Yizhou, Liu Heng, Wang Yan, et al. Survey on deep learning image recognition in dilemma of small samples[J]. Journal of Software, 2022, 33(1): 193−210 (in Chinese) doi: 10.13328/j.cnki.jos.006342
[2] 李凡长,刘洋,吴鹏翔,等. 元学习研究综述[J]. 计算机学报,2021,44(2):422−446 doi: 10.11897/SP.J.1016.2021.00422 Li Fanchang, Liu Yang, Wu Pengxiang, et al. A survey on recent advance in meta-learning[J]. Chinese Journal of Computers, 2021, 44(2): 422−446 (in Chinese) doi: 10.11897/SP.J.1016.2021.00422
[3] Sun Qianru, Liu Yaoyao, Chua T, et al. Meta-transfer learning for few-shot learning [C] //Proc of the 32nd IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 403−412
[4] Wang Peng, Liu Lingqiao, Shen Chunhua, et al. Multi-attention network for one shot learning [C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 2721−2729
[5] Khodadadeh S, Boloni L, Shan M. Unsupervised meta-learning for few-shot image classification [C] //Proc of the 33rd Annual Conf on Neural Information-Processing Systems. Cambrige, MA: MIT, 2019: 10132−10142
[6] 赵凯琳,靳小龙,王元卓. 小样本学习研究综述[J]. 软件学报,2021,32(2):349−369 doi: 10.13328/j.cnki.jos.006138 Zhao Kailin, Jin Xiaolong, Wang Yuanzhuo. Survey on few-shot learning[J]. Journal of Software, 2021, 32(2): 349−369 (in Chinese) doi: 10.13328/j.cnki.jos.006138
[7] Howard J, Ruder S. Universal language model fine-tuning for text classification[J]. arXiv preprint, arXiv: 1801. 06146, 2018
[8] Royle J, Dorazio R, Link W. Analysis of multinomial models with unknown index using data augmentation[J]. Journal of Computational and Graphical Statistics, 2007, 16(1): 67−85 doi: 10.1198/106186007X181425
[9] Liu Zicheng, Li Siyuan, Wu Di, et al. AutoMix: Unveiling the power of mixup for stronger classifiers [C] //Proc of the 17th European Conf on Computer Vision. Berlin: Springer, 2022: 441−458
[10] Kipf T, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint, arXiv: 1609. 02907, 2016
[11] Blaes S, Burwick T. Few-shot learning in deep networks through global prototyping[J]. Neural Networks, 2017, 94: 159−172 doi: 10.1016/j.neunet.2017.07.001
[12] Rahman S, Khan S, Porikli F. A unified approach for conventional zero-shot, generalized zero-shot, and few-shot learning[J]. IEEE Transactions on Image Processing, 2018, 27((11): ): 5652−5267 doi: 10.1109/TIP.2018.2861573
[13] Cheng Yu, Yu Mo, Guo Xiaoxiao, et al. Few-shot learning with meta metric learners[J]. arXiv preprint, arXiv: 1901. 09890, 2019
[14] 马帅,刘建伟,左信. 图神经网络综述[J]. 计算机研究与发展,2022,59(1):47−80 Ma Shuai, Liu Jianwei, Zuo Xin. Survey of graph neural networks[J]. Journal of Computer Research and Development, 2022, 59(1): 47−80 (in Chinese)
[15] 谢小杰,梁英,王梓森,等. 基于图卷积的异质网络节点分类方法[J]. 计算机研究与发展,2022,59(7):1470−1485 Xie Xiaojie, Liang Ying, Wang Zisen, et al. Node classification method for heterogeneous networks based on graph convolution[J]. Journal of Computer Research and Development, 2022, 59(7): 1470−1485 (in Chinese)
[16] 任嘉睿,张海燕,朱梦涵,等. 基于元图卷积的异质网络嵌入学习算法[J]. 计算机研究与发展,2022,59(8):1683−1693 Ren Jiarui, Zhang Haiyan, Zhu Menghan, et al. Embedding learning algorithm for heterogeneous networks based on metagram convolution[J]. Journal of Computer Research and Development, 2022, 59(8): 1683−1693 (in Chinese)
[17] Xu Shiyao, Xiang Yang. Frog-GNN: Multi-perspective aggregation based graph neural network for few-shot text classification[J]. Expert Systems with Applications, 2021, 176: 114795 doi: 10.1016/j.eswa.2021.114795
[18] Lyu Chen, Liu Weijie, Wang Ping. Few-shot text classification with edge-labeling graph neural network-based prototypical network [C] //Proc of the 28th Int Conf on Computational Linguistics. Stroudsburg, PA: ACL, 2020: 5547−552
[19] Ding Ling, Chen Xiaojun, Xiang Yang. Negative-supervised capsule graph neural network for few-shot text classification[J]. Journal of Intelligent & Fuzzy Systems, 2021, 41(6): 6875−6887
[20] Zhang Yuxiang, Li Wei, Zhang Mengmeng, et al. Dual graph cross-domain few-shot learning for hyperspectral image classification [C] //Proc of the 47th IEEE Int Conf on Acoustics Speech and Signal Processing. Piscataway, NJ: IEEE, 2022: 3573−3577
[21] Song Xiaofa, Mao Mingyi, Qian Xiaohua. Auto-metric graph neural network based on a meta-learning strategy for the diagnosis of Alzheimer’s disease[J]. IEEE Journal of Biomedical and Health Informatics, 2021, 25(8): 3141−3152 doi: 10.1109/JBHI.2021.3053568
[22] Xiong chao, Li wen, Wang Minghui, et al. Multi-dimensional edge features graph neural network on few-shot image classification[J]. IEEE Signal Processing Letters, 2021, 28: 573−577 doi: 10.1016/j.ymeth.2021.10.005
[23] 刘颖,雷研博,范九伦,等. 基于小样本学习的图像分类技术综述[J]. 自动化学报,2021,47(2):297−315 doi: 10.16383/j.aas.c190720 Liu Ying, Lei Yanbo, Fan Jiulun, et al. Survey on image classification technology based on small sample learning[J]. Acta Automatica Sinica, 2021, 47(2): 297−315 (in Chinese) doi: 10.16383/j.aas.c190720
[24] 徐冰冰,岑科廷,黄俊杰,等. 图卷积神经网络综述[J]. 计算机学报,2020,43(5):755−780 Xu Bingbing, Cen Keting, Huang Junjie, et al. A survey on graph convolutional neural networks[J]. Chinese Journal of Computers, 2020, 43(5): 755−780 (in Chinese)
[25] Nakamura A, Harada T. Revisiting fine-tuning for few-shot learning[J]. arXiv preprint, arXiv: 1910. 00216, 2019
[26] Dhillon G S, Ghaudhari P, Ravichandran A, et al. A baseline for few-shot image classification [C/OL] //Proc of the 8th Int Conf on Learning Representation. Amsterdam: Elsevier, 2020 [2023-03-26].https://openreview.net/forum?id=rylXBkrYDS
[27] Wang Y, Girshick R, Hebert M, et al. Low-shot learning from imaginary data [C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 7278−7286
[28] Liu Bo, Wang Xudong, Dixit M, et al. Feature space transfer for data augmentation [C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 9090−9098
[29] Jing Kunlei, Zhang Xinman, Yang Zhiyuan, et al. Feature augmentation learning for few-shot palmprint image recognition with unconstrained acquisition [C] //Proc of the 47th IEEE Int Conf on Acoustics Speech and Signal Processing. Piscataway, NJ: IEEE, 2022: 3323−3327
[30] 蒋留兵,周小龙,姜风伟,等. 基于改进匹配网络的单样本学习[J]. 系统工程与电子技术,2019,41(6):1210−1217 doi: 10.3969/j.issn.1001506X.2019.06.06 Jiang Liubing, Zhou Xiaolong, Jiang Fengwei, et al. One-shot learning based on improved matching network[J]. Systems Engineering and Electronics, 2019, 41(6): 1210−1217 (in Chinese) doi: 10.3969/j.issn.1001506X.2019.06.06
[31] Snell J, Swersky K, Zemel R. Prototypical networks for few-shot learning [C] //Proc of the 31st Annual Conf on Neural InformationProcessing Systems. Cambrige, MA: MIT, 2017: 4077−4087
[32] Li Wenbin, Xu Jinglin, Huo Jing, et al. Distribution consistency based covariance metric networks for few-shot learning [C] //Proc of the 33rd AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 8642−8649
[33] Jiang Wen, Huang Kai, Geng Jie, et al. Multi-scale metric learning for few-shot learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 31(3): 1091−1102
[34] Tian Yingjie, Zhao Xiaoxi, Huang Wei. Meta-learning approaches for learning-to-learn in deep learning: A survey [J]. Neurocomputing, 2022, 494: 203−223 Tian Yingjie,Zhao Xiaoxi,Huang Wei. Meta-learning approaches for learning-to-learn in deep learning:A survey [J]. Neurocomputing,2022,494:203−223
[35] 李维刚,甘平,谢璐,等. 基于样本对元学习的小样本图像分类方法[J]. 电子学报,2022,50(2):295−304 doi: 10.12263/DZXB.20210453 Li Weigang, Gan Ping, Xie Lu, et al. A few-shot image classification method by pairwise-based meta learning[J]. Acta Electronica Sinica, 2022, 50(2): 295−304 (in Chinese) doi: 10.12263/DZXB.20210453
[36] Ravi S, Larochelle H. Optimization as a model for few-shot learning [C/OL] //Proc of the 4th Int Conf on Learning Representation. Amsterdam: Elsevier, 2016 [2023-03-26].https://openreview.net/pdf?id=rJY0-Kcll
[37] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks [C] //Proc of the 34th ACM Int Conf on Machine Learning. New York: ACM, 2017: 1126−1135
[38] Li Zhenguo, Zhuo Fengwei, Chen Fei, et al. Meta-SGD: Learning to learn quickly for few-shot learning[J]. arXiv preprint, arXiv: 1707. 09835, 2017
[39] Vinyals O, Blundell C, Lilicrap T, et al. Matching networks for one shot learning [C] //Proc of the 30th Annual Conf on Neural Information Processing Systems. Cambrige, MA: MIT, 2016: 3630−3638
[40] Santoro A, Bartunov S, Botvinick M, et al. Meta-learning with memory-augmented neural networks [C] //Proc of the 33rd ACM Int Conf on Machine Learning. New York: ACM, 2016: 1842−1850
[41] Brendel W, Bethge M. Approximating CNNs with bag-of-local-features models works surprisingly well on ImageNet [C/OL] //Proc of the 7th Int Conf on Learning Representation. Amsterdam: Elsevier, 2019 [2023-03-26].https://openreview.net/forum?id=rJY0-Kcll
[42] Lai K, Zha Daochen, Zhou Kaixiong, et al. Policy-GNN: Aggregation optimization for graph neural networks [C] //Proc of the 26th ACM SIGKDD Conf on Knowledge Discovery and Data Mining. New York: ACM, 2020: 461−471
[43] Garcia V, Bruna J. Few-shot learning with graph neural networks [C/OL] //Proc of the 6th Int Conf on Learning Representation. Amsterdam: Elsevier, 2018 [2023-03-26].https://openreview.net/pdf ?id=BJj6qGbRW
[44] Liu Yanbin, Lee J, Park M, et al. Learning to propagate labels: Transductive propagation network for few-shot learning [C/OL] //Proc of the 7th Int Conf on Learning Representation. Amsterdam: Elsevier, 2019 [2023-03-26].https://openreview.net/pdf?id=SyVuRiC5K7
[45] Qiao Limeng, Shi Yemin, Li Jia, et al. Transductive episodic-wise adaptive metric for few-shot learning [C] //Proc of the 11th IEEE Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 3602−3611
[46] Angluin D, Smith C. Inductive inference: Theory and methods[J]. ACM Computing Surveys, 1983, 15(3): 237−269 doi: 10.1145/356914.356918
[47] Chen Jinyin, Lin Xiang, Xiong Hui, et al. Smoothing adversarial training for GNN[J]. IEEE Transactions on Computational Social Systems, 2020, 8(3): 618−629
[48] Cheng Hao, Zhou J, Tay W, et al. Attentive graph neural networks for few-shot learning [C] //Proc of the 5th IEEE Int Conf on Multimedia Information Processing and Retrieval. Piscataway, NJ: IEEE, 2022: 152−157
[49] Velickovic P, Cucurull G, Casanova A, et al. Graph attention networks[J]. arXiv preprint, arXiv: 1710. 10903, 2017
[50] Zhang Xu, Zhang Youjia, Zhang Zuyu, et al. Discriminative learning of imaginary data for few-shot classification [J]. Neurocomputing, 2022, 467: 406−417 Zhang Xu,Zhang Youjia,Zhang Zuyu,et al. Discriminative learning of imaginary data for few-shot classification [J]. Neurocomputing,2022,467:406−417
[51] Xu Rui, Liu Baodi, Lu Xiaoping, et al. DMH-FSL: Dual-modal hypergraph for few-shot learning[J]. Neural Processing Letters, 2022, 54(2): 1317−1332 doi: 10.1007/s11063-021-10684-7
[52] Yadati N, Nimishakavi M, Yadav P, et al. HyperGCN: A new method for training graph convolutional networks on hypergraphs [C] //Proc of the 33rd Annual Conf on Neural Information Processing Systems. Cambrige, MA: MIT, 2019: 1509−1520
[53] Kim J, Kim T, Kim S, et al. Edge-labeling graph neural network for few-shot learning [C] //Proc of the 32nd IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 11−20
[54] Zuo Xibing, Yu Xuchun, Liu Bing, et al. FSL-EGNN: Edge-labeling graph neural network for hyperspectral image few-shot classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1−18
[55] Xiong Chao, Li Wen, Liu Yun, et al. Multi-dimensional edge features graph neural network on few-shot image classification[J]. IEEE Signal Processing Letters, 2021, 28: 573−577 doi: 10.1109/LSP.2021.3061978
[56] Tang Shixiang, Chen Dapeng, Bai Lei, et al. Mutual CRF-GNN for few-shot learning [C] //Proc of the 34th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 2329−2339
[57] Bale T, Vale W. CRF and CRF receptors: Role in stress responsivity and other behaviors [J]. Annual Review of Pharmacology and Toxicology, 2004, 44: 525−557 Bale T,Vale W. CRF and CRF receptors:Role in stress responsivity and other behaviors [J]. Annual Review of Pharmacology and Toxicology,2004,44:525−557
[58] Yang Lin, Li Liangliang, Zhang Zilun, et al. DPGNN: Distribution propagation graph network for few-shot learning [C] //Proc of the 33rd IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 13387−13396
[59] Zhang Bailin, Ling Hefei, Shen Jialie, et al. Mixture distribution graph network for few shot learning[J]. IEEE Transactions on Cognitive and Developmental Systems, 2022, 14(3): 892−901 doi: 10.1109/TCDS.2021.3075280
[60] Hu Yufan, Gao Junyu, Xu Changsheng. Learning dual-pooling graph neural networks for few-shot video classification[J]. IEEE Transactions on Multimedia, 2020, 23: 4285−4296
[61] Mordeson J. Fuzzy mathematics [M]. Foundations of Image Understanding. Berlin: Springer, 2001: 95−125
[62] Wei Tong, Hou Junlin, Feng Rui. Fuzzy graph neural network for few-shot learning [C/OL] //Proc of the 30th IEEE Int Joint Conf on Neural Networks. Piscataway, NJ: IEEE, 2020 [2023-03-26].https://openreview.net/pdf?id=BJj6qGbRW
[63] Devlin J, Chang M, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding [C] //Proc of the 17th Annual Conf of the North American chapter of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2019: 4171−4186
[64] Ma Yuqing, Bai Shihao, An Shan, et al. Transductive relation-propagation network for few-shot Learning [C] //Proc of the 29th Int Joint Conf on Artificial Intelligence. San Francisco, CA: Morgan Kaufmann, 2020: 804−810
[65] Ma Yuqing, Bai Shihao, Liu Wei, et al. Transductive relation-propagation with decoupling training for few-shot learning[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(11): 6652−6664 doi: 10.1109/TNNLS.2021.3082928
[66] Chen Cen, Li Kenli, Wei Wei, et al. Hierarchical graph neural networks for few-shot learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(1): 240−252
[67] Chen Chaofan, Yang Xiaoshan, Xu Changsheng, et al. ECKPN: Explicit class knowledge propagation network for transductive few-shot learning [C] //Proc of the 34th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 6596−6605
[68] Pennington J, Socher R, Manning C. Glove: Global vectors for word representation [C] //Proc of the 28th Int Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2014: 1532−1543
[69] Yu Tianyuan, He Sen, Song Yizhe, et al. Hybrid graph neural networks for few-shot learning [C] //Proc of the 36th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2022: 3179−3187
[70] Deng Fei, Pu Shengliang, Chen Xuehong, et al. Hyperspectral image classification with capsule network using limited training samples[J]. Sensors, 2018, 18(9): 3153−3174 doi: 10.3390/s18093153
[71] Zhang Ruiheng, Yang Shuo, Zhang Qi, et al. Graph-based few-shot learning with transformed feature propagation and optimal class allocation[J]. Neurocomputing, 2022, 470: 247−256 doi: 10.1016/j.neucom.2021.10.110
[72] Tantawi A, Towsley G, Wolf J. Optimal allocation of multiple class resources in computer systems [C] //Proc of the 16th ACM SIGMETRICS Conf on Measurement and Modeling of Computer Systems. New York: ACM, 1988: 253−260
[73] Cuturi M. Sinkhorn distances: Lightspeed computation of optimal transport [C] //Proc of the 27th Annual Conf on Neural Information Processing Systems. Cambrige, MA: MIT, 2013: 2292−2300
[74] Malalur P, Jaakkola T. Alignment based matching networks for one-shot classification and open-set recognition[J]. arXiv preprint, arXiv: 1903. 06538, 2019
[75] Ren M, Triantafillou E, Ravi S, et al. Meta-learning for semi-supervised few-shot classification [C/OL]//Proc of the 6th Int Conf on Learning Representation. Amsterdam: Elsevier, 2018 [2023-03-26].https://openreview.net/pdf?id=HJcSzz-CZ
[76] Cui Yin , Zhou Feng, Lin Yuanqing, et al. Fine-grained categorization and dataset bootstrapping using deep metric learning with humans in the loop [C] //Proc of the 29th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 1153−1162
[77] Singla S, Singla S, Feizi S. Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100 [C/OL] //Proc of the 10th Int Conf on Learning Representation. Amsterdam: Elsevier, 2022 [2023-03-26].https://openreview.net/forum?id=tD7eCtaSkR
[78] Deng J, Dong W, Socher R, et al. ImageNet: A large-scale hierarchical image database [C] //Proc of the 22nd IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2009: 248−255
[79] He Kaiming, Zhang Xianyu, Ren Shaoqing, et al. Deep residual learning for image recognition [C] //Proc of the 29th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 770−778
[80] Lin Guangfeng, Yang Ying, Fan Yindi, et al. High-order structure preserving graph neural network for few-shot learning[J]. arXiv preprint, arXiv: 2005. 14415, 2020
[81] Wang Yaqing, Yao Quanming, Kwok J, et al. Generalizing from a few examples: A survey on few-shot learning[J]. ACM Computing Surveys, 2020, 53(3): 1−34
[82] Bendre N, Marin H, Najafirad P. Learning from few samples: A survey[J]. arXiv preprint, arXiv: 2007. 15484, 2020
[83] Li Na, Zhou Deyun, Shi Jiao, et al. Graph-based deep multitask few-shot learning for hyperspectral image classification[J]. Remote Sensing, 2022, 14(9): 2246−2267 doi: 10.3390/rs14092246
[84] Tong Xinyi, Yin Jihao, Han Bingnan, et al. Few-shot learning with attention-weighted graph convolutional networks for hyperspectral image classification [C] //Proc of the 27th IEEE Int Conf on Image Processing. Piscataway, NJ: IEEE, 2020: 1686−1690
[85] Hong Danfeng, Gao Lianru, Yao Jing, et al. Graph convolutional networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(7): 5966−5978 doi: 10.1109/TGRS.2020.3015157
[86] Xiao Weiwei, Song Kechen, Liu Jie, et al. Graph embedding and optimal transport for few-shot classification of metal surface defect[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1−10
[87] Bao Yanqi, Song Kechen, Liu Jie, et al. Triplet-graph reasoning network for few-shot metal generic surface defect segmentation[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1−11
[88] Li Feimo, Li Shuaibo, Fan Xinxin, et al. Structural attention enhanced continual meta-learning for graph edge labeling based few-shot remote sensing scene classification[J]. Remote Sensing, 2022, 14(3): 485−515 doi: 10.3390/rs14030485
[89] Yuan Zhengwu, Huang Wendong, Tang Chan, et al. Graph-based embedding smoothing network for few-shot scene classification of remote sensing images[J]. Remote Sensing, 2022, 14(5): 1161−1179 doi: 10.3390/rs14051161
[90] Guo Xinyu, Tian Bingjie, Tian Xuedong. HFGNN-proto: Hesitant fuzzy graph neural network-based prototypical network for few-shot text classification[J]. Electronics, 2022, 11(15): 2423−2437 doi: 10.3390/electronics11152423
[91] Ma Ning, Bu Jiajun, Yang Jieyu, et al. Adaptive-step graph meta-learner for few-shot graph classification [C] //Proc of the 29th ACM Int Conf on Information & Knowledge Management. New York: ACM, 2020: 1055−1064
[92] Hospedales T, Antoniou A, Micaelli P, et al. Meta-learning in neural networks: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(9): 5149−5169
[93] Pan Jiacheng, Lin Haocai, Dong Yihong, et al. MAMF-GCN: Multi-scale adaptive multi-channel fusion deep graph convolutional network for predicting mental disorder[J]. Computers in Biology and Medicine, 2022, 148: 105823 doi: 10.1016/j.compbiomed.2022.105823
[94] Wei Yinwei, Wang Xiang, Nie Liqiang, et al. MMGCN: Multi-modal graph convolution network for personalized recommendation of micro-video [C] //Proc of the 27th ACM Int Conf on Multimedia. New York: ACM, 2019: 1437−144
[95] Tao Zhulin, Wei Yinwei, Wang Xiang, et al. MGAT: Multimodal graph attention network for recommendation[J]. Information Processing & Management, 2020, 57(5): 102277
[96] Hsu K, Levine S, Finn C. Unsupervised learning via meta-learning [C/OL] //Proc of the 7th Int Conf on Learning Representation. Amsterdam: Elsevier, 2018 [2023-03-26].https://openreview.net/forum?id=r1My6sR9tX
[97] Antoniou A, Storkey A. Assume, augment and learn: Unsupervised few-shot meta-learning via random labels and data augmentation[J]. arXiv preprint, arXiv: 1902. 09884, 2019
[98] Veeriah V, Hessel M, Xu Zhongwen, et al. Discovery of useful questions as auxiliary tasks [C] // Proc of the 33rd Annual Conf on Neural Information Processing Systems. Cambrige, MA: MIT, 2019: 9306−9317
[99] Zheng Zeyu, Oh J, Singh S. On learning intrinsic rewards for policy gradient methods [C] // Proc of the 32nd Annual Conf on Neural Information Processing Systems. Cambrige, MA: MIT, 2018: 4649−4659
[100] Meier F, Kappler D, Schaal S. Online learning of a memory for learning rates [C] //Proc of the 4th IEEE Int Conf on Robotics and Automation. Piscataway, NJ: IEEE, 2018: 2425−2432
[101] Tseng H, Lee H, Huang Jiabin, et al. Cross-domain few-shot classification via learned feature-wise transformation [C/OL] //Proc of the 9th Int Conf on Learning Representation. Amsterdam: Elsevier, 2020 [2023-03-26].https://openreview.net/forum?id=SJl5Np4tPr
[102] Yun S, Jeong M, Kim R, et al. Graph transformer networks [C] // Proc of the 33rd Annual Conf on Neural Information Processing Systems. Cambrige, MA: MIT, 2019: 11960−11970
[103] Jiang Bo, Zhao Kangkang, Tang jin, et al. RGTransformer: Region-graph transformer for image representation and few-shot classification[J]. IEEE Signal Processing Letters, 2022, 29: 792−796 doi: 10.1109/LSP.2022.3155991
-
期刊类型引用(1)
1. 李喜龙. 基于人工智能技术的无人驾驶虚拟仿真测试平台设计. 自动化与仪表. 2024(01): 89-92+97 . 
百度学术
其他类型引用(3)
计量
- 文章访问数: 1044
- HTML全文浏览量: 139
- PDF下载量: 424
- 被引次数: 4
