Cross-Domain Adversarial Learning for Zero-Shot Classification
-
摘要: 零样本学习旨在识别具有少量、甚至没有训练样本的未见类,这些类与可见类遵循不同的数据分布.最近,随着深度神经网络在跨模态生成方面的成功,使用合成的样本对未见数据进行分类取得了巨大突破.现有方法通过共享生成器和解码器,联合传统生成对抗网络和变分自编码器来实现样本的合成.然而,由于这2种生成网络产生的数据分布不同,联合模型合成的数据遵循复杂的多域分布.针对这个问题,提出跨域对抗生成网络(CrossD-AGN),将传统生成对抗网络和变分自编码器有机结合起来,基于类级语义信息为未见类合成样本,从而实现零样本分类.提出跨域对抗学习机制,引入2个对称的跨域判别器,通过判断合成样本属于生成器域分布还是解码器域分布,促使联合模型中的生成器/解码器不断优化,提高样本合成能力.在多个真实数据集上进行了广泛的实验,结果表明了所提出方法在零样本学习上的有效性和优越性.Abstract: Zero-shot learning (ZSL) aims to recognize novel categories, which have few or even no sample for training and follow a different distribution from seen classes. With the recent advances of deep neural networks on cross-modal generation, encouraging breakthroughs have been achieved on classifying unseen categories with their synthetic samples. Extant methods synthesize unseen samples with the combination of generative adversarial nets (GANs) and variational auto-encoder (VAE) by sharing the generator and the decoder. However, due to the different data distributions produced by these two kinds of generative models, fake samples synthesized by the joint model follow the complex multi-domain distribution instead of satisfying a single model distribution. To address this issue, in this paper we propose a cross-domain adversarial generative network (CrossD-AGN) to integrate the traditional GANs and VAE into a unified framework, which is able to generate unseen samples based on the class-level semantics for zero-shot classification. We propose two symmetric cross-domain discriminators along with the cross-domain adversarial learning mechanism to learn to determine whether a synthetic sample is from the generator-domain or the decoder-domain distribution, so as to drive the generator/decoder of the joint model to improve its capacity of synthesizing fake samples. Extensive experimental results over several real-world datasets demonstrate the effectiveness and superiority of the proposed model on zero-shot visual classification.
-
-
期刊类型引用(20)
1. 徐宁,李静秋,王岚君,刘安安. 时序特性引导下的谣言事件检测方法评测. 南京大学学报(自然科学). 2025(01): 71-82 . 百度学术
2. 张元园,袁嘉霁. 基于社交媒体的谣言检测研究综述. 数据通信. 2024(01): 28-33 . 百度学术
3. 廖劲智,赵和伟,连小童,纪文亮,石海明,赵翔. 基于对比图学习的跨文档虚假信息检测. 计算机科学. 2024(03): 14-19 . 百度学术
4. 凤丽洲,刘馥榕,王友卫. 基于图卷积网络和注意力机制的谣言检测方法. 数据分析与知识发现. 2024(04): 125-136 . 百度学术
5. 王晰巍,孙哲,姜奕冰,李玥琪. 社交媒体网络辟谣回音室效应分析模型及实验研究. 现代情报. 2024(10): 3-17 . 百度学术
6. 朱奕,王根生,金文文,黄学坚,李胜. 基于文本语义增强和评论立场加权的网络谣言检测. 计算机科学与探索. 2024(12): 3311-3323 . 百度学术
7. 甘臣权,付祥,冯庆东,祝清意. 基于公共情感特征压缩与融合的轻量级图文情感分析模型. 计算机研究与发展. 2023(05): 1099-1110 . 本站查看
8. 聂大成,汪明达,刘世钰,杨慧,张翔,邱鸿杰. 在线社会网络虚假信息检测关键技术研究综述. 通信技术. 2023(04): 391-399 . 百度学术
9. 李卓远,李军. 基于对比学习的多模态注意力网络虚假信息检测方法. 中国科技论文. 2023(11): 1192-1197 . 百度学术
10. 强子珊,顾益军. 基于多模态异质图的社交媒体谣言检测模型. 数据分析与知识发现. 2023(11): 68-78 . 百度学术
11. 陈志毅,隋杰. 基于DeepFM和卷积神经网络的集成式多模态谣言检测方法. 计算机科学. 2022(01): 101-107 . 百度学术
12. 陆恒杨,范晨悠,吴小俊. 面向网络社交媒体的少样本新冠谣言检测. 中文信息学报. 2022(01): 135-144+172 . 百度学术
13. 唐樾,马静. 基于增强对抗网络和多模态融合的谣言检测方法. 情报科学. 2022(06): 108-114+131 . 百度学术
14. 王壮,隋杰. 基于多级融合的多模态谣言检测模型. 计算机工程与设计. 2022(06): 1756-1761 . 百度学术
15. 吴诗苑,董庆兴,宋志君,张斌. 社交媒体中错误信息的检测方法研究述评. 情报学报. 2022(06): 651-661 . 百度学术
16. 范伟,刘勇. 基于时空Transformer的社交网络信息传播预测. 计算机研究与发展. 2022(08): 1757-1769 . 本站查看
17. 姜梦函,李邵梅,吴子仪,张建朋. 多模态特征融合的中文谣言检测. 信息工程大学学报. 2022(04): 485-490 . 百度学术
18. 孟佳娜,王晓培,李婷,刘爽,赵迪. 基于对抗神经网络的跨模态谣言检测. 数据分析与知识发现. 2022(12): 32-42 . 百度学术
19. 徐铭达,张子柯,许小可. 基于模体度的社交网络虚假信息传播机制研究. 计算机研究与发展. 2021(07): 1425-1435 . 本站查看
20. 胡斗,卫玲蔚,周薇,淮晓永,韩冀中,虎嵩林. 一种基于多关系传播树的谣言检测方法. 计算机研究与发展. 2021(07): 1395-1411 . 本站查看
其他类型引用(32)
计量
- 文章访问数: 1425
- HTML全文浏览量: 3
- PDF下载量: 670
- 被引次数: 52