基于跨域对抗学习的零样本分类

刘欢; 郑庆华; 罗敏楠; 赵洪科; 肖阳; 吕彦章

doi:10.7544/issn1000-1239.2019.20190614

基于跨域对抗学习的零样本分类

¹(西安交通大学计算机科学与技术学院西安 710049)
²(天津大学管理与经济学部天津 300072)
³(综合业务网国家重点实验室(西安电子科技大学) 西安 710071) (huanliucs@gmail.com)

基金项目: 国家重点研发计划项目2018YFB1004500)；国家自然科学基金面上项目(61572399)；国家自然科学基金创新群体(61721002)；教育部创新团队(IRT_17R86)

详细信息

中图分类号: TP391
计量
- 文章访问数: 1428
- HTML全文浏览量: 3
- PDF下载量: 671
出版历程
- 发布日期: 2019-11-30

Cross-Domain Adversarial Learning for Zero-Shot Classification

¹(School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an 710049)
²(College of Management and Economics, Tianjin University, Tianjin 300072)
³(State Key Laboratory of Integrated Services Networks (Xidian University), Xi’an 710071)

摘要

摘要: 零样本学习旨在识别具有少量、甚至没有训练样本的未见类，这些类与可见类遵循不同的数据分布.最近，随着深度神经网络在跨模态生成方面的成功，使用合成的样本对未见数据进行分类取得了巨大突破.现有方法通过共享生成器和解码器，联合传统生成对抗网络和变分自编码器来实现样本的合成.然而，由于这2种生成网络产生的数据分布不同，联合模型合成的数据遵循复杂的多域分布.针对这个问题，提出跨域对抗生成网络(CrossD-AGN)，将传统生成对抗网络和变分自编码器有机结合起来，基于类级语义信息为未见类合成样本，从而实现零样本分类.提出跨域对抗学习机制，引入2个对称的跨域判别器，通过判断合成样本属于生成器域分布还是解码器域分布，促使联合模型中的生成器/解码器不断优化，提高样本合成能力.在多个真实数据集上进行了广泛的实验，结果表明了所提出方法在零样本学习上的有效性和优越性.
- 零样本学习 /
- 生成模型 /
- 跨模态生成 /
- 跨域对抗学习 /
- 联合模型
Abstract: Zero-shot learning (ZSL) aims to recognize novel categories, which have few or even no sample for training and follow a different distribution from seen classes. With the recent advances of deep neural networks on cross-modal generation, encouraging breakthroughs have been achieved on classifying unseen categories with their synthetic samples. Extant methods synthesize unseen samples with the combination of generative adversarial nets (GANs) and variational auto-encoder (VAE) by sharing the generator and the decoder. However, due to the different data distributions produced by these two kinds of generative models, fake samples synthesized by the joint model follow the complex multi-domain distribution instead of satisfying a single model distribution. To address this issue, in this paper we propose a cross-domain adversarial generative network (CrossD-AGN) to integrate the traditional GANs and VAE into a unified framework, which is able to generate unseen samples based on the class-level semantics for zero-shot classification. We propose two symmetric cross-domain discriminators along with the cross-domain adversarial learning mechanism to learn to determine whether a synthetic sample is from the generator-domain or the decoder-domain distribution, so as to drive the generator/decoder of the joint model to improve its capacity of synthesizing fake samples. Extensive experimental results over several real-world datasets demonstrate the effectiveness and superiority of the proposed model on zero-shot visual classification.
- zero-shot learning /
- generative model /
- cross-modal generation /
- cross-domain adversarial learning /
- joint model

HTML全文

参考文献(0)

施引文献(29)

期刊类型引用(11)

1.	吴志远，董育宁，李涛. 基于置信度与级联结构的未知网络流量检测. 智能计算机与应用. 2024(03): 181-186 . 百度学术
2.	孙仁科，许靖昊，皇甫志宇，李仲年，许新征. 基于视觉-语言预训练模型的零样本迁移学习方法综述. 计算机工程. 2024(10): 1-15 . 百度学术
3.	童子滔，张治中，张涛，杜奕航. 基于零样本学习和自编码器的调制信号识别研究. 电子测量技术. 2024(14): 1-9 . 百度学术
4.	倪伟，王展旭，卞悦旭. 基于卷积神经网络的零样本细粒度特征识别. 信息技术. 2023(02): 86-90 . 百度学术
5.	李鑫，李哲民，魏居辉，杨雅婷，王红霞. 基于特征分离的跨域自适应学习模型. 计算机研究与发展. 2022(01): 105-117 . 本站查看
6.	张伟. 双向监督的生成式对抗网络实现零样本分类. 南京工程学院学报(自然科学版). 2022(03): 33-37 . 百度学术
7.	冯耀功，于剑，桑基韬，杨朋波. 基于知识的零样本视觉识别综述. 软件学报. 2021(02): 370-405 . 百度学术
8.	陈明瑶，徐琨，李晓旋. 基于风格迁移的手势分割方法. 计算机与现代化. 2021(05): 20-25+37 . 百度学术
9.	王泽深，杨云，向鸿鑫，柳青. 零样本学习综述. 计算机工程与应用. 2021(19): 1-17 . 百度学术
10.	贾霄，郭顺心，赵红. 基于图像属性的零样本分类方法综述. 南京大学学报(自然科学). 2021(04): 531-543 . 百度学术
11.	张玲玲，陈一苇，吴文俊，魏笔凡，罗炫，常晓军，刘均. 基于对比约束的可解释小样本学习. 计算机研究与发展. 2021(12): 2573-2584 . 本站查看