互补学习：一种面向图像应用和噪声标注的深度神经网络训练方法

周彧聪; 刘轶; 王锐

doi:10.7544/issn1000-1239.2017.20170637

互补学习：一种面向图像应用和噪声标注的深度神经网络训练方法

(北京航空航天大学中德联合软件研究所北京 100191) (zjoe546@foxmail.com)

基金项目: 国家重点研发计划项目(2016YFB0200100);国家自然科学基金项目(61732002)

详细信息

中图分类号: TP1830
计量
- 文章访问数: 1691
- HTML全文浏览量: 2
- PDF下载量: 757
出版历程
- 发布日期: 2017-11-30

Training Deep Neural Networks for Image Applications with Noisy Labels by Complementary Learning

(Sino-German Joint Software Institute, Beihang University, Beijing 100191)

摘要

摘要: 近几年来，深度神经网络在图像识别、语音识别、自然语言处理等众多领域取得了突破性的进展.互联网以及移动设备的快速发展极大地推进了图像应用的普及，也为深度神经网络的训练积累了大量数据.其中，大规模人工标注的数据是成功训练深度神经网络的关键.但随着数据规模的快速增长，人工标注图像的成本也越来越高，同时不可避免地产生标注错误，从而影响神经网络的训练.为此，提出了一种称为互补学习的方法，面向图像应用中深度神经网络的训练，将简单样本挖掘和迁移学习的思想相结合，利用少量人工标注的干净数据和大量带有噪声标注的数据，同时训练一主一辅2个深度神经网络模型，在训练过程中采用互补的策略分别选择部分样本进行学习，同时将辅模型的知识迁移给主模型，从而减少噪声标注对训练的影响.实验表明：提出的方法能有效地利用带有噪声标注的数据训练深度神经网络，并对比其他方法有一定的优越性，有较强的应用价值.
- 深度神经网络 /
- 图像应用 /
- 噪声标注 /
- 简单样本挖掘 /
- 迁移学习
Abstract: In recent years, deep neural networks (DNNs) have made great progress in many fields such as image recognition, speech recognition and natural language processing, etc. The rapid development of the Internet and mobile devices promotes the popularity of image applications and provides a large amount of data to be used for training DNNs. Also, the manually annotated data is the key of training DNNs. However, with the rapid growth of data scale, the cost of manual annotation is getting higher and the quality is hard to be guaranteed, which will damage the performance of DNNs. Combining the idea of easy example mining and transfer learning, we propose a method called complementary learning to train DNNs on large-scale noisy labels for image applications. With a small number of clean labels and a large number of noisy labels, we jointly train two DNNs with complementary strategies and meanwhile transfer the knowledge from the auxiliary model to the main model. Through experiments we show that this method can efficiently train DNNs on noisy labels. Compared with current approaches, this method can handle more complicated noise labels, which demonstrates its value for image applications.
- deep neural networks (DNNs) /
- image applications /
- noisy labels /
- easy example mining /
- transfer learning

HTML全文

参考文献(0)

施引文献(22)

期刊类型引用(9)

1.	杨海龙，靳新华. 基于ECC复合加密的医院网络隐私信息安全保护方法. 自动化技术与应用. 2024(08): 140-143+166 . 百度学术
2.	贾卉楠，王斌. 基于移动群智感知的隐私保护研究. 佳木斯大学学报(自然科学版). 2024(09): 16-18+69 . 百度学术
3.	杨小琴，朱玉全. 网络加密数据跨平台迁移自适应决策模型构建. 计算机仿真. 2023(01): 437-440+516 . 百度学术
4.	蒋沥泉，秦志光. 基于属性隐藏的高效去中心化的移动群智数据共享方案. 电子科技大学学报. 2023(06): 915-924 . 百度学术
5.	蔡波. 马尔可夫预测的移动群智感知网络日志信息收集. 西安工程大学学报. 2022(01): 115-120 . 百度学术
6.	佘晓萌，杜洋，马文静，殷赵霞 . 基于像素预测和块标记的图像密文可逆信息隐藏. 计算机研究与发展. 2022(09): 2089-2100 . 本站查看
7.	王磊，陈磊，张明儒，魏敏，李晋先. 面向数据库查询的非结构化数据融合存储系统. 电子设计工程. 2022(24): 148-152 . 百度学术
8.	李卓，宋子晖，沈鑫，陈昕. 边缘计算支持下的移动群智感知本地差分隐私保护机制. 计算机应用. 2021(09): 2678-2686 . 百度学术
9.	熊金波，毕仁万，田有亮，刘西蒙，马建峰. 移动群智感知安全与隐私:模型、进展与趋势. 计算机学报. 2021(09): 1949-1966 . 百度学术