• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

CS-Softmax:一种基于余弦相似性的Softmax损失函数

张强, 杨吉斌, 张雄伟, 曹铁勇, 郑昌艳

张强, 杨吉斌, 张雄伟, 曹铁勇, 郑昌艳. CS-Softmax:一种基于余弦相似性的Softmax损失函数[J]. 计算机研究与发展, 2022, 59(4): 936-949. DOI: 10.7544/issn1000-1239.20200879
引用本文: 张强, 杨吉斌, 张雄伟, 曹铁勇, 郑昌艳. CS-Softmax:一种基于余弦相似性的Softmax损失函数[J]. 计算机研究与发展, 2022, 59(4): 936-949. DOI: 10.7544/issn1000-1239.20200879
Zhang Qiang, Yang Jibin, Zhang Xiongwei, Cao Tieyong, Zheng Changyan. CS-Softmax: A Cosine Similarity-Based Softmax Loss Function[J]. Journal of Computer Research and Development, 2022, 59(4): 936-949. DOI: 10.7544/issn1000-1239.20200879
Citation: Zhang Qiang, Yang Jibin, Zhang Xiongwei, Cao Tieyong, Zheng Changyan. CS-Softmax: A Cosine Similarity-Based Softmax Loss Function[J]. Journal of Computer Research and Development, 2022, 59(4): 936-949. DOI: 10.7544/issn1000-1239.20200879

CS-Softmax:一种基于余弦相似性的Softmax损失函数

基金项目: 国家自然科学基金项目(61602031);中央高校基本科研业务费专项资金(FRF-BD-19-012A,FRF-IDRY-19-023);国家重点研发计划项目(2017YFB0202303)
详细信息
  • 中图分类号: TP391.4

CS-Softmax: A Cosine Similarity-Based Softmax Loss Function

Funds: This work was supported by the National Natural Science Foundation of China (61602031), the Fundamental Research Funds for the Central Universities (FRF-BD-19-012A, FRF-IDRY-19-023), and the National Key 
  • 摘要: 卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax, CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表示与分类全连接层权重的正相似性和负相似性,以实现同类紧凑和异类分离的训练目标.理论分析表明:边距因子、尺度因子、权重更新因子等参数的引入,可以调节各类别决策边距的大小,增大类内紧凑性、类间分离性,增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明:CS-Softmax损失函数在不增加计算复杂度的同时,可以有效提升多分类任务性能,在MNIST,CIFAR10,CIFAR100图像分类任务中分别取得了99.81%,95.46%,76.46%的分类精度.
    Abstract: Convolutional neural networks (CNNs)-based classification framework has achieved significant effects in pattern classification tasks, where the Softmax function with the cross-entropy loss (Softmax loss) can make CNNs learn separable embeddings. However, for some multi-classification problems, training with Softmax loss does not encourage increasing intra-class compactness and inter-class separability, which means it hardly generates the embedding with strong discriminability, making it hard to improve the performance further. In order to enhance the discriminability of learned embeddings, a cosine similarity-based Softmax (CS-Softmax) loss function is proposed. Without changing the network structure, the CS-Softmax loss introduces some parameters such as margin factor, scale factor and weight update factor to calculate the positive similarity and negative similarity between embeddings and different class weights based on the Softmax loss, so as to achieve the objectives of enhancing intra-class compactness and inter-class separability. Furthermore, the size of classification decision margin can be modified flexibly. These characteristics further enhance the discriminability of learned embeddings in CNNs. Classification experimental results on typical audio and image datasets show that the CS-Softmax loss can effectively improve the classification performance without increasing the computational complexity. The classification accuracies of the proposed loss are 99.81%, 95.46%, and 76.46% on the MNIST, CIFAR10, and CIFAR100 classification tasks, respectively.
  • 期刊类型引用(13)

    1. 张琪东,迟静,陈玉妍,张彩明. 基于雾浓度分类与暗-亮通道先验的多分支去雾网络. 计算机研究与发展. 2024(03): 762-779 . 本站查看
    2. 刘军. 一种选煤厂煤泥压滤自动控制方法的设计与实现. 液压气动与密封. 2024(06): 109-114 . 百度学术
    3. 李游,毛文奇,李国栋,周云雅. 基于全卷积神经网络的无人机巡检图像边缘检测方法. 微型电脑应用. 2024(06): 91-95+108 . 百度学术
    4. 左丽娜,刘小贞,李伟杰,何首武. 多用户源头无线传感网络不完整数据挖掘算法. 传感技术学报. 2024(08): 1454-1459 . 百度学术
    5. 薛永建,刘高文,马佳乐,白杨,龚文彬,林阿强. 涡轮发动机供气系统流量和压力的控制方案. 航空动力学报. 2024(10): 478-489 . 百度学术
    6. 张浩鸣,周煊超,阿那尔. 基于改进SimCNN模型的矿山地震灾害识别研究. 能源与环保. 2024(10): 27-33 . 百度学术
    7. 武新章,赵子巍,代伟,谢代钰,郭苏杭,王泽宇,张冬冬. 基于改进的Transformer神经网络辅助的两阶段机组组合决策方法. 电力自动化设备. 2023(03): 172-179 . 百度学术
    8. 陈静,王晓轩,吴宇静,王蓉蓉. 基于CNN的零样本城市遥感影像场景分割算法. 吉林大学学报(信息科学版). 2023(04): 739-745 . 百度学术
    9. 张朝刚,侍中楼,李敏. 基于多状态时间序列预测学习的超精密机床主轴故障诊断仿真. 吉林大学学报(工学版). 2023(11): 3056-3061 . 百度学术
    10. 张强,杨吉斌,张雄伟,曹铁勇,李毅豪. 基于GAN实现环境声音分类的组合对抗防御. 电子与信息学报. 2023(12): 4399-4410 . 百度学术
    11. 马迪迪,赵静,林亚龙,王婧雯. 一种轨旁设备可靠性度量方法的设计与实现. 环境技术. 2023(12): 24-30 . 百度学术
    12. 盛江明,薛娟,李鹏,伊娜. 基于时空图卷积神经网络的蛋白质复合物识别方法. 南方医科大学学报. 2022(07): 1075-1081 . 百度学术
    13. 徐敏,王平. SPGAP-ResLSTMnet下的旋转机械故障诊断研究. 制造技术与机床. 2022(09): 20-26 . 百度学术

    其他类型引用(23)

计量
  • 文章访问数:  935
  • HTML全文浏览量:  7
  • PDF下载量:  375
  • 被引次数: 36
出版历程
  • 发布日期:  2022-03-31

目录

    /

    返回文章
    返回