• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于层间模型知识迁移的深度堆叠最小二乘分类器

冯伟, 杭文龙, 梁爽, 刘学军, 王辉

冯伟, 杭文龙, 梁爽, 刘学军, 王辉. 基于层间模型知识迁移的深度堆叠最小二乘分类器[J]. 计算机研究与发展, 2019, 56(12): 2589-2599. DOI: 10.7544/issn1000-1239.2019.20180741
引用本文: 冯伟, 杭文龙, 梁爽, 刘学军, 王辉. 基于层间模型知识迁移的深度堆叠最小二乘分类器[J]. 计算机研究与发展, 2019, 56(12): 2589-2599. DOI: 10.7544/issn1000-1239.2019.20180741
shu
Feng Wei, Hang Wenlong, Liang Shuang, Liu Xuejun, Wang Hui. Deep Stack Least Square Classifier with Inter-Layer Model Knowledge Transfer[J]. Journal of Computer Research and Development, 2019, 56(12): 2589-2599. DOI: 10.7544/issn1000-1239.2019.20180741
Citation: Feng Wei, Hang Wenlong, Liang Shuang, Liu Xuejun, Wang Hui. Deep Stack Least Square Classifier with Inter-Layer Model Knowledge Transfer[J]. Journal of Computer Research and Development, 2019, 56(12): 2589-2599. DOI: 10.7544/issn1000-1239.2019.20180741
shu
冯伟, 杭文龙, 梁爽, 刘学军, 王辉. 基于层间模型知识迁移的深度堆叠最小二乘分类器[J]. 计算机研究与发展, 2019, 56(12): 2589-2599. CSTR: 32373.14.issn1000-1239.2019.20180741
引用本文: 冯伟, 杭文龙, 梁爽, 刘学军, 王辉. 基于层间模型知识迁移的深度堆叠最小二乘分类器[J]. 计算机研究与发展, 2019, 56(12): 2589-2599. CSTR: 32373.14.issn1000-1239.2019.20180741
shu
Feng Wei, Hang Wenlong, Liang Shuang, Liu Xuejun, Wang Hui. Deep Stack Least Square Classifier with Inter-Layer Model Knowledge Transfer[J]. Journal of Computer Research and Development, 2019, 56(12): 2589-2599. CSTR: 32373.14.issn1000-1239.2019.20180741
Citation: Feng Wei, Hang Wenlong, Liang Shuang, Liu Xuejun, Wang Hui. Deep Stack Least Square Classifier with Inter-Layer Model Knowledge Transfer[J]. Journal of Computer Research and Development, 2019, 56(12): 2589-2599. CSTR: 32373.14.issn1000-1239.2019.20180741
shu

基于层间模型知识迁移的深度堆叠最小二乘分类器

  • 1(南京工业大学计算机科学与技术学院 南京 211816)

  • 2(南京邮电大学地理与生物信息学院 南京 210023) (fengwei@njtech.edu.cn)

基金项目: 国家自然科学基金项目(61802177);江苏省高校自然科学基金研究面上项目(18KJB520020);南京工业大学引进人才启动项目(3827401749);江苏省重点研发计划项目(BE2015697)
详细信息

  • 中图分类号: TP391; TP18

Deep Stack Least Square Classifier with Inter-Layer Model Knowledge Transfer

  • 1(School of Computer Science and Technology, Nanjing Tech University, Nanjing 211816)

  • 2(School of Geographic and Biologic Information, Nanjing University of Posts and Telecommunications, Nanjing 210023)

摘要

    摘要
  • 摘要: 经典的最小二乘分类器(least square classifier, LSC)由于其简洁、有效性已早被广泛应用于图像识别、语音识别等领域.然而，利用原始数据特征构建的最小二乘分类器，其泛化性能往往较差.为解决上述问题，提出了基于深度堆叠泛化和迁移学习机制的深度迁移最小二乘分类器(deep transfer least square classifier, DTLSC).首先，基于堆叠泛化原理，利用LSC模型作为基本堆叠单元构建深度堆叠网络，避免了传统深度网络中需要求解非凸优化的问题，提升模型分类性能的同时提高了网络计算效率.其次，基于迁移学习机制，利用前层单元中的模型知识辅助当前层的模型构建，尽可能保持了层间模型的一致性，提升了模型泛化性能.在此基础上，引入自适应迁移策略，有选择地利用前层模型知识，缓解了利用前层不相关模型知识而导致的负迁移效应.在人造数据集及真实数据集上，实验结果验证了所提DTLSC算法的有效性.
    Abstract: The traditional least square classifier (LSC) has been widely used in image recognition, speech recognition and other fields due to its simplicity and effectiveness. However, the traditional LSC may suffer from the weak generalization capacity when taking the natural data in their raw form as the input. In order to overcome this problem, a deep transfer least square classifier (DTLSC) is proposed on the basis of the stack generalization philosophy and the transfer learning mechanism. Firstly, following the stack generalization philosophy, DTLSC adopts LSC as the basic stacking unit to construct a deep stacking network, which avoids solving the non-convex optimization problem existing in traditional deep networks. Thus, the classification performance and the computational efficiency of the proposed network are improved. Secondly, transfer learning mechanism is used to leverage the model knowledge of the previous layers to help construction the model of the current layer such that the consistency of the inter-layer model is guaranteed. Thus, the generalization performance of the proposed DTLSC is further improved. In addition, the adaptive transfer learning strategy is introduced to selectively use the model knowledge of the previous layers, which alleviates the negative transfer effect by rejecting the uncorrelated model knowledge of the previous layer. Experimental results on synthetic datasets and real world datasets show the effectiveness of the proposed DTLSC.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(40)

  • 期刊类型引用(20)

    1. 沈传年. 区块链安全问题研究综述. 计算机工程与科学. 2024(01): 46-62 . 百度学术
    2. 张烁晨. 量子纠缠及其应用研究. 电子技术. 2024(03): 4-7 . 百度学术
    3. 徐小桐，石润华，柯唯阳，于辉. 无中心的量子匿名一票否决方案. 量子电子学报. 2024(06): 901-913 . 百度学术
    4. 许龙，沈晶晶. 中美量子计算领域专利对比分析及发展预测. 中国发明与专利. 2024(12): 54-62 . 百度学术
    5. 张舒琪，李延斌，王蓬勃，葛春鹏，徐秋亮. 抗侧信道攻击的后量子密码掩码转换方案. 网络空间安全科学学报. 2024(05): 44-56 . 百度学术
    6. 蓝兰鸿，潘明华，王一涵，周家毓. 基于B92量子密钥分发的图像加密系统设计. 信息技术与信息化. 2023(01): 17-20 . 百度学术
    7. 李延斌，朱嘉杰，唐明，张焕国. 面向格密码的能耗分析攻击技术. 计算机学报. 2023(02): 331-352 . 百度学术
    8. 董慧康，裴东芳. 考虑无线网络安全的量子密码更新算法仿真. 计算机仿真. 2023(02): 399-402+491 . 百度学术
    9. 万华，周虎，朱德新，孙羽. 一种基于量子密钥的区块链身份认证方法. 软件工程. 2023(04): 38-41 . 百度学术
    10. 杨占杰. 核电DCS系统信息安全防护的探讨. 核科学与工程. 2023(04): 854-860 . 百度学术
    11. 王鹏，武俊鹏，高迪. 基于FPGA的Streamlined NTRU Prime抗量子加密技术研究. 无线电工程. 2022(03): 393-398 . 百度学术
    12. 李非凡. 后量子密码技术研究热点可视化分析. 河南理工大学学报(自然科学版). 2022(05): 137-145 . 百度学术
    13. 牛佳宁，赵子岩，李国春，赵永利. 新型电力系统配网运行场景下的量子密码技术应用体系架构. 电力信息与通信技术. 2022(11): 65-73 . 百度学术
    14. 刘峰，杨杰，李志斌，齐佳音. 一种基于区块链的泛用型数据隐私保护的安全多方计算协议. 计算机研究与发展. 2021(02): 281-290 . 本站查看
    15. 李萌，尚云. 两硬币量子游走模型中的相干动力学. 计算机研究与发展. 2021(09): 1897-1905 . 本站查看
    16. 潘世杰，高飞，万林春，秦素娟，温巧燕. 量子谱回归算法. 计算机研究与发展. 2021(09): 1835-1842 . 本站查看
    17. 孙玉明. 外加谐振电压时电容器的电容和电感. 烟台大学学报(自然科学与工程版). 2021(04): 386-391 . 百度学术
    18. 张中亚，吴文玲，邹剑. 多轮EM结构的量子差分碰撞密钥恢复攻击. 计算机研究与发展. 2021(12): 2811-2818 . 本站查看
    19. 冷新丽，韩跃军，李辉. 大学文科生物理科学素养现状调查及分析——以江西南昌市为例. 科教导刊. 2021(32): 155-158 . 百度学术
    20. WANG Yahui，ZHANG Huanguo. Quantum Algorithm for Attacking RSA Based on Fourier Transform and Fixed-Point. Wuhan University Journal of Natural Sciences. 2021(06): 489-494 . 必应学术

    其他类型引用(20)

    • 资源附件(0)
计量
  • 文章访问数: 
  • HTML全文浏览量:  0
  • PDF下载量: 
  • 被引次数: 40
出版历程
  • 发布日期:  2019-11-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(40)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计