• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

深度神经架构搜索综述

孟子尧, 谷雪, 梁艳春, 许东, 吴春国

孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
引用本文: 孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
shu
Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
Citation: Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
shu
孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
引用本文: 孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
shu
Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
Citation: Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
shu

深度神经架构搜索综述

  • 1(符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012)

  • 2(符号计算与知识工程教育部重点实验室珠海分实验室(吉林大学珠海学院) 广东珠海 519041)

  • 3(密苏里大学哥伦比亚分校电子工程与计算机科学系 美国密苏里州哥伦比亚 MO65211) (zy-meng@outlook.com)

基金项目: 国家自然科学基金项目(61972174,61876069,61876207)；吉林省重点研发项目(20180201045GX,20180201067GX)；吉林省自然科学基金项目(20200201163JC)；广东省科技计划项目(2020A0505100018)；广东省应用基础研究重点项目(2018KZDXM076)；广东省优势重点学科项目(2016GDYSZDXK036)
详细信息

  • 中图分类号: TP183

Deep Neural Architecture Search: A Survey

  • 1(Key Laboratory of Symbol Computation and Knowledge Engineering (Jilin University), Ministry of Education, Changchun 130012)

  • 2(Zhuhai Laboratory of Key Laboratory of Symbol Computation and Knowledge Engineering (Zhuhai College of Jilin University), Ministry of Education, Zhuhai, Guangdong 519041)

  • 3(Department of Electrical Engineering and Computer Science, University of Missouri-Columbia, Columbia, Missouri, USA MO65211)

Funds: This work was supported by the National Natural Science Foundation of China (61972174, 61876069, 61876207), the Key Research and Development Project of Jilin Province (20180201045GX, 20180201067GX), the Natural Science Foundation of Jilin Province(20200201163JC), the Science and Technology Planning Project of Guangdong Province (2020A0505100018), the Guangdong Key-Project for Applied Fundamental Research (2018KZDXM076), and the Guangdong Premier Key-Discipline Enhancement Scheme (2016GDYSZDXK036).

摘要

    摘要
  • 摘要: 深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果.然而，针对特定任务，人工设计网络需要花费大量的时间，并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构，仅依靠人工进行设计变得越来越复杂.基于此，借助算法自动地对神经网络进行架构的搜索成为了研究热点.神经架构搜索的方法涉及3个方面：搜索空间、搜索策略、性能评估策略.通过搜索策略在搜索空间中选择一个网络架构，借助性能评估策略对该网络架构进行评估，并将结果反馈给搜索策略指导搜索策略选择更好的网络架构，通过不断迭代得到最优的网络架构.为了更好地为读者提供一个快速了解神经网络架构搜索方法的导航地图，从搜索空间、搜索策略和性能评估策略3个方面对现有典型的神经架构搜索方法进行了梳理，总结讨论了近年来常见的架构搜索方法，并分析了各种方法的优势和不足.
    Abstract: Deep learning has achieved excellent results on data tasks with multiple modalities such as images, speech, and text. However, designing networks manually for specific tasks is time-consuming and requires a certain level of expertise and design experience from the designer. In the face of today’s increasingly complex network architectures, relying on manual design alone increasingly becomes complex. For this reason, automatic architecture search of neural networks with the help of algorithms has become a hot research topic. The approach of neural architecture search involves three aspects: search space, search strategy, and performance evaluation strategy. The search strategy samples a network architecture in the search space, evaluates the network architecture by a performance evaluation strategy, and feed-back the results to the search strategy to guide it to select a better network architecture, and obtains the optimal network architecture through continuous iterations. In order to better sort out the methods of neural architecture search, we summarize the common methods in recent years from search space, search strategy and performance evaluation strategy, and analyze their strengths and weaknesses.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(58)

  • 期刊类型引用(11)

    1. 武家辉，李科研，陈丽新，张家诺，刘帅兵，逯鹏. 神经架构搜索技术研究综述. 计算机应用研究. 2025(01): 11-18 . 百度学术
    2. 刘倩男，闫佳，刘诚. 基于改进MobileNetV3的岩石薄片分类研究. 电脑知识与技术. 2025(07): 26-28 . 百度学术
    3. 宋玉红，沙行勉，诸葛晴凤，许瑞，王寒. RR-SC:边缘设备中基于随机计算神经网络的运行时可重配置框架. 计算机研究与发展. 2024(04): 840-855 . 本站查看
    4. 蒋鹏程，薛羽. 基于排序得分预测的演化神经架构搜索方法. 计算机学报. 2024(11): 2522-2535 . 百度学术
    5. 刘威，郭直清，王东，刘光伟，姜丰，牛英杰，马灵潇. 改进鲸鱼算法及其在浅层神经网络搜索中的权值阈值优化. 控制与决策. 2023(04): 1144-1152 . 百度学术
    6. 鞠翰文，邓扬，李爱群. 桥梁结构挠度-温度-车辆荷载监测数据相关性模型. 振动与冲击. 2023(06): 79-89 . 百度学术
    7. 丁熠，郑伟，耿技，邱泸谊，秦志光. 基于多层级并行神经网络的多模态脑肿瘤图像分割框架. 中国图象图形学报. 2023(07): 2182-2194 . 百度学术
    8. 王上，唐欢容. 一种基于混合粒子群优化算法的深度卷积神经网络架构搜索方法. 计算机应用研究. 2023(07): 2019-2024 . 百度学术
    9. 朱光辉，祁加豪，朱振南，袁春风，黄宜华. 渐进式深度集成架构搜索算法研究. 计算机学报. 2023(10): 2041-2065 . 百度学术
    10. 钟运琴，朱月琴，焦守涛. 边缘大数据分析预测建模方法研究. 高技术通讯. 2022(10): 1067-1075 . 百度学术
    11. 包振山，秘博闻，张文博. 基于人工经验网络架构为初始化的NAS算法. 北京工业大学学报. 2021(08): 854-862 . 百度学术

    其他类型引用(47)

    • 资源附件(0)
计量
  • 文章访问数:  2513
  • HTML全文浏览量:  8
  • PDF下载量:  1599
  • 被引次数: 58
出版历程
  • 发布日期:  2020-12-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计