• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

深度神经架构搜索综述

孟子尧, 谷雪, 梁艳春, 许东, 吴春国

孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
引用本文: 孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
shu
Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
Citation: Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. DOI: 10.7544/issn1000-1239.2021.20190851
shu
孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
引用本文: 孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
shu
Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
Citation: Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33. CSTR: 32373.14.issn1000-1239.2021.20190851
shu

深度神经架构搜索综述

  • 1(符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012)

  • 2(符号计算与知识工程教育部重点实验室珠海分实验室(吉林大学珠海学院) 广东珠海 519041)

  • 3(密苏里大学哥伦比亚分校电子工程与计算机科学系 美国密苏里州哥伦比亚 MO65211) (zy-meng@outlook.com)

基金项目: 国家自然科学基金项目(61972174,61876069,61876207)；吉林省重点研发项目(20180201045GX,20180201067GX)；吉林省自然科学基金项目(20200201163JC)；广东省科技计划项目(2020A0505100018)；广东省应用基础研究重点项目(2018KZDXM076)；广东省优势重点学科项目(2016GDYSZDXK036)
详细信息

  • 中图分类号: TP183

Deep Neural Architecture Search: A Survey

  • 1(Key Laboratory of Symbol Computation and Knowledge Engineering (Jilin University), Ministry of Education, Changchun 130012)

  • 2(Zhuhai Laboratory of Key Laboratory of Symbol Computation and Knowledge Engineering (Zhuhai College of Jilin University), Ministry of Education, Zhuhai, Guangdong 519041)

  • 3(Department of Electrical Engineering and Computer Science, University of Missouri-Columbia, Columbia, Missouri, USA MO65211)

Funds: This work was supported by the National Natural Science Foundation of China (61972174, 61876069, 61876207), the Key Research and Development Project of Jilin Province (20180201045GX, 20180201067GX), the Natural Science Foundation of Jilin Province(20200201163JC), the Science and Technology Planning Project of Guangdong Province (2020A0505100018), the Guangdong Key-Project for Applied Fundamental Research (2018KZDXM076), and the Guangdong Premier Key-Discipline Enhancement Scheme (2016GDYSZDXK036).

摘要

    摘要
  • 摘要: 深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果.然而，针对特定任务，人工设计网络需要花费大量的时间，并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构，仅依靠人工进行设计变得越来越复杂.基于此，借助算法自动地对神经网络进行架构的搜索成为了研究热点.神经架构搜索的方法涉及3个方面：搜索空间、搜索策略、性能评估策略.通过搜索策略在搜索空间中选择一个网络架构，借助性能评估策略对该网络架构进行评估，并将结果反馈给搜索策略指导搜索策略选择更好的网络架构，通过不断迭代得到最优的网络架构.为了更好地为读者提供一个快速了解神经网络架构搜索方法的导航地图，从搜索空间、搜索策略和性能评估策略3个方面对现有典型的神经架构搜索方法进行了梳理，总结讨论了近年来常见的架构搜索方法，并分析了各种方法的优势和不足.
    Abstract: Deep learning has achieved excellent results on data tasks with multiple modalities such as images, speech, and text. However, designing networks manually for specific tasks is time-consuming and requires a certain level of expertise and design experience from the designer. In the face of today’s increasingly complex network architectures, relying on manual design alone increasingly becomes complex. For this reason, automatic architecture search of neural networks with the help of algorithms has become a hot research topic. The approach of neural architecture search involves three aspects: search space, search strategy, and performance evaluation strategy. The search strategy samples a network architecture in the search space, evaluates the network architecture by a performance evaluation strategy, and feed-back the results to the search strategy to guide it to select a better network architecture, and obtains the optimal network architecture through continuous iterations. In order to better sort out the methods of neural architecture search, we summarize the common methods in recent years from search space, search strategy and performance evaluation strategy, and analyze their strengths and weaknesses.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(27)

  • 期刊类型引用(11)

    1. 徐宁，李静秋，王岚君，刘安安. 时序特性引导下的谣言事件检测方法评测. 南京大学学报(自然科学). 2025(01): 71-82 . 百度学术
    2. 关昌珊，邴万龙，刘雅辉，顾鹏飞，马洪亮. 基于图卷积网络的多特征融合谣言检测方法. 郑州大学学报(工学版). 2024(04): 70-78 . 百度学术
    3. 帅训波，冯梅，李青，董之光，张文博. 文本信息检索质量评估技术发展趋势及展望. 网络新媒体技术. 2024(04): 1-7+25 . 百度学术
    4. 王友卫，王炜琦，凤丽洲，朱建明，李洋. 基于广度-深度采样和图卷积网络的谣言检测方法. 浙江大学学报(工学版). 2024(10): 2040-2052 . 百度学术
    5. 陈鑫，荣欢，郭尚斌，杨彬. 用于谣言检测的图卷积时空注意力融合与图重构方法. 计算机科学. 2024(11): 54-64 . 百度学术
    6. 丁浩，刘清，齐江蕾，胡广伟. 基于网络突发公共卫生事件早期谣言识别研究——以新冠疫情谣言为例. 情报科学. 2023(04): 156-163 . 百度学术
    7. 吴越，温欣，袁雪. ParallelGAT:网络谣言检测方法. 情报杂志. 2023(05): 94-101+93 . 百度学术
    8. 曹健，陈怡梅，李海生，蔡强. 基于图神经网络的行人轨迹预测研究综述. 计算机工程与科学. 2023(06): 1040-1053 . 百度学术
    9. 王友卫，凤丽洲，王炜琦，侯玉栋. 基于事件-词语-特征异质图的微博谣言检测新方法. 中文信息学报. 2023(09): 161-174 . 百度学术
    10. 王莉. 网络虚假信息检测技术研究与展望. 太原理工大学学报. 2022(03): 397-404 . 百度学术
    11. 王友卫，童爽，凤丽洲，朱建明，李洋，陈福. 基于图卷积网络的归纳式微博谣言检测新方法. 浙江大学学报(工学版). 2022(05): 956-966 . 百度学术

    其他类型引用(16)

    • 资源附件(0)
计量
  • 文章访问数:  2508
  • HTML全文浏览量:  8
  • PDF下载量:  1596
  • 被引次数: 27
出版历程
  • 发布日期:  2020-12-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(27)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计