深度神经架构搜索综述

孟子尧; 谷雪; 梁艳春; 许东; 吴春国

doi:10.7544/issn1000-1239.2021.20190851

深度神经架构搜索综述

孟子尧^1,2,
谷雪^1,2,
梁艳春^1,2,
许东³,
吴春国¹

¹(符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012)
²(符号计算与知识工程教育部重点实验室珠海分实验室(吉林大学珠海学院) 广东珠海 519041)
³(密苏里大学哥伦比亚分校电子工程与计算机科学系美国密苏里州哥伦比亚 MO65211) (zy-meng@outlook.com)

基金项目: 国家自然科学基金项目(61972174,61876069,61876207)；吉林省重点研发项目(20180201045GX,20180201067GX)；吉林省自然科学基金项目(20200201163JC)；广东省科技计划项目(2020A0505100018)；广东省应用基础研究重点项目(2018KZDXM076)；广东省优势重点学科项目(2016GDYSZDXK036)

详细信息

中图分类号: TP183
计量
- 文章访问数: 2513
- HTML全文浏览量: 8
- PDF下载量: 1599
出版历程
- 发布日期: 2020-12-31

Deep Neural Architecture Search: A Survey

¹(Key Laboratory of Symbol Computation and Knowledge Engineering (Jilin University), Ministry of Education, Changchun 130012)
²(Zhuhai Laboratory of Key Laboratory of Symbol Computation and Knowledge Engineering (Zhuhai College of Jilin University), Ministry of Education, Zhuhai, Guangdong 519041)
³(Department of Electrical Engineering and Computer Science, University of Missouri-Columbia, Columbia, Missouri, USA MO65211)

Funds: This work was supported by the National Natural Science Foundation of China (61972174, 61876069, 61876207), the Key Research and Development Project of Jilin Province (20180201045GX, 20180201067GX), the Natural Science Foundation of Jilin Province(20200201163JC), the Science and Technology Planning Project of Guangdong Province (2020A0505100018), the Guangdong Key-Project for Applied Fundamental Research (2018KZDXM076), and the Guangdong Premier Key-Discipline Enhancement Scheme (2016GDYSZDXK036).

摘要

摘要: 深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果.然而，针对特定任务，人工设计网络需要花费大量的时间，并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构，仅依靠人工进行设计变得越来越复杂.基于此，借助算法自动地对神经网络进行架构的搜索成为了研究热点.神经架构搜索的方法涉及3个方面：搜索空间、搜索策略、性能评估策略.通过搜索策略在搜索空间中选择一个网络架构，借助性能评估策略对该网络架构进行评估，并将结果反馈给搜索策略指导搜索策略选择更好的网络架构，通过不断迭代得到最优的网络架构.为了更好地为读者提供一个快速了解神经网络架构搜索方法的导航地图，从搜索空间、搜索策略和性能评估策略3个方面对现有典型的神经架构搜索方法进行了梳理，总结讨论了近年来常见的架构搜索方法，并分析了各种方法的优势和不足.
- 深度学习 /
- 神经架构搜索 /
- 搜索空间 /
- 搜索策略 /
- 性能评估
Abstract: Deep learning has achieved excellent results on data tasks with multiple modalities such as images, speech, and text. However, designing networks manually for specific tasks is time-consuming and requires a certain level of expertise and design experience from the designer. In the face of today’s increasingly complex network architectures, relying on manual design alone increasingly becomes complex. For this reason, automatic architecture search of neural networks with the help of algorithms has become a hot research topic. The approach of neural architecture search involves three aspects: search space, search strategy, and performance evaluation strategy. The search strategy samples a network architecture in the search space, evaluates the network architecture by a performance evaluation strategy, and feed-back the results to the search strategy to guide it to select a better network architecture, and obtains the optimal network architecture through continuous iterations. In order to better sort out the methods of neural architecture search, we summarize the common methods in recent years from search space, search strategy and performance evaluation strategy, and analyze their strengths and weaknesses.
- deep learning /
- neural architecture search (NAS) /
- search space /
- search strategy /
- perfor-mance evaluation

HTML全文

参考文献(0)

施引文献(33)

期刊类型引用(10)

1.	贺岩，潘俊杰. 基于Neo4j的太湖流域诗词知识图谱构建研究. 电脑编程技巧与维护. 2025(02): 145-148 . 百度学术
2.	张强，高劲松，龙家庆，杨晓燕，夏红玉，蒋智慧. 基于知识重构的词人时空情感轨迹可视化研究——以辛弃疾为例. 情报学报. 2023(06): 729-739 . 百度学术
3.	王亚楠. 镇江“大运河”主题诗词文化资源的组织性建构. 文化创新比较研究. 2023(18): 1-7 . 百度学术
4.	宋雪雁，罗慧，杨芳芳. 知识重组视域下《全唐诗》送别诗的时空结构研究. 图书情报工作. 2023(20): 15-24 . 百度学术
5.	宋雪雁，罗慧，杨芳芳. 《全唐诗》送别诗诗人社交网络分析. 兰台世界. 2023(12): 43-48+52 . 百度学术
6.	宋雪雁，霍晓楠，刘寅鹏，邓君. 数字人文视角下《全唐诗》贬谪诗人社会关系研究. 现代情报. 2022(02): 14-21 . 百度学术
7.	欧阳子薇，柳雨欣，于娜. 以弘扬古诗词文化为主题的移动应用设计研究. 包装工程. 2022(04): 197-202 . 百度学术
8.	司莉，郭财强. 基于内容分析的数字人文领域中知识组织价值体现研究综述. 图书情报工作. 2022(13): 127-137 . 百度学术
9.	张卫，王昊，李晓敏，Song Min. 数字人文视角下古诗意象知识抽取及其文化图式构建研究. 图书情报工作. 2022(24): 104-117 . 百度学术
10.	李永卉，周树斌，周宇婷，卢章平. 基于图数据库Neo4j的宋代镇江诗词知识图谱构建研究. 大学图书馆学报. 2021(02): 52-61 . 百度学术