机器学习化数据库系统研究综述

孟小峰; 马超红; 杨晨

doi:10.7544/issn1000-1239.2019.20190446

机器学习化数据库系统研究综述

(中国人民大学信息学院北京 100872) (xfmeng@ruc.edu.cn)

基金项目: 国家自然科学基金项目(61532016，61532010，91846204，91646203，61762082)；国家重点研发计划项目(2016YFB1000602,2016YFB1000603)

详细信息

中图分类号: TP311
计量
- 文章访问数: 2540
- HTML全文浏览量: 14
- PDF下载量: 2073
出版历程
- 发布日期: 2019-08-31

Survey on Machine Learning for Database Systems

(School of Information, Renmin University of China, Beijing 100872)

Funds: This work was supported by the National Natural Science Foundation of China (61532016, 61532010, 91846204, 91646203, 61762082) and the National Key Research and Development Program of China (2016YFB1000602, 2016YFB1000603).

摘要

摘要: 数据库系统经过近50年的发展，虽然已经普遍商用，但随着大数据时代的到来，数据库系统在2个方面面临挑战.首先数据量持续增大期望单个查询任务具有更快的处理速度；其次查询负载的快速变化及其多样性使得基于DBA经验的数据库配置和查询优化偏好不能实时地调整为最佳运行时状态.而数据库系统的性能优化进入瓶颈期，优化空间收窄，进一步优化只能依托新的硬件加速器来实现，传统的数据库系统不能够有效利用现代的硬件加速器；数据库系统具有成百个可调参数，面对工作负载频繁变化，大量繁琐的参数配置已经超出DBA的能力，这使得数据库系统面对快速而又多样性的变化缺乏实时响应能力.当下机器学习技术恰好同时符合这2个条件：应用现代加速器以及从众多参数调节经验中学习.机器学习化数据库系统将机器学习技术引入到数据库系统设计中.一方面将顺序扫描转化为计算模型，从而能够利用现代硬件加速平台；另一方面将DBA的经验转化为预测模型，从而使得数据库系统更加智能地动态适应工作负载的快速多样性变化.将对机器学习化数据库系统当前的研究工作进行总结与归纳，主要包括存储管理、查询优化的机器学习化研究以及自动化的数据库管理系统.在对已有技术分析的基础上，指出了机器学习化数据库系统的未来研究方向及可能面临的问题与挑战.
- 数据库系统 /
- 机器学习 /
- 学习化索引 /
- 自动化数据库系统
Abstract: As one of the most popular technologies, database systems have been developed for more than 50 years, and are mature enough to support many real scenarios. Although many researches still focus on the traditional database optimization tasks, the performance improvement is little. Actually, with the advent of big data, we have met the new gap obstructing the further performance improvement of database systems. The database systems face challenges in two aspects. Firstly, the increase of data volume requires the database system to process tasks more quickly. Secondly, the rapid change of query workload and its diversity make database systems impossible to adjust the system knobs to the optimal configuration in real time. Fortunately, machine learning may be the dawn bringing an unprecedented opportunity for the traditional database systems to lead us to the new optimization direction. In this paper, we introduce how to combine machine learning into the further development of database management systems. We focus on the current research work of machine learning for database systems, mainly including the machine learning for storage management and query optimization, as well as automatic database management systems. This area has also opened various challenges and problems to be solved. Thus, based on the analysis of existing technologies, the future challenges, which may be encountered in machine learning for database systems, are pointed out.
- database systems /
- machine learning /
- learned index /
- automatic database systems

HTML全文

参考文献(0)

施引文献(23)

期刊类型引用(13)

1.	周康，阳爱民，周栋，林楠铠. 基于稀疏连接和多通道LSTM的NL2SQL研究. 信息技术. 2024(08): 169-173+180 . 百度学术
2.	富庭轩，陈启明，杨怀宇. 一种新型的数据库自然语言查询实现方案. 现代信息科技. 2024(15): 51-54+59 . 百度学术
3.	李伟强，王震，张正毅. AIGC时代下物流客服产业优化与探索. 中国新技术新产品. 2024(18): 133-136 . 百度学术
4.	何佳壕，刘喜平，舒晴，万常选，刘德喜，廖国琼. 带复杂计算的金融领域自然语言查询的SQL生成. 浙江大学学报(工学版). 2023(02): 277-286 . 百度学术
5.	赵志超，游进国，何培蕾，李晓武. 数据库中文查询对偶学习式生成SQL语句研究. 中文信息学报. 2023(03): 164-172 . 百度学术
6.	王燕凤. 数据库查询系统中自然语言理解技术应用. 科技创新与应用. 2023(18): 23-26 . 百度学术
7.	殷来祥，李志强，付琼莹. 基于NL2SQL的兵棋数据智能统计分析方法研究. 系统仿真学报. 2023(09): 2000-2010 . 百度学术
8.	梁清源，朱琪豪，孙泽宇，张路，张文杰，熊英飞，梁广泰，郁莲. 基于深度学习的SQL生成研究综述. 中国科学:信息科学. 2022(08): 1363-1392 . 百度学术
9.	熊军，张冲，王代印，宋连双，陈峰. 三区三线管控下GIS划定永久基本农田研究. 城市建筑. 2022(22): 41-45 . 百度学术
10.	冯丽露，康耀龙，高晓晶，王涛. 基于SSM框架的数据结构在线评测系统设计与实现. 中国信息技术教育. 2021(13): 86-89 . 百度学术
11.	何文红. 基于深度学习背景下的高中数学教学研究. 高考. 2021(22): 51-52 . 百度学术
12.	千月欣，王永忠，李佳骏，徐天羿. 基于深度学习的机场能见度预测研究. 云南民族大学学报(自然科学版). 2021(06): 615-620 . 百度学术
13.	王胜杰，李焕云. 基于灰色GM模型的数据压缩处理方法. 电脑知识与技术. 2021(36): 151-152+159 . 百度学术