• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

用于金融文本挖掘的多任务学习预训练金融语言模型

刘壮, 刘畅, Wayne Lin, 赵军

刘壮, 刘畅, Wayne Lin, 赵军. 用于金融文本挖掘的多任务学习预训练金融语言模型[J]. 计算机研究与发展, 2021, 58(8): 1761-1772. DOI: 10.7544/issn1000-1239.2021.20210298
引用本文: 刘壮, 刘畅, Wayne Lin, 赵军. 用于金融文本挖掘的多任务学习预训练金融语言模型[J]. 计算机研究与发展, 2021, 58(8): 1761-1772. DOI: 10.7544/issn1000-1239.2021.20210298
shu
Liu Zhuang, Liu Chang, Wayne Lin, Zhao Jun. Pretraining Financial Language Model with Multi-Task Learning for Financial Text Mining[J]. Journal of Computer Research and Development, 2021, 58(8): 1761-1772. DOI: 10.7544/issn1000-1239.2021.20210298
Citation: Liu Zhuang, Liu Chang, Wayne Lin, Zhao Jun. Pretraining Financial Language Model with Multi-Task Learning for Financial Text Mining[J]. Journal of Computer Research and Development, 2021, 58(8): 1761-1772. DOI: 10.7544/issn1000-1239.2021.20210298
shu
刘壮, 刘畅, Wayne Lin, 赵军. 用于金融文本挖掘的多任务学习预训练金融语言模型[J]. 计算机研究与发展, 2021, 58(8): 1761-1772. CSTR: 32373.14.issn1000-1239.2021.20210298
引用本文: 刘壮, 刘畅, Wayne Lin, 赵军. 用于金融文本挖掘的多任务学习预训练金融语言模型[J]. 计算机研究与发展, 2021, 58(8): 1761-1772. CSTR: 32373.14.issn1000-1239.2021.20210298
shu
Liu Zhuang, Liu Chang, Wayne Lin, Zhao Jun. Pretraining Financial Language Model with Multi-Task Learning for Financial Text Mining[J]. Journal of Computer Research and Development, 2021, 58(8): 1761-1772. CSTR: 32373.14.issn1000-1239.2021.20210298
Citation: Liu Zhuang, Liu Chang, Wayne Lin, Zhao Jun. Pretraining Financial Language Model with Multi-Task Learning for Financial Text Mining[J]. Journal of Computer Research and Development, 2021, 58(8): 1761-1772. CSTR: 32373.14.issn1000-1239.2021.20210298
shu

用于金融文本挖掘的多任务学习预训练金融语言模型

  • 1(东北财经大学应用金融与行为科学学院 辽宁大连 116025)

  • 2(中国石油物资采购中心 沈阳 110031)

  • 3(南加州大学计算机学院 美国加利福尼亚州洛杉矶 90007)

  • 4(IBM研究院 北京 100101) (liuzhuang@dufe.edu.cn)

基金项目: 辽宁省教育厅2021年度高等学校基本科研项目(面上项目)；教育部产学合作协同育人项目(202002037015)
详细信息

  • 中图分类号: TP181

Pretraining Financial Language Model with Multi-Task Learning for Financial Text Mining

  • 1(School of Applied Finance and Behavioral Science, Dongbei University of Finance and Economics, Dalian, Liaoning 116025)

  • 2(China Petroleum Materials Procurement Center, Shenyang 110031)

  • 3(School of Computer Science, University of Southern California, Los Angeles, CA, USA 90007)

  • 4(IBM Research, Beijing 100101)

Funds: This work was supported by the Basic Scientific Research Project (General Program) of Department of Education of Liaoning Province and the University-Industry Collaborative Education Program of the Ministry of Education of China (202002037015).

摘要

    摘要
  • 摘要: 近年来，机器学习，尤其是深度神经网络方法促进了金融文本挖掘研究的发展，在金融科技(Fintech)领域起着越来越重要的作用.如何从金融大数据中提取有价值的信息已经成为学术界和工业界一个非常有挑战的研究.由于深度神经网络需要大量标注数据，但是金融领域缺乏训练数据，因此，将深度学习应用于金融大数据挖掘并没有取得很好效果.为了更好地解决该问题，利用自监督学习和多任务学习等深度学习领域最新的思想和技术，提出了基于BERT模型架构的开源金融预训练语言模型F-BERT.F-BERT是一种针对特定领域(金融文本数据)的预训练语言模型，它通过在大型金融语料库上进行无监督训练得到.基于BERT架构，F-BERT可以有效地自动将知识从金融大数据中提取出并记忆在模型中，而无需进行特定于金融任务的模型结构修改，从而可以直接将其应用于下游各种金融领域任务，包括股票涨跌预测、金融情绪分类、金融智能客服等.在金融关系提取、金融情绪分类、金融智能问答任务上的大量实验表明了F-BERT模型的有效性和鲁棒性.同时，F-BERT在这3个有代表性的金融文本挖掘任务上均取得了很高的模型准确率，进一步验证了模型的性能.
    Abstract: Financial text mining is becoming increasingly important as the number of financial documents rapidly grows. With the progress in machine learning, extracting valuable information from financial literature has gained attention among researchers, and deep learning has boosted the development of effective financial text mining models. However, as deep learning models require a large amount of labeled training data, applying deep learning to financial text mining is often unsuccessful due to the lack of training data in financial fields. Recent researches on training contextualized language representation models on text corpora shed light on the possibility of leveraging a large number of unlabeled financial text corpora. We introduce F-BERT (BERT for financial text mining), which is a domain specific language representation model pre-trained on large-scale financial corpora. Based on the BERT architecture, F-BERT effectively transfers the knowledge from a large amount of financial texts to financial text mining models with minimal task-specific architecture modifications. The results show that our F-BERT outperforms most current state-of-the-art models, which demonstrates the effectiveness and robustness of the proposed F-BERT.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(26)

  • 期刊类型引用(9)

    1. 方海泉，邓明明. 具有自主学习与记忆功能的智能政务问答系统研究. 电子技术应用. 2024(01): 21-26 . 百度学术
    2. 曹策，陈焰，周兰江. 基于深度学习和文本情感的上市公司财务舞弊识别方法. 计算机工程与应用. 2024(04): 338-346 . 百度学术
    3. 胡菊香，吕学强，游新冬，周建设. 聚类标注和多粒度特征融合的基金新闻分类. 小型微型计算机系统. 2024(02): 257-264 . 百度学术
    4. 王润周，张新生，王明虎. 融合动态掩码注意力与多教师多特征知识蒸馏的文本分类. 中文信息学报. 2024(03): 113-129 . 百度学术
    5. 康雷，张瑜. 基于文本挖掘的俄罗斯羽绒服消费需求. 现代纺织技术. 2024(08): 108-116 . 百度学术
    6. 文益民，员喆，余航. 一种新的半监督归纳迁移学习框架：Co-Transfer. 计算机研究与发展. 2023(07): 1603-1614 . 本站查看
    7. 丁晓蔚，季婧，赵笑宇，王本强，丁毅杰，王献东. 互联网金融安全情绪感知及风险预警应用研究——基于BERT所作的探索. 情报杂志. 2023(09): 57-70 . 百度学术
    8. 毕鑫，聂豪杰，赵相国，袁野，王国仁. 面向知识图谱约束问答的强化学习推理技术. 软件学报. 2023(10): 4565-4583 . 百度学术
    9. 胡丹. 金融学文本大数据挖掘方法分析. 互联网周刊. 2022(09): 12-14 . 百度学术

    其他类型引用(17)

    • 资源附件(0)
计量
  • 文章访问数:  959
  • HTML全文浏览量:  5
  • PDF下载量:  759
  • 被引次数: 26
出版历程
  • 发布日期:  2021-07-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计