面向双注意力网络的特定方面情感分析模型

孙小婉; 王英; 王鑫; 孙玉东

doi:10.7544/issn1000-1239.2019.20180823

面向双注意力网络的特定方面情感分析模型

孙小婉^1,3,
王英^1,2,3,
王鑫^3,4,
孙玉东^2,3

¹(吉林大学软件学院长春 130012)
²(吉林大学计算机科学与技术学院长春 130012)
³(符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012)
⁴(长春工程学院计算机技术与工程学院长春 130012) (sunxw17@mails.jlu.edu.cn)

基金项目: 国家自然科学基金项目(61872161,61602057,61976103)；吉林省科技发展计划项目(2018101328JC)；吉林省科技厅优秀青年人才基金项目(20170520059JH)；吉林省技术攻关项目(20190302029GX)；吉林省发改委项目(2019C053-8)；吉林省教育厅科研项目(JJKH20191257KJ)

详细信息

中图分类号: TP391
计量
- 文章访问数: 1613
- HTML全文浏览量: 8
- PDF下载量: 944
出版历程
- 发布日期: 2019-10-31

Aspect-Based Sentiment Analysis Model Based on Dual-Attention Networks

Sun Xiaowan^1,3,
Wang Ying^1,2,3,
Wang Xin^3,4,
Sun Yudong^2,3

¹(College of Software, Jilin University, Changchun 130012)
²(College of Computer Science and Technology, Jilin University, Changchun 130012)
³(Key Laboratory of Symbol Computation and Knowledge Engineering(Jilin University), Ministry of Education, Changchun 130012)
⁴(College of Computer Technology and Engineering, Changchun Institute of Technology, Changchun 130012)

摘要

摘要: 特定方面情感分析已经成为自然语言处理领域的研究热点，其通过学习文本上下文的信息判别文本中特定方面的情感极性，可以更加有效地帮助人们了解用户对不同方面的情感表达.当前，将注意力机制和神经网络相结合的模型在解决特定方面情感分析任务时大多仅考虑单一层面的注意力信息，并且卷积神经网络无法获取全局结构信息、循环神经网络训练时间过长且单词间的依赖程度随着距离增加而逐渐减弱.针对上述问题，提出一种面向双注意力网络的特定方面情感分析(dual-attention networks for aspect-level sentiment analysis, DANSA)模型.首先，引入多头注意力机制，通过对输入进行多次不同的线性变换操作，获取更全面的注意力信息，同时，多头注意力机制可以实现并行化计算，保证了DANSA的训练速度.其次，DANSA引入自注意力机制，通过计算输入中每个单词与其他所有单词的注意力得分获取全局结构信息，并且单词间的依赖程度不会受到时间和句子长度的影响.最后，融合上下文自注意力信息与特定方面单词注意力信息，共同作为特定方面情感预测的依据，最终实现特定方面情感极性的预测.相比结合注意力机制的神经网络，DANSA弥补了注意力信息单一问题，不仅可以有效获取全局结构信息，还能够实现并行化计算，大大降低了训练时间.在SemEval2014数据集和Twitter数据集上进行实验，DANSA获得了更好的分类效果，进一步证明了DANSA的有效性.
- 特定方面情感分析 /
- 自注意力机制 /
- 多头注意力机制 /
- 双注意力网络 /
- 自然语言处理
Abstract: Aspect-based sentiment analysis has become one of the hottest research issues in the field of natural language processing. It identifies the aspect sentiment polarity of texts by learning from context information, which can effectively help people understand the sentiment expression on different aspects. Currently, the most models with combining attention mechanism and neural network only consider a single level of attention information. When solving aspect-based sentiment analysis tasks, theses models have a lot of limitations. The convolutional neural network cannot capture the global structural information. For the recurrent neural network, the training time-consuming is too long, and the degree of dependence between words gradually decreases as the distance increases. To solve the above problems, we propose the dual-attention networks for aspect-level sentiment analysis (DANSA) model. Firstly, by introducing the multi-head attention mechanism, the model performs multiple linear transformation on the input to obtain more comprehensive attention information, which can realize parallel computing and enhance the training speed. Secondly, the self-attention mechanism is introduced to obtain global structural information by calculating the attention scores between each word and all other words in the input, and the degree of dependence between words is not affected by time and sentence length. Finally, the model makes a prediction of aspects sentiment polarity by combining the context self-attention information and the aspect of the word attention information. The extensive experiments on the SemEval2014 datasets and the Twitter datasets show that the DANSA achieves better classification performance, which further demonstrates the validity of DANSA.
- aspect-based sentiment analysis (ABSA) /
- self-attention /
- multi-head attention /
- dual-attention networks /
- natural language processing (NLP)

HTML全文

参考文献(0)

施引文献(14)

期刊类型引用(7)

1.	姜磊，章小卫. 基于模糊隶属度邻域覆盖的三支分类决策. 计算机应用与软件. 2024(02): 271-278 . 百度学术
2.	骆公志，张尚蕾. 基于正区域和投票式属性重要度的特征提取算法. 南京邮电大学学报(自然科学版). 2024(01): 79-89 . 百度学术
3.	王笑笑，巴婧，陈建军，宋晶晶，杨习贝. 超约简求解：效率与性能的提升. 计算机科学. 2023(02): 166-172 . 百度学术
4.	刘长顺，刘炎，宋晶晶，徐泰华. 基于论域离散度的属性约简算法. 山东大学学报(理学版). 2023(05): 26-35+52 . 百度学术
5.	张清华，艾志华，张金镇. 融合密度与邻域覆盖约简的分类方法. 陕西师范大学学报(自然科学版). 2022(03): 33-42 . 百度学术
6.	沈毅波. RBF神经网络在关联数据一致性挖掘中的应用. 福建电脑. 2022(08): 5-9 . 百度学术
7.	周长顺，徐久成，瞿康林，申凯丽，章磊. 一种基于改进邻域粗糙集中属性重要度的快速属性约简方法. 西北大学学报(自然科学版). 2022(05): 745-752 . 百度学术