Term-Prompted and Dual-Path Text Generation for Aspect Sentiment Triplet Extraction
-
摘要:
方面情感三元组抽取（aspect sentiment triplet extraction，ASTE）是方面级情感分析中具有挑战性的子任务之一，旨在从文本中抽取方面术语、观点术语和情感极性三元组. 近期基于生成式的抽取方法取得了出色的表现，这些方法通过顺序串联目标三元组来实现自回归式三元组生成. 然而，这种串联方法可能导致无序三元组之间存在顺序依赖，从而在解码过程中引入错误累积. 为解决这个问题，提出了基于术语提示双路文本生成的方法（term-prompted and dual-path text generation，TePDuP）. 该方法首先利用机器阅读理解（machine reading comprehension，MRC）实现方面和观点术语的并行化抽取，然后将它们作为提示前缀来引导条件式三元组的生成，形成双路文本生成框架. 同时，在训练阶段引入计划采样的方法来修正MRC抽取错误所带来的偏差. 为进一步提高性能，引入生成概率将方面和观点术语引导的结果合并，以增强模型的鲁棒性. 基于ASTE-DATA-V2数据集的实验结果表明，提出的方法是有效的且明显优于其他基线模型，并给出具体案例分析，证明该方法一定程度上解决了前述问题.
Abstract:Aspect sentiment triplet extraction (ASTE) is a challenging subtask within aspect-based sentiment analysis. It aims to extract triplets consisting of aspect terms, opinion terms, and sentiment polarities from texts. In the recent past, generative extraction techniques have demonstrated remarkable efficacy through the sequential concatenation of target triplets, thereby enabling the autoregressive generation of triplets. However, this concatenation method may lead to sequential dependencies among unrelated triplets, introducing error accumulation during decoding. To address this issue, we propose a term-prompted and dual-path text generation (TePDuP) method. This method first utilizes machine reading comprehension (MRC) to extract aspect and opinion term in parallel, and then uses them as prompt prefixes to guide conditional triplet generation, forming a dual-path text generation framework. Meanwhile, during the training phase, we incorporate scheduled sampling as a corrective measure to mitigate the bias stemming from MRC extraction. Furthermore, in order to enhance performance to an even greater extent, we incorporate generation probabilities to merge outcomes guided by aspect and opinion terms, thereby augmenting the resilience of the model. Experimental results on the ASTE-DATA-V2 dataset show that the proposed method is effective and significantly outperforms other baseline models, and provide case studies to demonstrate that the method solves the aforementioned problem to some extent.
-
方面级情感分析（aspect based sentiment analysis，ABSA）[1-2]是一种细粒度情感分析任务，旨在基于特定方面挖掘细粒度的观点和情感. ABSA涵盖了几个基础的任务，包括方面术语抽取（aspect term extraction，ATE）[3-5]、观点术语抽取（opinion term extraction，OTE）[6-7]和方面级情感分类（aspect level sentiment classification，ASC）[8-11]. 这些任务都涉及单个ABSA元素的预测，然而，近期研究进展将多个ABSA子任务合并成更复杂的任务[12-13]，如方面情感三元组抽取（aspect sentiment triplet extraction，ASTE）[14]. ASTE旨在从句子中抽取方面术语（aspect term）、观点术语（opinion term）和相关情感极性（sentiment polarity）的三元组，以提供更全面的情感信息. 这有助于理解观点目标、情感取向以及表达这一情感的原因. 与以往的单一ABSA任务相比，ASTE提供了更完整的情感信息. 图1说明了一个ASTE的实例.
迄今为止，ASTE领域已经涌现了众多的研究工作，其中包括基于流水线的方法[14]，基于多任务学习[15]和各种标记方案的端到端的抽取方法[16-20]，以及基于跨度表示[21-23]和基于机器阅读理解（machine reading comprehension，MRC）的方法[24-27]. 尽管这些方法在提高ASTE性能方面取得了显著进展，然而，ASTE领域仍然面临着多项挑战.
最近的生成式方法，如Seq2Seq的方法[28-32]，它们将ASTE任务表述为文本到文本的生成任务，充分的利用预训练模型的知识，输出情感元组的序列. 尽管在性能上取得了成功，但是仍然有一些很严重的缺点：Seq2Seq模型会对无序的三元组进行顺序建模，即元组生成方式为线性生成，当前元组依赖于之前元组的生成，会涉及到与错误累积相关联的大解码长度. 上述问题都会引入与加重暴露偏差（exposure bias）[33-34]——即在训练阶段，当前三元组的预测依赖于先前三元组的真实标签，而在测试或推理阶段，当前的三元组预测依赖于先前的模型预测的三元组，这可能与真实标签不同. 在测试阶段，错误的预测将进一步偏离后续三元组的预测；如果解码长度较大，则与真实标签的差异将进一步累积. 这种累积的差异可能会降低性能，尤其是在预测较长序列时，即多三元组预测. 因此，基于上述问题模型会受到很多的学习约束，导致其做出“混乱的决策”. 例如在图2中，ASTE并不是典型的生成任务，三元组之间的顺序并没有明确的规定，只要能准确提取，每一种顺序都可能是正确的，如顺序“三元组1―三元组2―三元组3”和顺序“三元组2―三元组1―三元组3”. 但是Seq2Seq模型在训练时会对一种顺序进行建模，而在测试时以任意顺序进行解码，这会导致模型可能预测错误.
![]()
图 2 Seq2Seq对不同三元组顺序的训练和预测Figure 2. The training and testing of Seq2Seq for different triplet orders在本文中，我们基于术语提示和文本生成提出了TePDuP（term-prompted and dual-path text generation）模型，旨在改进生成式元组抽取方法. 这一模型的主要创新点在于充分利用了一个重要观察，即观点术语、其相关的三元组和方面术语通常呈现出几乎1对1的关联特性. 因此可以将方面和观点术语作为生成条件引导三元组生成. TePDuP模型利用MRC并行抽取方面和观点术语，将方面和观点术语视为2个引导方向，采用双路文本生成框架. 在训练阶段，将每个方面和观点术语关联的三元组视为独立目标，使用标准的Seq2Seq模型进行学习，计算平均损失. 在推理阶段，通过单个方面和观点术语作为条件式前缀提示，实现逐一生成三元组，从而避免了多个三元组一次性生成时带来的顺序依赖问题，有效提升了性能. 同时具有高条件概率的路径更有可能生成正确的答案，因此我们还引入了生成概率，自动选择合并正确的路径.
然而，上述方法会引入暴露偏差的问题——训练阶段的条件式前缀提示是基于真实样本生成的，而测试和推理阶段则依赖于MRC抽取的结果，这可能与真实样本不一致. 因此，我们引入了计划采样（scheduled-sampling）的方法，将MRC抽取的样本纳入文本生成模型的训练中，以减轻流水线式推理过程中的误差累积问题，提高模型的鲁棒性.
我们的工作总结如下：
1）针对ASTE提出了TePDuP模型，该模型以MRC并行化抽取的方面和观点术语作为文本生成条件，把每个方面和观点术语关联的三元组视为独立目标，使用Seq2Seq模型进行学习，避免了多个三元组同时生成时带来的顺序依赖问题. 同时为了提高预测性能，我们引入了生成概率合并方面和观点术语2条路径引导文本生成的结果.
2）针对文本生成在推理测试阶段见到的术语结果与真实样本可能不相等的情况，我们设计了一个计划采样的方法，用于改善模型性能，增强模型的鲁棒性，将因MRC抽取错误所生成的样本进行修正.
3）我们的模型在ASTE-DATA-V2数据集上达到了领先的性能，并给出了具体的案例分析，证明了该方法一定程度上改进了生成式元组抽取方法.
1. 相关工作
近年来，ABSA得到了十分广泛的研究，其任务都是围绕着方面目标进行展开的. 早期的ABSA研究主要侧重于单个元素的抽取与预测，例如ATE，检测文本中所提到的方面类别（aspect category detection，ACD）[35-36]，给定方面术语[37]或方面类别[38-39]预测情感极性等. 为了进行更全面的情感分析，最近的一些工作将多个情感元素组合起来进行联合检测，包括方面和观点术语的成对抽取（aspect-opinion pair extraction，AOPE）[40]；方面及其相应情感极性的预测 （aspect-sentiment pair extraction，ASPE）[41-44].
近几年，ABSA中提出了三元组预测任务，旨在以三元组格式预测情感元素. Peng等人[14]提出了ASTE任务，该任务一经提出立刻受到了大量关注. Peng等人[14]首先介绍了ASTE任务，并提出了一个2阶段的方法. 第1阶段利用序列标记模型分别抽取带有情感的方面术语和观点术语. 在第2阶段，利用分类器从带有情感的方面术语和观点术语中找到有效的方面观点对，构建最终的三元组预测. 为了更好地利用多个情感元素的关系，目前已经提出了许多端到端的方法. Xu等人[16]提出了一种位置感知标签方案，该方案通过丰富标签的表现力来解决一次性抽取三元组. Wu等人[17]使用了一种2维表格填充的网格标记方案用于表示词对之间的关系，将任务转换为单词关系抽取任务. Chen等人[18]在表格填充的网格标记方案基础上，加入了语言特性并细化了词对表示，以提高性能. 刘欣逸等人[19]在句法增强的基础上结合序列标记和网格标记，提出了一种多任务学习框架，以端到端的形式解决任. Zhang等人[20]为了克服多词方面术语和观点术语时会出现关系不一致和边界不敏感的情况，提出了边界驱动表填充，把每个三元组表示为2维表中的关系区域，并将 ASTE 任务转换为关系区域的检测和分类. 上述的这些方法依赖于单词的表示与交互，在多词情况下可能表现不佳. Xu等人[21]提出了一个跨度交互模型，明确考虑了跨度之间的交互，有效地提高了多词情况下的性能. Chen等人[22]提出了一个跨度级双向网络，利用方面术语到观点术语和观点术语到方面术语2个方向的优势，采用相似跨度分离损失来指导模型区分相似跨度，以消除相互冲突的三元组结果. Liang等人[23]将ASTE任务定义为一个多类跨度分类问题，通过抽取跨度级别的信息和约束来生成更准确的方面情感三元组.
其他建模范例，如MRC和Seq2Seq建模也被应用到其中. Mao等人[24]通过设计特定查询，将ASTE转化为MRC任务，提出了dual-MRC框架：第1个MRC模型用于抽取方面术语，第2个MRC模块随后预测相应的观点术语和情感极性. Chen等人[25]在使用BMRC框架时从观点到方面和方面到观点2个方向进行了双向建模：一个预测方面术语，然后预测观点术语，另一个首先预测观点术语，然后预测方面术语. Zhai等人[26]也在MRC建模基础上提出了COM-MRC用于解决在多个方面术语时基于 MRC 的方法可能会由于其他方面术语的干扰而失败的情况. Liu等人[27]在BMRC的基础上提出了4种优化策略，以进一步加强抽取性能. Seq2Seq建模在性能上取得了巨大的成功. Zhang等人[28]将原始任务转化为文本生成问题，并提出了注释样式和抽取样式，用于预测情感三元组. 由于上述方法没有利用标签信息，Zhang等人[29]提出了一种释义建模方法，将三元组转化为自然语言句子进行生成，通过这种方式，可以考虑标签信息的作用，进而充分利用预训练模型的知识. Yan等人[30]将句子作为输入，并将各个元素的指针索引作为生成目标. Mao等人[32]为了解决Seq2Seq建模中生成序列中的顺序建模问题，以观点树的路径作为输出的目标，大幅提升了性能. 尽管关于ASTE任务的研究取得了重大的成果，但其仍然在性能上面临着一定的挑战.
采用基于Transformers的预训练语言模型，如BERT[45]已成为解决ABSA问题的常见做法. 具体来说，许多任务通过构造辅助句将任务转化为语言推理问题，得以充分利用预训练语言模型的知识，有效的提高性能. 例如MRC和Seq2Seq建模. MRC旨在根据给定的上下文回答特定的问题. 最近的研究已经提出了基于上下文嵌入MRC方法[46-47]，并取得了良好的效果，尤其是基于BERT的MRC模型[45]. 目前，已经有很多将MRC应用到NLP中的例子，如命名实体识别[48]和实体关系抽取[49]等. 最近MRC也被应用到ABSA中，成为一种常见的建模手段，例如Mao等人[24]提出的dual-MRC框架和Chen等人[25]提出的BMRC框架，在ASPE，AOPE，ASTE等任务中取得了良好的性能. 此外鉴于文本生成在其他NLP任务中所取得的成功，有一些工作利用预训练文本生成模型[50-51]尝试以Seq2Seq方式解决ABSA问题，例如Yan等人[30]和 Zhang等人[28]将把指针类别和情感元素序列作为生成模型的目标，以更优雅的形式解决ABSA问题.
2. 方法介绍
2.1 问题描述
设X={x1,x2,…,xn}是一个长度为n的文本，设S={S1,1,S1,2,…,Sn,n}是X中所有可能枚举跨度的集合，i和j表示一个跨度在X中的起始和结束位置. 对于任意一个跨度Si,j其都有可能是方面术语或观点术语. 术语抽取的目的就是将X中所有方面术语和观点术语对应的跨度抽取出来. ASTE任务是抽取出文本中所有的方面层面的情感三元组（a, o, s），a，o，s分别对应于方面术语、观点术语和情感极性，其中情感极性属于类别集合{POS，NEG，NEU}，分别表示正向、负向和中性的情感.
2.2 模型架构
TePDuP架构图如图3所示. 为了解决ASTE任务，我们提出了一个基于术语提示双路文本生成的框架. 具体来说，我们设计了术语抽取和文本生成2个模块. 首先在术语抽取模块，使用了静态查询的方式，根据给定的查询语句抽取所有方面和观点术语集. 接下来是文本生成模块，以方面和观点术语构建条件式动态提示前缀，分别引导文本生成形成一个双路文本生成框架，旨在根据静态查询的结果提示文本生成，生成相应的观点元组信息. 最后在推理阶段，模型会把方面术语和观点术语形成的动态提示的生成结果合并在一起. 此外为了缓解术语抽取模块在推理阶段所产生的偏差，我们还在术语抽取和文本生成2个模块之间加入了一个计划采样的机制用于修正术语抽取模块在推理阶段所产生的偏差.
2.3 查询与提示构建
在本文的方法中，我们使用基于模板的方法构建查询和提示. 具体来说，我们设计了静态查询和动态提示. 静态查询不携带任何上下文信息. 动态提示需要静态查询的结果作为条件因素，以引导文本生成模型搜索文本中有用的信息. 静态查询和动态提示用于将ASTE任务形式化为MRC任务和基于术语提示的双路文本生成任务.
静态方面查询qA. 我们设计了询问“What aspects?”从给定的文本中抽取一组方面术语A={ai}|A|i=1.
静态观点查询qO. 我们设计了询问“What opinions?”从给定的文本中抽取一组观点术语O={oi}|O|i=1.
动态方面术语提示dAai. 设计一个基于方面术语ai的动态提示：“What aspect sentiment summary does the aspect ai in the text?”，从给定的文本中生成一连串与方面术语ai有关的方面情感摘要.
动态观点术语提示dOoi. 设计一个基于观点术语oi的动态提示：“What aspect sentiment summary does the opinion oi in the text?”，从给定的文本中生成一连串与观点术语oi有关的方面情感摘要.
通过上述查询和提示，文本生成优雅地学习了静态查询的结论，自然地集成了术语抽取和文本生成. 这一过程中静态查询不携带任何上下文信息，并行的输出文本中所有可能满足条件的跨度，接下来动态提示以这些跨度为生成条件，引导双路文本生成. 通过上述方式，将术语抽取和文本生成结合起来，以术语作为生成条件引导文本生成，可以极大程度避免多个三元组一次性生成时带来的顺序依赖问题.
2.4 术语抽取
在术语抽取中，我们使用的方法是MRC方法，并行的预测相关术语的跨度的开始和结束位置. 在MRC中，有静态查询qD={qD1,qD2,…,qD|qD|}，其中D表示查询的术语集合，即方面术语集合A和观点术语集合O；还有一个长度为n的文本X={x1,x2,…,xn}. 我们使用带有Transformer结构的编码器作为MRC的编码器. 首先，将查询qD与句子X拼接起来，得到输入I={[CLS],qD1,qD2,…,qD|qD|,[SEP],x1,x2,…,xn}，[CLS]和[SEP]分别是开始标记和段标记. I在接下来被具有Transformer结构的编码器编码为上下文表示序列 {H_{\text{M}}} = \{ {\boldsymbol h_1},{\boldsymbol h_2},… ,{\boldsymbol h_{|{q_D}| + 2 + n}}\} .
术语抽取的答案为文本中的跨度，我们使用2元分类器来预测答案跨度，具体来说，对于一个上下文表示的编码序列 {H_{\text{M}}} ，一个分类器用于预测每一个位置是否是答案跨度的开始位置，另外一个分类器用于预测每一个位置是否是答案跨度的结束位置：
{\hat{\boldsymbol P}}_{{x}_{j},{q}_{D}}^{\text{start}}=\text{softmax}({\boldsymbol h}_{j+2+\left|{q}_{D}\right|}{\boldsymbol W}_{\text{start}})\text{，} (1) {\hat{\boldsymbol P}}_{{x}_{j},{q}_{D}}^{\text{end}}=\text{softmax}({\boldsymbol h}_{j+2+\left|{q}_{D}\right|}{\boldsymbol W}_{\text{end}})\text{，} (2) 其中 {\boldsymbol W_{{\text{start}}}} \in {\mathbb{R}^{{d_H} \times 2}} 和{\boldsymbol W_{{\text{end}}}} \in {\mathbb{R}^{{d_H} \times 2}}都是模型的可训练参数，{d_H}表示 {H_{\text{M}}} 中的向量的隐藏层维数. 损失函数为 {\mathcal{L}_1} = - \displaystyle\sum_{j = 1}^n {[{\boldsymbol P}_{{x_j},{q_D}}^{\rm start}\ln {{ \hat{\boldsymbol P}}^{\rm start}}_{{x_j},{q_D}} + {\boldsymbol P}_{{x_j},{q_D}}^{\rm end}\ln {{ \hat{\boldsymbol P}}^{\rm end}}_{{x_j},{q_D}}]} ，其中P表示真实的概率分布， \hat{\boldsymbol P} 表示模型预测的概率分布.
对方面术语和观点术语使用MRC框架进行抽取时，共用同一个编码器，各自使用单独的分类器. 在预测跨度时，对于每一个位置，根据模型预测的概率分布 \hat{\boldsymbol P} ，当其作为开始或结束位置的概率大于非开始或非结束位置的概率时，可以预测出多个可能的开始或结束位置. 匹配它们的规则十分重要，这将影响模型的性能. 匹配应该考虑开始和结束位置的概率，以及位置之间的关系. 我们的匹配规则具体来说是：每一个结束位置匹配在之前未匹配的概率最大的开始位置，如果多个位置概率相同，则匹配最近的位置.
2.5 文本生成
鉴于文献[29]将文本生成（text generation）应用到ABSA任务上所取得的成功，我们使用了释义建模方法，将观点抽取任务转换为文本生成任务. 由于ASTE任务中有方面术语和观点术语，因此有2个提示方向，分别是方面术语提示路径和观点术语提示路径.
现在假设有一个长度为m的基于{a_i}的动态方面术语提示d_{{a_i}}^A = \{ d_1^{{a_i}},d_2^{{a_i}},…,d_m^{{a_i}}\} ，以及一个长度为n的句子X = \{ {x_1},{x_2},…,{x_n}\} . 接下来，将动态方面术语提示d_{{a_i}}^A和句子X组合起来得到文本生成的输入 {X_{\text{G}}} = \{ [{\text{CLS}}], d_1^{{a_i}},d_2^{{a_i}},…,d_m^{{a_i}},[{\text{SEP}}],{x_1},{x_2},…,{x_n}\} ，[CLS]和[SEP]分别是开始标记和段标记. 同理，假设有一个长度为m的基于{o_i}的动态观点术语提示d_{{o_i}}^O = \{ d_1^{{o_i}},d_2^{{o_i}},…,d_m^{{o_i}}\} ，以及一个长度为n的文本X = \{ {x_1},{x_2},…,{x_n}\} ，则可以得到文本生成的输入为 {X_{\text{G}}} = \{ [{\text{CLS}}],d_1^{{o_i}},d_2^{{o_i}},…,d_m^{{o_i}}, [{\text{SEP}}],{x_1}, {x_2},…,{x_n}\} .
接下来假设包含方面术语{a_i}或者观点术语{o_i}的三元组为（a, o, s），首先对情感s按照式（3）进行投影：
{F_s}(s) = \left\{ {\begin{aligned} & {{\text{good}},}\;\;{{\text{if }}s{\text{ is POS,}}} \\ & {{\text{bad}},}\;\;{{\text{if }}s{\text{ is NEG,}}} \\ & {{\text{so-so}},}\;\;{{\text{if }}s{\text{ is NEU,}}} \end{aligned}} \right. (3) 其中{F_s}(s)为情感s的投影函数. 最后我们将三元组（a, o, s）按照模板“aspect a is {F_s}(s) because opinion o”转化成一个方面级情感摘要，在推理测试阶段可以根据该模板还原三元组. 如果包含方面术语{a_i}或者观点术语{o_i}的三元组存在多个，则利用[SEP]把多个方面级情感摘要进行拼接，得到文本生成的目标{Y_{\text{G}}}，令{Y_{\text{G}}} = \{ {y_1},{y_2},… ,{y_N}\} ，其中N表示{Y_{\text{G}}}的长度.
对于文本生成的输入与输出，我们使用经典的Encoder-Decoder模型Transformers进行建模. 给定一个输入{X_{\text{G}}}，编码器首先将其编码为一个上下文表示的编码序列{H_{\text{G}}}：
{H}_{\text{G}}=Encoder({X}_{\text{G}})\text{，} (4) 其中编码序列 {H_{\text{G}}} = \{ \boldsymbol h_1^{\text{G}},\boldsymbol h_2^{\text{G}},… ,\boldsymbol h_{|{H_{\text{G}}}|}^{\text{G}}\} ，Encoder(·)表示Transformers的编码器. 然后，解码器将以自回归的形式进行解码生成目标序列{Y_{\text{G}}}，并对目标序列{Y_{\text{G}}}的条件概率{p_\theta }({Y_{\text{G}}}|{H_{\text{G}}})进行建模，\theta 表示模型的参数. 具体而言，在解码器的第i步，解码器根据编码序列{H_{\text{G}}}和先前的解码标记计算解码器的隐藏状态 {s_i} :
{s}_{i}=Decoder({H}_{\text{G}},{y}_{1},{y}_{2},\mathrm{… },{y}_{i-1})\text{，} (5) 其中Decoder(·)表示Transformers的解码器， {y_1},{y_2},…, {y_{i - 1}} 表示之前的解码标记. 接下来利用隐藏状态 {s_i} 计算第i步解码标记的条件概率分布：
{\boldsymbol P}_{\theta }({y}_{i}|{H}_{\text{G}},{y}_{1},{y}_{2},\mathrm{… },{y}_{i-1})=\text{softmax}({\boldsymbol W}_{\text{G}}^{\text{T}}{\boldsymbol s}_{i})\text{，} (6) 其中 {\boldsymbol W_{\text{G}}} 用于将{\boldsymbol s_i}映射到词汇表的logit向量，然后使用该向量计算整个词汇集上的概率分布. 最后从这个概率分布中得到第i步的解码标记{y_i}的条件概率，记为{p_\theta }({y_i}|{H_{\text{G}}},{y_1},{y_2},… ,{y_{i - 1}}).
在具有预训练的Encoder-Decoder的模型中，如T5，我们可以用预训练的参数权重进行初始化\theta ，在此基础上进一步微调输入输出目标对上的参数，训练目标为 \mathcal{L}_{2}=-\displaystyle \sum _{i=1}^{N}\mathrm{ln}{p}_{\theta }({y}_{i}|{H}_{\text{G}},{y}_{1},{y}_{2},… ,{y}_{i-1})， 其中N是目标序列{Y_{\text{G}}}的长度.
2.6 训练与推理
2.6.1 计划采样
暴露偏差（exposure bias）[34]就是指训练时每个输入都来自于真实样本的标签，测试时输入却是来自上一步的输出. 在我们的TePDuP方法中，训练时第2阶段的所有提示输入都基于真实样本的标签，而在测试时第2阶段的提示输入来自第1阶段的输出，因此存在暴露偏差问题. 为了解决这个问题，我们引入了计划采样，通过概率控制真实样本和第1阶段输出的比例，以防止全部采用真实样本引起的矫枉过正. 具体步骤如下：
1）首先，我们文本生成的过程中设置了一个变量R初始值为1，R是随着训练步数的增加而变小.
2）然后，在每一步训练过程中，我们都将生成一个范围在[0,1]之间的随机数Random.
3）如果Random的值小于R，文本生成训练的输入为真实术语对应的提示输入. 反之Random的值不小于R，文本生成训练的输入为MRC抽取的术语对应的提示输入.
对于MRC抽取的术语对应的输出，我们采取如下的步骤进行确定：
1）假设抽取的术语为sp，对应的跨度的开始和结束位置为 s{t_p} 和e{d_p}. 与sp术语类型相同的正确的术语集合为T = \{ {t_i}\} _{i = 1}^{|T|}，假设第i个术语对应的跨度的开始和结束位置为s{t_i}和e{d_i}.
2）术语sp与集合T中的每一个术语{t_i}进行匹配，定义术语sp和{t_i}之间关系为
r(sp,{t_i}) = \left\{ {\begin{aligned} & {1,}\;\;\begin{gathered} {\text{if (}}s{t_p} \geqslant s{t_i}{\text{ and }}e{d_p} \leqslant e{d_i})\; \\ {\text{or}}\;(s{t_p} \leqslant s{t_i}{\text{ and }}e{d_p} \geqslant e{d_i})， \\ \end{gathered} \\ &{0,}\;\;{{\text{other,}}} \end{aligned}} \right. 其中值为1表示sp和{t_i}之间有关联，0表示没有关联.
3）如果r(sp,{t_i}) = 1，并且{t_i}为方面术语时则对应的动态术语提示 d_{{t_i}}^A 为“What aspect sentiment summary does the aspect sp in the text？”，如果{t_i}为观点术语时则对应的动态术语提示 d_{{t_i}}^O 为“What aspect sentiment summary does the opinion sp in the text？”. 对应的输出则为包含{t_i}的三元组所对应的输出，具体如2.5节所描述.
这样做是因为在术语抽取中，其输出的不正确的术语与正确的术语相比，会有一些缺失或多余，有一部分不正确术语其是包含了正确术语或者正确术语的关键信息的. 并且文本生成的输出包含了整个三元组，通过训练模型是能够在提示前缀中捕捉到正确信息的. 我们没有考虑sp和{t_i}部分相交的情况，这是因为这样需要考虑相交部分在2个术语中的重要性，我们也尝试考虑过这种情况，得到了与上述的方案相近的结果，为了简单起见本文只采用上述的方法.
2.6.2 推理过程
为了合并基于方面术语提示和基于观点术语提示的答案，这里需要计算三元组的生成概率. 对于给定文本可以通过静态查询得到一组方面术语A = \{ {a_i}\} _{i = 1}^{|A|}和一组观点术语O = \{ {o_i}\} _{i = 1}^{|O|}. 在MRC中，术语{t_i}的概率等于其开始位置l和结束位置r的概率的乘积：
p({t_i}) = \hat p_{{x_l},{q_D}}^{{\text{start}}} \times \hat p_{{x_r},{q_D}}^{{\text{end}}}， (7) 其中D表示查询的术语集合类型与{t_i}的术语类型相同， \hat p_{{x_l},{q_D}}^{{\text{start}}} 表示位置l为开始位置的概率， \hat p_{{x_r},{q_D}}^{{\text{end}}} 表示位置r为结束位置的概率， \hat p_{{x_l},{q_D}}^{{\text{start}}} 和 \hat p_{{x_r},{q_D}}^{{\text{end}}} 都可以通过MRC预测过程中得到的2维概率分布 \hat {\boldsymbol P}_{{x_l},{q_D}}^{{\text{start}}} 和 \hat {\boldsymbol P}_{{x_r},{q_D}}^{{\text{end}}} 得到. 三元组的概率可以简单的认为等于其方面术语或观点术语与生成文本的生成概率的乘积.
对于一条文本，假设基于方面术语{a_i}提示生成的三元组集合为{V_{{a_i}}}，基于观点术语{o_i}提示生成的三元组集合为{V_{{o_i}}}，那么三元组T的生成概率为
p(T) = \left\{ {\begin{aligned} & {\sqrt {p({a_i})p({Y_{\text{G}}}|{a_i})} ,}\;\;{{\text{if }}\;T \in {V_{{a_i}}},} \\ & {\sqrt {p({o_i})p({Y_{\text{G}}}|{o_i})} ,}\;\;{{\text{if }}\;T \in {V_{{o_i}}},} \end{aligned}} \right. 其中p({Y_{\text{G}}}|{a_i})和p({Y_{\text{G}}}|{o_i})为文本生成模型生成目标序列{Y_{\text{G}}}的生成概率，具体为每一步条件概率的乘积 \displaystyle\prod\limits_{i = 1}^n {{p_\theta }({y_i}|{H_{\text{G}}},{y_1},{y_2},… ,{y_{i - 1}})} ；另外为了在训练阶段更容易得到性能最佳的模型，我们在p(T)的表达式中加上根号平滑生成概率. 同时在一个动态术语提示生成文本中可能会包含多个三元组，用生成文本的生成概率去计算三元组的生成概率并不是很严谨，但是在大部分情况下生成文本中只包含1个三元组. 为了简单起见这里就利用了生成文本的生成概率去计算三元组的生成概率. 设{V_a}为所有集合{V_{{a_i}}}的并集，{V_o}为所有集合 {V_{{o_i}}} 的并集. 此时可以合并2个提示路径上的答案：
V = {V_1} \cup \{ T|T \in {V_2},p(T) > \delta \} ， (8) 其中T表示三元组（a, o, s），{V_1} 表示{V_a}和{V_o}的交集，{V_2} 表示{V_a}和{V_o}的对称差，\delta 为超参数，范围[0，1]. 最终基于上述方案，可以得到最终的三元组集合V.
2.6.3 损失函数
模型在训练过程损失总共有2个部分，术语抽取和文本生成，因此总的损失函数为 \mathcal{L} = {\lambda _1}\mathcal{L}_1^A + (1 - {\lambda _1})\mathcal{L}_2^A + {\lambda _2}\mathcal{L}_1^O + (1 - {\lambda _2})\mathcal{L}_2^O ，其中{\lambda _1}，{\lambda _2}，取值范围为[0,1]，\mathcal{L}_1^A为方面术语抽取的损失， \mathcal{L}_1^O 为观点术语抽取的损失，\mathcal{L}_2^A为基于方面术语提示的文本生成的损失， \mathcal{L}_2^O 为基于观点术语提示的文本生成的损失.
3. 实验分析
3.1 实验数据
为了验证我们的模型TePDuP的有效性，我们在ASTE-DATA-V2[16]数据集上进行了验证，ASTE-DATA-V2是ASTE任务的基线数据集，其中包含了14res，14lap，15res，16res这4个子数据集. 数据集源自Laptop14，Rest14，Rest15，Rest16，它们来自一个共同的竞赛SemEval[2, 52-53]. ASTE-DATA-V2数据集是ASTE-DATA-V1[14]数据集的改进版本，它完善了数据并消除一些情感冲突三元组.
3.2 评估指标
我们使用精确率P、召回率R和F1值作为评估指标来衡量性能. 当且仅当正确预测方面术语，观点术语和情感极性时，三元组预测才正确.
3.3 对比模型
进行比较的基线模型，大致可以分为基于流水线的方法[14]、基于MRC建模的方法[25-27]、基于跨度表示的方法[21-23]、基于生成式模型的Seq2Seq建模的方法[28-32]以及基于统一标记方案的端到端的方法[16-18,20]. 具体的方法介绍如下：
1）Two-Stage（2020）[14]. 一种基于流水线的方法，第1阶段抽取带有情感的方面术语和观点术语. 第2阶段从抽取的方面术语和观点术语和中找到有效的方面-观点对，形成三元组预测.
2）JET（2020）[16]. 该方法设计了一种位置感知标记方案，用于丰富标签表示，将任务转化为序列标记任务以一次性从文本中抽取所有的三元组.
3）GTS（2020）[17]. 该方法与JET类似都是设计了一种统一的标记方案. 该方法使用了一种网格标记法，学习词与词之间或者网格的表示. 最终从网格中还原三元组.
4）Span-ASTE（2021）[21]. 一种跨度级交互模型，明确考虑各整体跨度之间的交互，该方法注重多词组合之间的交互，在多词情况下性能提升明显.
5）BMRC（2021）[25]. 该方法使用的是双向MRC框架，一个先预测方面术语，再预测观点术语，另一个先预测观点术语，再预测方面术语. 最后进行情感分类，得到最终的三元组.
6）EMC-GCN（2022）[18]. 该方法也是基于网格标记法，充分利用了语言特性，利用多通道图来编码和学习词与词之间的关系，设计并细化了词对的表示.
7）GAS（2021）[28]. 一种Seq2Seq建模方法，输入是句子，输出是观点元组. 该方法使用注释式和抽取式2种生成范式.
8）ParaPhrase（2021）[29]. 一种Seq2Seq建模的方法，输入句子，然后将情感元组释义建模为自然语言句子并作为生成目标. 最后从生成的句子中还原情感元组.
9）BART-ABSA（2021）[30]. 一种Seq2Seq建模的方法，将句子作为输入，并将指针索引作为生成目标. 将术语的开始索引和结束索引作为预测目标.
10）SEL&&SSI（2022）[31]. 一种Seq2Seq建模的方法，输入句子和任务信息，输出结构化观点元组，根据是否利用外部知识分为SEL和UIE这2个版本.
11）RoBMRC（2022）[27]. 在BMRC的基础上提出了4种优化策略，以进一步加强抽取性能.
12）COM-MRC（2022）[26]. 提出了一种上下文掩码MRC，用于解决在多个方面术语时MRC可能会由于其他方面术语的干扰而失败的情况.
13）SBN（2022）[22]. 提出了一个跨度级双向网络指导模型区分相似跨度，设计了一种推理策略，以消除特定于跨度模型的相互冲突的三元组结果.
14）Seq2Path（2022）[32]. 在Seq2Seq建模的基础上将线性生成方式更改为了树结构输出方式，以无序的方式输出情感元组.
15）BDTF（2022）[20]. 一种边界驱动表格填充的方法，将三元组表示为2维表中的关系区域，并将ASTE任务转换为关系区域的检测和分类.
16）STAGE（2023）[23]. STAGE将ASTE任务定义为一个多类跨度分类问题，通过抽取跨度级别的信息和约束来生成更准确的方面情感三元组.
3.4 实验设置
我们主要使用了T5-base[50]模型作为2.5节中描述文本生成阶段的文本生成模型，该模型采用了Transformer 的encoder-decoder网络体系结构. 同时使用T5-base的encoder作为MRC的编码器，文本生成和MRC的T5-base的encoder参数进行共享. 在训练过程中T5-base的学习率为3E－4，模型其他部分的学习率为1E－3，训练轮数为20，批处理的大小设置为8. 计划采样的方式采用了自然指数形式，即R = {R_0}{{\text{e}}^{ - step}}，{R_0}为初始值1，step为训练步数. 超参数\delta 的取值为0.95，{\lambda _1}，{\lambda _2}取值分别为0.03，0.03. 我们的F1值在实验中至少获得了3次，并对结果平均得到最终的结果.
3.5 主要结果
主要结果如表1所示，其中“*”标记的ParaPhrase方法，我们在按照相关文献和代码给的实验参数，将文本生成的释义建模更变为本文第2节所述的释义建模，进行复现得到的结果，F1值与原始文献十分接近. “*”标记的BMRC，RoBMRC，COM-MRC方法，我们则是将编码器从BERT替换为T5-base的encoder复现得到的结果. 从表1中的实验结果来看，我们的模型远远领先于Peng-two-stage，说明了ASTE任务的复杂性，不是一般的基于流水线的方法能够处理的. 与基于统一标记方案的端到端的方法，如JET，GTS，EMC-GCN等方法相比，TePDuP方法在精确率P、召回率R和F1值上大幅度领先，其中F1值与EMC-GCN相比平均领先6.45个百分点. 另外我们也发现基于MRC和基于跨度表示的方法也取得了不错的成绩，尤其是基于BMRC进行改进的RoBMRC和基于跨度表示SBN取得了十分不错的成绩. 与RoBMRC，SBN，BDTF这3个强基线相比，TePDuP在4个数据集上的平均F1值上分别领先3.53，3.19，3.04个百分点. 与基于Seq2Seq建模方法相比，TePDuP也是大幅领先于这些方法，其中与强基线UIE-base相比，TePDuP在4个数据集上的平均F1值上领先3.47个百分点. 另外，我们还发现Seq2Path以观点树的形式生成三元组，提升了生成模型的抽取性能；但Seq2Path在生成路径过程中当前标记的生成依赖于先前标记，存在一定的误差传播问题，可能导致了其性能弱于TePDuP.
表 1 ASTE-DATA-V2数据集的4个子数据集上的主要实验结果Table 1. Main Experimental Results of the Four sub Datasets of the ASTE-DATA-V2 Dataset% 模型 14res 14lap 15res 16res P R F1 P R F1 P R F1 P R F1 Peng-two-stage[18] 43.24 63.66 51.46 37.38 50.38 42.87 48.07 57.51 52.32 46.96 64.24 54.21 JET[18] 70.56 55.94 62.40 55.39 47.33 51.04 64.45 51.96 57.53 70.42 58.37 63.83 GTS[18] 68.09 69.54 68.81 59.40 51.94 55.42 59.28 57.93 58.60 68.32 66.86 67.58 EMC-GCN[18] 71.21 72.39 71.78 61.70 56.26 58.81 61.54 62.47 61.93 65.62 71.30 68.33 Span-ASTE[21] 72.89 70.89 71.85 63.44 55.84 59.38 62.18 64.45 63.27 69.45 71.17 70.26 SBN[22] 76.36 72.43 74.34 65.68 59.88 62.65 69.93 60.41 64.82 71.59 72.57 72.08 STAGE[23] 78.58 69.58 73.76 70.56 55.16 61.88 72.33 58.93 64.94 78.38 69.10 73.45 BMRC* 75.19 68.31 71.58 70.70 53.77 61.09 64.33 58.76 61.42 73.22 65.95 69.40 RoBMRC* 73.15 71.83 72.48 65.52 59.85 62.56 65.77 65.36 65.56 70.39 73.54 71.93 COM-MRC* 71.76 70.82 71.29 65.52 63.58 64.54 65.84 65.98 65.91 65.64 74.32 69.71 BART-ABSA[18] 65.52 64.99 65.25 61.41 56.19 58.69 59.14 59.38 59.26 66.60 68.68 67.62 ParaPhrase* 73.41 70.82 72.09 64.31 58.74 61.40 60.85 64.74 62.73 70.42 71.79 71.10 GAS[28] - - 72.16 - - 60.78 - - 62.10 - - 70.10 UIE-base[31] - - 72.55 - - 62.94 - - 64.41 - - 72.86 Seq2Path[32] - - 75.52 - - 65.27 - - 65.88 - - 73.67 BDTF[20] 75.53 73.24 74.35 68.94 55.97 61.74 68.76 63.71 66.12 71.44 73.13 72.27 TePDuP（本文） 80.79 73.20 76.80 74.79 60.58 66.93 73.35 61.64 66.92 77.53 74.51 75.99 “*”标记的方法的数据来自我们复现的结果，“-”表示原论文中并没有这一项数据. 同时我们也对MRC和文本生成阶段进行了实验，实验结果见表2和表3. 从表3中可以观察到，如果第1阶段的结果完全正确，第2阶段的性能将显著优于2阶段联合的结果. 然而第1阶段的抽取结果并不会完成正确，因此就会出现误差传播的情况，从而影响第2阶段的结果.
表 2 ASTE-DATA-V2数据集的4个子数据集上ATE与OTE结果Table 2. The Results of ATE and OTE for the Four sub Datasets of ASTE-DATA-V2 Dataset% 数据集 ATE OTE P R F1 P R F1 14res 87.03 74.95 80.54 85.58 74.65 79.74 14lap 87.77 74.03 80.32 87.14 72.38 79.07 15res 83.94 76.49 80.04 81.17 74.64 77.76 16res 83.99 78.60 81.21 83.66 82.68 83.17 表 3 ASTE-DATA-V2数据集的4个子数据集上基于术语提示的文本生成结果Table 3. The Text Generation Results Based on Term Prompts for the Four sub Datasets of ASTE-DATA-V2 Dataset% 数据集 提示路径 文本生成 P R F1 14res 方面术语 83.18 82.79 82.99 观点术语 85.10 81.79 83.41 14lap 方面术语 74.30 70.10 72.14 观点术语 75.24 73.29 74.25 15res 方面术语 73.03 73.81 73.41 观点术语 77.71 77.38 77.54 16res 方面术语 83.57 82.42 82.99 观点术语 83.16 81.71 82.42 在T5-base的基础上，我们还引入了在ABSA中常用的几种预训练生成模型，包括T5-small，T5-large，BART-base. 同时，我们对几个强基线算法和生成式方法的预训练模型的参数和性能进行了统计，结果如表4所示. 从表4中可以观察到，对于几个MRC方法而言，BMRC在替换掉编码器后性能有明显的提升，而其他2种方法整体上得到了较为相近的结果. 值得注意的是，COM-MRC方法替换掉编码器后在14lap数据集上表现提升较为明显. 然而，基于BART-base的模型相较于基于T5-base的模型表现较差. 此外，在TePDuP方法测试的几个预训练模型中，我们发现T5-small取得了不错的成绩，超过了大部分的抽取式和生成式方法. 考虑到T5-small的参数量较小，这可能在一些设备资源有限的情况下具有用处.
表 4 不同预训练模型在ASTE-DATA-V2数据集的4个子数据集上的F1值表现Table 4. Comparison Results with Different Pre-Trained Models on the Four sub Datasets of ASTE-DATA-V2 Dataset in Terms of F1-score% 模型 预训练模型 预训练
模型参
数量/M14res 14lap 15res 16res 平均
F1值BMRC BERT-base-uncased 109 67.99 57.82 60.02 65.75 62.90 T5-base. encoder 110 71.58 61.09 61.42 69.40 65.87 RoBMRC BERT-base-uncased 109 72.62 62.12 65.63 73.16 68.38 T5-base. encoder 110 72.48 62.56 65.56 71.93 68.13 COM-
MRCBERT-base-uncased 109 72.01 60.17 64.53 71.57 67.07 T5-base. encoder 110 71.29 64.54 65.91 69.71 67.86 BART-
ABSABART-base 139 65.25 58.69 59.26 67.62 62.71 GAS T5-base 223 72.16 60.78 62.10 70.10 66.29 ParaPhrase T5-base 223 72.09 61.40 62.73 71.10 66.83 Seq2Path T5-base 223 75.52 65.27 65.88 73.67 70.09 UIE UIE-base 223 72.55 62.94 64.41 72.86 68.19 UIE-large 750 74.52 63.88 67.15 75.07 70.16 BDTF BERT-base-uncased 109 74.35 61.74 66.12 72.27 68.62 DeBERTa-v3-base 184 75.48 66.71 68.22 75.36 71.44 TePDuP
（本文）BART-base 139 72.21 62.01 62.82 71.36 67.10 T5-small 61 73.17 62.46 64.70 73.70 68.51 T5-base 223 76.80 66.93 66.92 75.99 71.66 T5-large 750
M7777.16 67.75 68.25 76.46 72.40 3.6 消融实验
为了验证本文中所提出的创新点和观点的有效性，我们在ASTE-DATA-V2数据集上与基于Seq2Seq建模的方法进行了消融实验. 实验结果如表5所示. 首先可以发现计划采样对于模型的性能提升是明显的，可以看到针对单独每一个路径，加入计划采样的提示是明显的，方面术语路径加入计划采样平均F1值提升0.80个百分点，观点术语路径加入计划采样平均F1值提升0.87个百分点，总的2条路径的合并结果在加入计划采样后性能F1值提升了1.20个百分点. 接下来，我们从表5中可以发现，没有合并2条路径的结果并不是很好，但是还是领先于大部分基于Seq2Seq建模的生成式方法，这说明了我们将术语用于提示文本生成这个思路是有效的. 我们的方法与ParaPhrase相比，引入了条件提示前缀与计划采样，对文本生成的优化是十分明显的，其中基于方面术语和观点术语提示的结果，在4个数据集上平均F1值分别领先1.76和1.28个百分点. 另外与SEL-base， UIE-base相比，w/o ATP & S-S的结果并没有超过UIE-base，可能的原因有2方面：一方面是具有更丰富的外部知识的预训练模型可以取得更好的结果. 另一方面观点术语抽取方法性能还不够好，表3中观点术语路径的平均F1值79.41%高于ATE的77.88%，然而表2中OTE的平均F1值79.94%低于ATE的80.53%，进而可能影响模型的最终性能. 如果采用更好的术语抽取方法，TePDuP模型是可以取得更好的结果的.
表 5 ASTE-DATA-V2数据集的4个子数据集上的F1值消融实验结果Table 5. The F1-score Ablation Experiment Results on the Four sub Datasets of ASTE-DATA-V2 Dataset% 模型 14res 14lap 15res 16res 与TePDuP
平均F1值
差值TePDuP（本文） 76.80 66.93 66.92 75.99 - w/o S-S（本文） 75.32 66.42 65.14 74.96 –1.20 w/o OTP（本文） 74.96 64.85 65.09 72.68 –2.27 w/o OTP & S-S（本文） 74.44 64.02 64.39 71.53 –3.07 w/o ATP（本文） 74.23 64.88 63.32 73.51 –2.68 w/o ATP & S-S（本文） 73.15 64.46 62.40 72.42 –3.55 BART-ABSA 65.25 58.69 59.26 67.62 –8.96 GAS 72.16 60.78 62.10 70.10 –5.38 ParaPhrase 72.09 61.40 62.73 71.10 –4.83 SEL-base 71.27 58.69 59.60 70.24 –6.71 UIE-base 72.55 62.94 64.41 72.86 –3.47 w/o S-S（scheduled-sampling）表示在TePDuP基础上去掉计划采样优化，w/o OTP（opinion term prompt）表示没有方面术语提示路径的答案，w/o OTP & S-S表示没有方面术语提示路径的答案并且还去掉了计划采样优化；类似地，w/o ATP（aspect term prompt）和w/o ATP & S-S分别表示没有方面术语提示路径的答案以及同时没有方面术语提示路径的答案和计划采样优化，“-”表示没有此项数据. 同时为了验证传统的基于Seq2Seq建模的生成式方法中的误差累计的问题. 我们在ASTE-Data-V2数据集的测试数据中选择了总共676条（14lap为144条，14res为288条，15res为112条，16res为134条）含有多个三元组的数据进行了测试，并对结果进行了统计与分析. 实验结果如图4所示. 其中，方面术语提示表示基于方面术语提示路径的答案，观点术语提示表示基于观点术语提示路径的答案，3+表示累计抽取错误的三元组数量大于等于3. 图4中可以看出，当错误元组数量为1时，传统的基于Seq2Seq建模的生成式方法ParaPhrase在对后续的三元组进行抽取时的精确率明显低于本文提出的方法. 当错误元组的数量增加到2，以及3+时，ParaPhrase的下降更加显著. 从整体趋势来看，本文提出的方法对于抽取错误的累积并不敏感，即使抽取出一些错误的元组，也不会干扰其他元组的抽取. 相比之下，传统的生成式方法如ParaPhrase对于错误的累积非常敏感，并且随着累计抽取错误的元组数增加，后续生成的元组的精确率急剧下降. 也说明了传统的基于Seq2Seq建模的生成式方法，比如ParaPhrase，其误差累积是一个客观存在的问题. 相比于传统的基于Seq2Seq建模生成式方法，我们提出的方法在累计抽取错误的元组数增加的情况下，对其他生成的元组的精确率影响较小. 这是因为本文的方法通过术语提示文本生成，不会干扰其他术语提示的元组的生成，因此对误差累积问题不敏感.
![]()
图 4 错误三元组之后的后续生成的三元组的精确率Figure 4. The precision of subsequently generated triples following incorrect triples最后，我们还统计了ParaPhrase与我们的方法在不同三元组数量下的抽取结果，如图5所示，其中3+表示三元组数量大于等于3的情况. 可以发现，我们的方法在三元组的数量较多的情况下优于ParaPhrase. 甚至在14res和14lap这2个数据集，单个三元组的抽取性能超过了ParaPhrase. 这说明了TePDuP模型有效的缓解和避免了传统的基于Seq2Seq建模生成式方法，如ParaPhrase以顺序串联形式生成三元组所带来的大解码长度的误差累计，并且在TePDuP大多数情况下都有着不错的性能表现.
![]()
图 5 不同目标三元组数量下的F1值比较Figure 5. Comparison of F1-score with different number of gold triplets3.7 样例分析
在图6中，我们从ASTE-DATA-V2的测试集中选取了多个三元组抽取的案例，用于比较我们的方法TePDuP和ParaPhrase. 在第1个例子中，ParaPhrase抽取出了1个错误的三元组；方面术语提示路径少抽取了1个三元组，但是观点术语提示路径正确的抽取了2个三元组；最终通过合并得到了正确的答案. 第2个样例中，ParaPhrase抽取出了1个错误的三元组；方面术语提示路径抽取正确，但是观点术语提示路径抽取了1个错误的三元组；最终通过合并，过滤掉了错误的答案，得到了正确的答案. 在第3个样例中，MRC抽取了错误的方面术语，但是错误的方面术语中包含了正确的方面术语信息；在计划采样的修正与调整下，方面术语提示路径仍然能抽取出正确的答案，这证明了计划采样方法有效性. 最后1个样例中三元组数量较多，ParaPhrase只抽取了（setup，easy，POS），（configure，intuitive，POS）这2个三元组，在抽取了（configure，intuitive，POS）之后，可能受到了Seq2Seq建模的学习约束，将（configure，intuitive，POS）作为最后1个三元组，而结束解码. 而方面术语提示路径和观点术语提示路径的结果都是正确的. 最后1个样例也说明了TePDuP方法不是很关心三元组的顺序.
4. 总 结
在本文中，我们根据观点术语、三元组和方面术语三者通常呈现出的几乎1对1的关联特性，提出了一种基于术语引导双路文本生成的ASTE框架——TePDuP用于缓解Seq2Seq建模中存在顺序依赖的问题. 我们的TePDuP主要分为2个部分，第1个部分利用MRC框架，并行的抽取文本中所有的术语. 第2个部分在抽取的术语基础上形成动态提示前缀，引导双路文本生成. 为了缓解MRC抽取偏差的问题，我们设计了一个计划采样方法，对训练过程进行优化. 此外我们的推理方法，根据生成概率结合双路文本生成结果，可以有效地加强模型鲁棒性，提高抽取性能. 最后，我们在基准数据集上进行的实验证明了我们的TePDuP框架的有效性. 未来，我们将致力于探索更好的生成方式，以更好的解决顺序依赖问题.
作者贡献声明：李银强提出了算法思路和实验方案；蓝天和向飛阳负责完成实验并撰写论文；孙丽纯和杜知涵提出论文修改意见；刘瑶和刘峤提出指导意见.
-
![]()
图 2 Seq2Seq对不同三元组顺序的训练和预测
Figure 2. The training and testing of Seq2Seq for different triplet orders
![]()
图 4 错误三元组之后的后续生成的三元组的精确率
Figure 4. The precision of subsequently generated triples following incorrect triples
![]()
图 5 不同目标三元组数量下的F1值比较
Figure 5. Comparison of F1-score with different number of gold triplets
表 1 ASTE-DATA-V2数据集的4个子数据集上的主要实验结果
Table 1 Main Experimental Results of the Four sub Datasets of the ASTE-DATA-V2 Dataset
% 模型 14res 14lap 15res 16res P R F1 P R F1 P R F1 P R F1 Peng-two-stage[18] 43.24 63.66 51.46 37.38 50.38 42.87 48.07 57.51 52.32 46.96 64.24 54.21 JET[18] 70.56 55.94 62.40 55.39 47.33 51.04 64.45 51.96 57.53 70.42 58.37 63.83 GTS[18] 68.09 69.54 68.81 59.40 51.94 55.42 59.28 57.93 58.60 68.32 66.86 67.58 EMC-GCN[18] 71.21 72.39 71.78 61.70 56.26 58.81 61.54 62.47 61.93 65.62 71.30 68.33 Span-ASTE[21] 72.89 70.89 71.85 63.44 55.84 59.38 62.18 64.45 63.27 69.45 71.17 70.26 SBN[22] 76.36 72.43 74.34 65.68 59.88 62.65 69.93 60.41 64.82 71.59 72.57 72.08 STAGE[23] 78.58 69.58 73.76 70.56 55.16 61.88 72.33 58.93 64.94 78.38 69.10 73.45 BMRC* 75.19 68.31 71.58 70.70 53.77 61.09 64.33 58.76 61.42 73.22 65.95 69.40 RoBMRC* 73.15 71.83 72.48 65.52 59.85 62.56 65.77 65.36 65.56 70.39 73.54 71.93 COM-MRC* 71.76 70.82 71.29 65.52 63.58 64.54 65.84 65.98 65.91 65.64 74.32 69.71 BART-ABSA[18] 65.52 64.99 65.25 61.41 56.19 58.69 59.14 59.38 59.26 66.60 68.68 67.62 ParaPhrase* 73.41 70.82 72.09 64.31 58.74 61.40 60.85 64.74 62.73 70.42 71.79 71.10 GAS[28] - - 72.16 - - 60.78 - - 62.10 - - 70.10 UIE-base[31] - - 72.55 - - 62.94 - - 64.41 - - 72.86 Seq2Path[32] - - 75.52 - - 65.27 - - 65.88 - - 73.67 BDTF[20] 75.53 73.24 74.35 68.94 55.97 61.74 68.76 63.71 66.12 71.44 73.13 72.27 TePDuP（本文） 80.79 73.20 76.80 74.79 60.58 66.93 73.35 61.64 66.92 77.53 74.51 75.99 “*”标记的方法的数据来自我们复现的结果，“-”表示原论文中并没有这一项数据. 
下载: 导出CSV
表 2 ASTE-DATA-V2数据集的4个子数据集上ATE与OTE结果
Table 2 The Results of ATE and OTE for the Four sub Datasets of ASTE-DATA-V2 Dataset
% 数据集 ATE OTE P R F1 P R F1 14res 87.03 74.95 80.54 85.58 74.65 79.74 14lap 87.77 74.03 80.32 87.14 72.38 79.07 15res 83.94 76.49 80.04 81.17 74.64 77.76 16res 83.99 78.60 81.21 83.66 82.68 83.17
下载: 导出CSV
表 3 ASTE-DATA-V2数据集的4个子数据集上基于术语提示的文本生成结果
Table 3 The Text Generation Results Based on Term Prompts for the Four sub Datasets of ASTE-DATA-V2 Dataset
% 数据集 提示路径 文本生成 P R F1 14res 方面术语 83.18 82.79 82.99 观点术语 85.10 81.79 83.41 14lap 方面术语 74.30 70.10 72.14 观点术语 75.24 73.29 74.25 15res 方面术语 73.03 73.81 73.41 观点术语 77.71 77.38 77.54 16res 方面术语 83.57 82.42 82.99 观点术语 83.16 81.71 82.42
下载: 导出CSV
表 4 不同预训练模型在ASTE-DATA-V2数据集的4个子数据集上的F1值表现
Table 4 Comparison Results with Different Pre-Trained Models on the Four sub Datasets of ASTE-DATA-V2 Dataset in Terms of F1-score
% 模型 预训练模型 预训练
模型参
数量/M14res 14lap 15res 16res 平均
F1值BMRC BERT-base-uncased 109 67.99 57.82 60.02 65.75 62.90 T5-base. encoder 110 71.58 61.09 61.42 69.40 65.87 RoBMRC BERT-base-uncased 109 72.62 62.12 65.63 73.16 68.38 T5-base. encoder 110 72.48 62.56 65.56 71.93 68.13 COM-
MRCBERT-base-uncased 109 72.01 60.17 64.53 71.57 67.07 T5-base. encoder 110 71.29 64.54 65.91 69.71 67.86 BART-
ABSABART-base 139 65.25 58.69 59.26 67.62 62.71 GAS T5-base 223 72.16 60.78 62.10 70.10 66.29 ParaPhrase T5-base 223 72.09 61.40 62.73 71.10 66.83 Seq2Path T5-base 223 75.52 65.27 65.88 73.67 70.09 UIE UIE-base 223 72.55 62.94 64.41 72.86 68.19 UIE-large 750 74.52 63.88 67.15 75.07 70.16 BDTF BERT-base-uncased 109 74.35 61.74 66.12 72.27 68.62 DeBERTa-v3-base 184 75.48 66.71 68.22 75.36 71.44 TePDuP
（本文）BART-base 139 72.21 62.01 62.82 71.36 67.10 T5-small 61 73.17 62.46 64.70 73.70 68.51 T5-base 223 76.80 66.93 66.92 75.99 71.66 T5-large 750
M7777.16 67.75 68.25 76.46 72.40
下载: 导出CSV
表 5 ASTE-DATA-V2数据集的4个子数据集上的F1值消融实验结果
Table 5 The F1-score Ablation Experiment Results on the Four sub Datasets of ASTE-DATA-V2 Dataset
% 模型 14res 14lap 15res 16res 与TePDuP
平均F1值
差值TePDuP（本文） 76.80 66.93 66.92 75.99 - w/o S-S（本文） 75.32 66.42 65.14 74.96 –1.20 w/o OTP（本文） 74.96 64.85 65.09 72.68 –2.27 w/o OTP & S-S（本文） 74.44 64.02 64.39 71.53 –3.07 w/o ATP（本文） 74.23 64.88 63.32 73.51 –2.68 w/o ATP & S-S（本文） 73.15 64.46 62.40 72.42 –3.55 BART-ABSA 65.25 58.69 59.26 67.62 –8.96 GAS 72.16 60.78 62.10 70.10 –5.38 ParaPhrase 72.09 61.40 62.73 71.10 –4.83 SEL-base 71.27 58.69 59.60 70.24 –6.71 UIE-base 72.55 62.94 64.41 72.86 –3.47 w/o S-S（scheduled-sampling）表示在TePDuP基础上去掉计划采样优化，w/o OTP（opinion term prompt）表示没有方面术语提示路径的答案，w/o OTP & S-S表示没有方面术语提示路径的答案并且还去掉了计划采样优化；类似地，w/o ATP（aspect term prompt）和w/o ATP & S-S分别表示没有方面术语提示路径的答案以及同时没有方面术语提示路径的答案和计划采样优化，“-”表示没有此项数据.
下载: 导出CSV
-
[1] Liu Bing. Sentiment Analysis and Opinion Mining[M]. San Rafael, CA: Morgan & Claypool Publishers, 2012
[2] Pontiki M, Galanis D, Pavlopoulos J, et al. Semeval−2014 task 4: aspect based sentiment analysis[C]//Proc of the 8th Int Workshop on Semantic Evaluation. Stroudsburg, PA: ACL, 2014: 27−35
[3] Yin Yichun, Wei Furu, Dong Li, et al. Unsupervised word and dependency path embeddings for aspect term extraction[C]//Proc of the 25th Int Joint Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2016: 2979−2985
[4] Li Xin, Bing Lidong, Li Piji, et al. Aspect term extraction with history attention and selective transformation[C]//Proc of the 27th Int Joint Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2018: 4194−4200
[5] Ma Dehong, Li Sujian, Wu Fangzhao, et al. Exploring sequence-to-sequence learning in aspect term extraction[C]//Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2019: 3538−3547
[6] Liu Pengfei, Joty S, Meng Helen. Fine-grained opinion mining with recurrent neural networks and word embeddings[C]//Proc of the 2015 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2015: 1433−1443
[7] Wu Shengqiong, Fei Hao, Ren Yafeng, et al. Learn from syntax: improving pair-wise aspect and opinion terms extraction with rich syntactic knowledge[C]//Proc of the 30th Int Joint Conf on Artificial Intelligence. Berlin: Springer, 2021: 3957−3963
[8] Wang Yequan, Huang Minlie, Zhu Xiaoyan, et al. Attention-based LSTM for aspect-level sentiment classification[C]//Proc of the 2016 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2016: 606−615
[9] Chen Peng, Sun Zhongqian, Bing Lidong, et al. Recurrent attention network on memory for aspect sentiment analysis[C]//Proc of the 2017 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2017: 452−461
[10] Jiang Qingnan, Chen Lei, Xu Ruifeng, et al. A challenge dataset and effective models for aspect-based sentiment analysis[C]//Proc of the 2019 Conf on Empirical Methods in Natural Language Processing and the 9th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2019: 6280−6285
[11] Zhang Mi, Qian Tieyun. Convolution over hierarchical syntactic and lexical graphs for aspect level sentiment analysis[C]//Proc of the 2020 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2020: 3540−3549
[12] Chen Zhuang, Qian Tieyun. Relation-aware collaborative learning for unified aspect-based sentiment analysis[C]//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2020: 3685−3694
[13] Zhao He, Huang Longtao, Zhang Rong, et al. Spanmlt: a span-based multi-task learning framework for pair-wise aspect and opinion terms extraction[C]//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2020: 3239−3248
[14] Peng Haiyun, Xu Lu, Bing Lidong, et al. Knowing what, how and why: a near complete solution for aspect-based sentiment analysis[C]//Proc of the 34th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2020: 8600−8607
[15] Zhang Chen, Li Qiuchi, Song Dawei, et al. A multi-task learning framework for opinion triplet extraction[C]//Proc of the Findings of the Association for Computational Linguistics: EMNLP 2020. Stroudsburg, PA: ACL, 2020: 819−828
[16] Xu Lu, Li Hao, Lu Wei, et al. Position-aware tagging for aspect sentiment triplet extraction[C]//Proc of the 2020 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2020: 2339−2349
[17] Wu Zhen, Ying Chengcan, Zhao Fei, et al. Grid tagging scheme for aspect-oriented fine-grained opinion extraction[C]//Proc of the Findings of the Association for Computational Linguistics: EMNLP 2020. Stroudsburg, PA: ACL, 2020: 2576−2585
[18] Chen Hao, Zhai Zepeng, Feng Fangxiang, et al. Enhanced multi-channel graph convolutional network for aspect sentiment triplet extraction[C]//Proc of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2022: 2974−2985
[19] 刘欣逸,宁博,王明,et al. 基于句法增强的细粒度情感三元组抽取方法[J]. 计算机研究与发展,2023,60(7):1649−1660 Liu Xinyi, Ning Bo, Wang Ming, et al. Fine-grained sentiment triplet extraction method based on syntactic enhancement[J]. Journal of Computer Research and Development, 2023, 60(7): 1649−1660 (in Chinese)
[20] Zhang Yice, Yang Yifan, Li Yihui, et al. Boundary-driven table-filling for aspect sentiment triplet extraction[C]//Proc of the 2022 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2022: 6485−6498
[21] Xu Lu, Chia Y K, Bing Lidong. Learning span-level interactions for aspect sentiment triplet extraction[C]//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2021: 4755−4766
[22] Chen Yuqi, Chen Keming, Sun Xian, et al. A span-level bidirectional network for aspect sentiment triplet extraction[C]//Proc of the 2022 Conf Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2022: 4300−4309
[23] Liang Shuo, Wei Wei, Mao Xianling, et al. STAGE: span tagging and greedy inference scheme for aspect sentiment triplet extraction[C]//Proc of the 37th AAAI Conf Artificial Intelligence. Palo Alto, CA: AAAI, 2023: 13174−13182
[24] Mao Yue, Shen Yi, Yu Chao, et al. A joint training dual-mrc framework for aspect based sentiment analysis[C]//Proc of the 35th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2021: 13543−13551
[25] Chen Shaowei, Wang Yu, Liu Jie, et al. Bidirectional machine reading comprehension for aspect sentiment triplet extraction[C]//Proc of the 35th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2021: 12666−12674
[26] Zhai Zepeng, Chen Hao, Feng Fangxiang, et al. COM-MRC: A context-masked machine reading comprehension framework for aspect sentiment triplet extraction[C]//Proc of the 2022 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2022: 3230−3241
[27] Liu Shu, Li Kaiwen, Li Zuhe. A robustly optimized BMRC for aspect sentiment triplet extraction[C]//Proc of the 2022 Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2022: 272−278
[28] Zhang Wenxuan, Li Xin, Deng Yang, et al. Towards generative aspect-based sentiment analysis[C]//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2021: 504−510
[29] Zhang Wenxuan, Deng Yang, Li Xin, et al. Aspect sentiment quad prediction as paraphrase generation[C]//Proc of the 2021 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2021: 9209−9219
[30] Yan Hang, Dai Junqi, Ji Tuo, et al. A unified generative framework for aspect-based sentiment analysis[C]//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2021: 2416−2429
[31] Lu Yaojie, Liu Qing, Dai Dai, et al. Unified structure generation for universal information extraction[C]//Proc of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2022: 5755−5772
[32] Mao Yue, Shen Yi, Yang Jingchao, et al. Seq2path: generating sentiment tuples as paths of a tree[C]//Proc of the Findings of the Association for Computational Linguistics: 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2022: 2215−2225
[33] Zhang R H, Liu Qianying, Fan A X, et al. Minimize exposure bias of seq2seq models in joint entity and relation extraction[C]//Proc of the Findings of the Association for Computational Linguistics: EMNLP 2020. Stroudsburg, PA: ACL, 2020: 236−246
[34] Bengio S, Vinyals O, Jaitly N, et al. Scheduled sampling for sequence prediction with recurrent neural networks[C]//Proc of the 28th Int Conf on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2015: 1171−1179
[35] Bu Jiahao, Ren Lei, Zheng Shuang, et al. ASAP: A chinese review dataset towards aspect category sentiment analysis and rating prediction[C]//Proc of the 2021 Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2021: 2069−2079
[36] Zhou Xinjie, Wan Xiaojun, Xiao Jianguo. Representation learning for aspect category detection in online reviews[C]//Proc of the 29th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2015: 417−424
[37] Huang Binxuan, Carley K M. Parameterized convolutional neural networks for aspect level sentiment classification[C]//Proc of the 2018 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2018: 1091−1096
[38] Hu Mengting, Zhao Shiwan, Zhang Li, et al. CAN: Constrained attention networks for multi-aspect sentiment analysis[C]//Proc of the 2019 Conf on Empirical Methods in Natural Language Processing and the 9th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2019: 4601−4610
[39] Ruder S, Ghaffari P, Breslin J G. A hierarchical model of reviews for aspect-based sentiment analysis[C]//Proc of the 2016 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2016: 999−1005
[40] Chen Shaowei, Liu Jie, Wang Yu, et al. Synchronous double-channel recurrent network for aspect-opinion pair extraction[C]//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2020: 6515−6524
[41] Cai Hongjie, Tu Yaofeng, Zhou Xiangsheng, et al. Aspect-category based sentiment analysis with hierarchical graph convolutional network[C]//Proc of the 28th Int Conf on Computational Linguistics. Stroudsburg, PA: ACL, 2020: 833−843
[42] Luo Huaishao, Li Tianrui, Liu Bing, et al. DOER: Dual cross-shared RNN for aspect term-polarity co-extraction[C]//Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2019: 591−601
[43] Li Xin, Bing Lidong, Li Piji, et al. A unified model for opinion target extraction and target sentiment prediction[C]//Proc of the 33rd AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 6714−6721
[44] He Ruidan, Lee Wee Sun, Ng Hwee Tou, et al. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis[C]//Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2019: 504−515
[45] Devlin J, Chang Mingwei, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[C]//Proc of the 2019 Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2019: 4171−4186
[46] Peters M E, Neumann M, Iyyer M, et al. Deep contextualized word representations[C]//Proc of the 2018 Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2018: 2227−2237
[47] Radford A, Wu J, Child R, et al. Language models are unsupervised multitask learners[EB/OL]. 2019[2023−10−22]. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
[48] Li Xiaoya, Feng Jingrong, Meng Yuxian, et al. A unified MRC framework for named entity recognition[C]//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2020: 5849−5859
[49] Li Xiaoya, Yin Fan, Sun Zijun, et al. Entity-relation extraction as multi-turn question answering[C]//Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2019: 1340−1350
[50] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. The Journal of Machine Learning Research, 2020, 21(1): 5485−5551
[51] Lewis M, Liu Yinhan, Goyal N, et al. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension[C]//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2020: 7871−7880
[52] Pontiki M, Galanis D, Papageorgiou H, et al. Semeval−2016 task 5: aspect based sentiment analysis[C]//Proc of the 10th Int Workshop on Semantic Evaluation. Stroudsburg, PA: ACL, 2016: 19−30
[53] Pontiki M, Galanis D, Papageorgiou H, et al. Semeval−2015 task 12: aspect based sentiment analysis[C]//Proc of the 9th Int Workshop on Semantic Evaluation. Stroudsburg, PA: ACL, 2015: 486−495
计量
- 文章访问数: 49
- HTML全文浏览量: 20
- PDF下载量: 0
