-
摘要:
从智能手机、智能手表等小型终端智能设备，到智能家居、智能网联车等大型应用，再到智慧生活、智慧农业等，人工智能已经逐渐步入人们的生活，改变传统的生活方式. 各种各样的智能设备会产生海量的数据，传统的云计算模式已无法适应新的环境. 边缘计算在靠近数据源的边缘侧实现对数据的处理，可以有效降低数据传输时延，减轻网络传输带宽压力，提高数据隐私安全等. 在边缘计算架构上搭建人工智能模型，进行模型的训练和推理，实现边缘的智能化，对于当前社会至关重要. 由此产生的新的跨学科领域——边缘智能（edge intelligence，EI），开始引起了广泛的关注. 全面调研了边缘智能相关研究：首先，介绍了边缘计算、人工智能的基础知识，并引出了边缘智能产生的背景、动机及挑战. 其次，分别从边缘智能所要解决的问题、边缘智能模型研究以及边缘智能算法优化3个角度对边缘智能相关技术研究展开讨论. 然后，介绍边缘智能中典型的安全问题. 最后，从智慧工业、智慧生活及智慧农业3个层面阐述其应用，并展望了边缘智能未来的发展方向和前景.
Abstract:From smart terminal devices such as smart phones and smart watches, to large-scale intelligent applications, such as smart homes, Internet of vehicles, intelligent life and intelligent agriculture. Artificial intelligence (AI) has gradually entered and changed the life of human being. In this context, various of intelligent devices have produced massive amount of data, making traditional cloud computing paradigm unable to adapt to the unprecedented challenge. Instead, edge computing which aims to process the data at the edge of the network has the great potential to reduce latency and bandwidth pressure, as well as protect data privacy and security. Building AI models upon edge computing architecture, training and inferring the model, realizing the intelligence of the edge are crucial to the current social. As a result, a new interdisciplinary field, edge intelligence (EI), has begun to attract widespread attention. We make a comprehensive study on EI. Specifically, firstly introduce the basic knowledge of edge computing and AI, which leads to the background, motivation and challenges of EI. Secondly, the research on EI related technologies is discussed from three aspects, namely, the problems, the models and the algorithm. Further, the typical security problems in EI are introduced. Next, the applications of EI are described from three aspects of intelligent industry, intelligent life and intelligent agriculture. Finally, we propose the direction and prospect of EI in the future development.
-
随着互联网的发展，社交媒体平台成为人们发表言论和观点的主要阵地，高效地识别用户对重要组织、重要人物、商品等实体及其方面
1 的情感对平台治理用户的不当言论、建模用户偏好以实现精准的个性化推荐有重要的实用意义. 同时也有助于监控消费者行为、评估产品质量、监控舆情、调研市场等.不同于句子级情感分析任务为整个句子预测情感，方面术语提取和方面级情感分类（aspect-term extraction and aspect-level sentiment classification, AESC）任务的目标是抽取句子中的方面-情感对. 方面术语提取（aspect-term extraction, AE）提取句子中包含的方面术语，方面级情感分类（aspect-level sentiment classification, ALSC）预测用户对给定方面的情感. 比如来自Twitter的一条评论：“I love animals , so nice to see them getting along ! Here are our dogs , Greek and Salem , laying together”，提取出的方面-情感对为〈“Greek”，正面〉〈“Salem”，正面〉，即句子中包含方面“Greek”和“Salem”，表述者对它们的情感都是正面的.
在文本领域中，已有研究[1-3]实现了方面-情感对提取方法，并应用于商品评论数据的情感分析. 然而在Twitter，Instagram等社交媒体平台上，人们习惯发表短小且口语化的文字并配以图片，相关研究指出，文本单模态的模型在此类用户数据上表现并不好[4-6]. 考虑图片非仅仅依靠文本来分析用户发表的观点是时代的趋势，因此在多模态领域实现方面术语提取和方面级情感分类将具有一定的实用价值和现实意义.
在多模态领域，Zhang等人[7]和Yu等人[8]分别研究了方面术语抽取和方面级情感分类. 通过实体识别技术提取句子中包含的方面术语，接着将提取的方面术语和句子输入到方面级情感分类模型进行情感预测，可通过这种流水线方式实现方面-情感对的提取. 然而，目前的这种方法存在不足之处：首先，使用2个完全独立的模型分步实现方面-情感对的提取，使得建模特征的语义深度不同且不关联，忽略了2个任务之间潜在的语义关联，当句子中包含多个方面时，情感分类模型可能会混淆它们之间的上下文信息而造成预测失误；其次，方面术语提取模型一次提取句子中的多个方面术语，而情感分析模型一次只能预测一个方面的情感，前者的吞吐量大于后者，且情感分析必须在方面术语提取完成后进行，降低了方面-情感对的抽取效率.
针对以上问题，本文提出了一个同时进行方面术语提取和方面级情感分类的统一框架UMAS. 该统一框架包含3个模块：共享特征模块、方面术语提取模块、情感分类模块. 首先，该统一框架使用共享特征的方式表示方面术语提取和情感分类2个子任务的底层文本和图像特征，在学习的过程中建立2个子任务之间的语义联系. 相比于之前的方面术语提取模型和方面级情感分类模型使用不同的网络编码文本和图像的特征，本文所提出的特征共享的方法简化了模型. 其次，采用序列标注的方式，同时输出句子中包含的多个方面和对应的情感，方面术语提取模块和情感分类模块可并行执行，大大提升了方面-情感对提取的效率.
此外，既往多模态方面术语提取方法[7,9-10]未能充分利用文本的语法信息，而方面级情感分析方法[8,11]由于缺乏观点词的标注而未能通过观点信息更好地判断情感倾向. 为提升2个子任务的性能，本文使用词性标注工具spaCy[11]获取单词的词性，对2个子任务做如下改进：在方面术语提取模块中，使用多头自注意力机制获取词性特征，融合视觉特征、文本特征、词性特征作为分类层的输入，提升了方面术语提取的性能；在情感分类模块，为充分发挥观点词对情感分类的作用，通过词性标注将动词、形容词、副词、介词标记为观点词，在情感分类中增加对这些观点词的注意权重，并将观点词特征融入到最后的分类层以提升情感分类的性能. 本文提出的方法与多个基线模型相比，在方面术语提取、方面级情感分类、AESC任务上的性能都有明显的提升.
本文的主要贡献有3个方面：
1） 在多模态领域提出方面术语提取和方面级情感分类的统一框架UMAS （unified multi-modal aspect sentiment），通过建模方面术语提取和方面级情感分类任务之间的语义关联，同时提高了方面-情感对提取的性能和效率.
2） 本文通过引入词性特征提升了方面术语提取的性能；通过词性标注获取观点词特征并结合位置信息，提升了方面级情感分类的性能.
3） 该统一框架在Twitter2015，Restaurant2014这2个基准数据集上相比于多个基线模型在方面术语提取、方面级情感分类、AESC任务上都具有优越的性能.
1. 相关工作
目前，文本领域的基于方面的情感分析研究发展的比较成熟，现有研究[12-18]在Restaurant，Laptop，Twitter等数据集上，根据提供的方面术语预测情感类别；Ying 等人[19]根据方面术语提取对应的观点并判断情感倾向；Oh等人[20]、Chen等人 [21]、Xu等人[22]则使用多任务模型将方面术语提取、观点词提取、情感分类3个任务统一. 其中，Chen等人 [21]详细阐述了3个任务之间的关系，并在多层的网络模型RACL中通过关系传导机制促进子任务之间的协作，最终以序列标注的方式分别输出3个任务的结果. RACL将3个任务的关系总结如下：方面术语和观点词存在对应关系（比如“美味”一词不适合描述地点），方面术语和观点词的配对有助于预测情感，观点词对情感预测有最直接的帮助，方面术语是情感依托的对象. 文本领域的方面术语提取方法更关注文本的语法信息，Phan 等人[23]和薛芳等人[24]借助句法成分、依存关系提升方面术语提取的性能. 在情感分类中，Chen等人[21]、He 等人[25]利用观点词的信息提升了情感推断的准确性，He 等人[25]还利用了位置信息使注意力集中在方面的上下文. 文本领域基于方面的情感分析的研究，对多模态基于方面的情感分析的研究有重要的启发式意义.
在多模态领域，可使用Zhang等人[7]提出的方面术语抽取模型和Yu 等人[8]提出的方面级情感分类模型流水线式地抽取方面-情感对. 尽管流水线方法符合人们处理此类问题的直觉且有利于灵活变动2个模型，但Wang等人[26]指出该方法在方面术语提取中的错误将传播到情感预测阶段，导致方面-情感对预测性能下降. 方面术语提取和方面级情感分类2个模型的独立无法像RACL一样建模2个任务之间的语义联系，且串行执行使得模型效率低下. 多模态方面术语提取方法[7,9-10]充分关注了图像对提取方面术语的帮助，并且使用门控机制降低图像引入的噪音，但忽视了文本中包含的语法信息. 在文本领域的方面级情感分类中，多种方法[19-21]利用观点词提取作为辅助任务提升情感分类的效果，然而多模态方面级情感分类的数据集主要是Twitter，目前数据集中包含的信息包括句子、图片、方面、情感等的标准，但是未有观点词的标注信息，所以多模态领域中以观点词提取为辅助任务的方法不存在监督信息，难以开展. 此外，目前多模态方面级情感分类模型如EASFN[8]，ABAFN[12]，以句子、图像、方面术语为输入，一次只能识别一个方面的情感，而文本领域采用序列标注的方法可同时识别句子中所有方面的情感.
2. 基于多模态方面术语提取和方面级情感分类的统一框架
本节主要介绍任务定义，并详细阐述本文所提出的基于多模态方面术语提取和方面级情感分类的统一框架.
2.1 任务定义
给定长度为n的句子，即S={w1,w2,…,wn}，方面术语提取任务的目的是获取句子的方面术语标注序列YA={yA1,yA2,…,yAi,…,yAn},yAi∈{B,I,O}，其中B表示方面术语的开始单词，I表示方面术语的中间单词及结尾单词，O表示不是方面术语. 而方面级情感分类任务的目的是获取句子的情感标注序列YS={yS1,yS2,…,ySi,…,ySn},ySi∈{0,1,2,3}，其中0表示该单词不是方面术语，不被赋予情感，1表示情感为负面，2表示情感中立，3表示情感为正面. 方面术语提取和方面级情感分类的目的是抽取句子中包含的方面-情感对，即YP={as1,ae1,s1,…,asi,aei,si,…,asm,aem,sm}，其中asi,aei,si分别为第i个方面术语的起始位置、终止位置和对应的情感类别.
2.2 模型概述
本文设计的方面术语提取和方面级情感分类的统一框架主要分为3个模块：共享特征模块、方面术语提取模块和情感分类模块，模型图如图1所示.
在共享特征模块，使用VGG-16模型[27]获取图片特征表示，通过双向长短期记忆网络（bi-long short-term memory，BiLSTM）获取单词和字符的联合特征表示，通过多头自注意力机制[28]获取词性特征表示. 方面术语提取模块和情感分类模块以共享特征为输入，编码出特定于各自任务的私有特征. 在方面术语提取模块，通过文本和图像的交互注意力以及门控机制获取多模态表示，并与文本及词性特征拼接，作为方面术语提取模块最终的融合特征，最后通过条件随机场（conditional random fields，CRF）层获取方面术语序列标注. 情感分类模块将共享特征和特有特征融合，获取情感特征和观点词特征. 通过门控机制融合由情感特征引导的视觉注意特征和情感特征以获得多模态特征，并通过情感文本注意、位置信息和词性获得观点词特征，然后，将多模态特征和情感特征以及观点词特征融合，通过全连接层及softmax层获得情感序列标注. 在获得方面术语序列标签和情感序列标签后，通过简单的代码提取方面-情感对，实现AESC任务的目标. 图2是本文所提出的基于多模态方面术语提取和方面级情感分类的统一框架.
![]()
图 2 基于多模态方面术语提取和方面级情感分类的统一框架Figure 2. Unified framework based on multimodal aspect term extraction and aspect-level sentiment classification本文提出的方面术语提取和方面级情感分类的统一框架借鉴了多任务学习的思路，即通过参数共享建模2个子任务的语义联系，提升每个子任务的性能，并使用子任务的加权损失作为模型的损失. 但多任务模型通常有多个主要目标，而本文所提出的模型的主要目标只有1个，即抽取方面-情感对.
2.3 共享特征模块
共享特征模块的图像特征、文本特征、词性特征分别由图像编码器、文本编码器、词性编码器生成.
2.3.1 图像编码器
裁剪图片为224×224像素，作为VGG-Net16[27]的输入，图像编码器保留最后1层池化层输出结果作为图像特征（维度为512×7×7）. 其中，7×7代表图像的49个区域，512表示每个区域的特征维度. 所以图像特征可表示为{\widetilde{v}_{\mathrm{I}}}=\left\{{\boldsymbol{v}}_{i}\right|{{{\boldsymbol{v}}}}_{i}\in {\mathbb{R}}^{{d}_{\boldsymbol{v}}},i=\mathrm{1,2},…,49\}， {{\boldsymbol{v}}}_{i} 代表图像区域i的具有512维度的特征向量.
2.3.2 文本编码器
字符级的嵌入式表示可以减轻罕见词和拼写错误的问题，且能捕获前缀后缀的信息，因此，本文将字符级表示作为单词表示的一部分. 通过查找字符向量表，可以获取第t个单词的字符表示{c}_{t,\mathrm{W}}= \{{\boldsymbol{c}}_{t,1}, {\boldsymbol{c}}_{t,2},…,{\boldsymbol{c}}_{t,m}\}，其中{\boldsymbol{c}}_{t,i}\in {\mathbb{R}}^{{d}_{\mathrm{c}}}为第t个单词第i个字母的向量表示，m为单词的长度. k个不同窗口大小的卷积核[{C}_{1},{C}_{2},…,{C}_{k}]被应用在单词特征上，每一次卷积后加一步最大池化操作，最后将获得的k个特征{\boldsymbol{w}'}_{t,1}，{\boldsymbol{w}'}_{t,2}，…，{\boldsymbol{w}'}_{t,k}拼接在一起作为单词的字符级表示，即
{\boldsymbol{w}}'_{t}=[{\boldsymbol{w}}'_{t,1}\oplus{\boldsymbol{w}}'_{t,2}\oplus…\oplus{\boldsymbol{w}}'_{t,k}]. (1) 通过查询预训练的词向量矩阵，可获得单词t的词嵌入式表示{\boldsymbol{w}}''_{t}，将其与字符特征{\boldsymbol{w}' }_{t}拼接在一起作为单词t的联合表示，即{\boldsymbol{w}}_{t}=[{\boldsymbol{w}}'_{t},{\boldsymbol{w}}''_{t}]. 接着，使用BiLSTM获取包含上下文信息的单词t的隐藏特征{\boldsymbol{h}}_{t}，即
{\boldsymbol{h}}_{t}=[\stackrel{\rightharpoonup}{{\boldsymbol{h}}_{t}},\stackrel{\leftharpoonup}{{\boldsymbol{h}}_{t}}], (2) \boldsymbol{H}=\left\{{\boldsymbol{h}}_{j}\right|{\boldsymbol{h}}_{j}\in {\mathbb{R}}^{d},j=\mathrm{1,2},…,n\}, (3) 其中H表示最终的共享文本特征，d为隐藏特征的向量维度.
2.3.3 词性编码器
Phan等人[23]使用句法成分信息提升了方面术语提取的准确率，本文同样也使用spaCy工具获取单词的词性. 根据随机初始化的词性向量矩阵，可获得句子的词性特征\widetilde{\boldsymbol{P}}=(\widetilde{{\boldsymbol{p}}_{1}},\widetilde{{\boldsymbol{p}}_{2}},…,\widetilde{{\boldsymbol{p}}_{n}})（n为句子长度）. 然后，本文使用文献[27]中的多头自注意力机制进一步获取深层次的词性嵌入式特征\boldsymbol{P}.
本文提出的模型中共有2个结构相同的文本编码器，分别为共享文本编码器和情感模块的私有文本编码器. 方面术语提取模块和情感分类模块共享图像编码器、词性编码器、共享文本编码器的输出数据.
2.4 方面术语提取模块
方面术语提取模块通过文本注意和视觉注意建模不同模态之间的语义交互作用，使用门控机制获取多模态融合特征，并使用过滤门减少多模态引入的噪音，最后将多模态融合特征、文本特征、词性特征拼接作为CRF解码器的输入，获得方面术语标注序列.
首先，使用线性层分别将图像特征映射到与文本同维度的空间，将共享文本特征编码为方面术语提取模块的私有文本特征，即
{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{A}}={\rm{tanh}}({\boldsymbol{W}}_{\mathrm{I}}^{\mathrm{A}}\tilde{{\boldsymbol{v}}_{\mathrm{I}}}+{\boldsymbol{b}}_{\mathrm{I}}^{\mathrm{A}}), (4) {\boldsymbol{X}}^{\mathrm{A}}={\rm{tanh}}({\boldsymbol{W}}_{\mathrm{H}}^{\mathrm{A}}\boldsymbol{H}+{\boldsymbol{b}}_{\mathrm{H}}^{\mathrm{A}}), (5) 其中{\boldsymbol{W}}_{\mathrm{I}}^{\mathrm{A}},{\boldsymbol{W}}_{\mathrm{H}}^{\mathrm{A}},{\boldsymbol{b}}_{\mathrm{I}}^{\mathrm{A}},{\boldsymbol{b}}_{\mathrm{H}}^{\mathrm{A}}为可训练参数.
通常情况下，句子中的单词只对应图像中的一小块区域，为减小图像其他区域引入的噪音，该模块使用文本引导的视觉注意来获取不同区域的权重，图像区域与单词越相关，它被赋予的权重越大. 给定一个单词的特征{\boldsymbol{x}}_{t}^{\mathrm{A}}（{{\boldsymbol{x}}_{t}^{\mathrm{A}}\in \boldsymbol{X}}^{\mathrm{A}}），通过神经网络和softmax函数来生成单词t对应的图像权重分布{\boldsymbol{\alpha }}_{t}，并通过加权和生成单词t对应的图像特征表示\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}，即
{\boldsymbol{z}}_{t}^{\mathrm{M}}={\rm{tanh}}({\boldsymbol{W}}_{{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{A}}}{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{A}}\oplus({\boldsymbol{W}}_{{\boldsymbol{h}}_{t}}{\boldsymbol{x}}_{t}^{\mathrm{A}}+{\boldsymbol{b}}_{{\boldsymbol{h}}_{t}}\left)\right), (6) {\boldsymbol{\alpha }}_{t}={s}{o}{f}{t}{m}{a}{x}({\boldsymbol{W}}_{{\boldsymbol{\alpha }}_{t}}{\boldsymbol{z}}_{t}^{{{\rm{M}}}}+{\boldsymbol{b}}_{{\boldsymbol{\alpha }}_{t}}), (7) \widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}=\sum _{i}{\boldsymbol{\alpha }}_{t,i}{\boldsymbol{v}}_{i}^{\mathrm{A}}, (8) 其中{\boldsymbol{x}}_{t}^{\mathrm{A}}\in {\mathbb{R}}^{d}，d为单词和图像特征的维度，{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{A}}\in {\mathbb{R}}^{d\times N}表示N个图片区域的特征， {\boldsymbol{v}}_{i}^{\mathrm{A}}\in {\mathbb{R}}^{d} 表示图片第i个区域的特征. {\boldsymbol{W}}_{{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{A}}},{\boldsymbol{W}}_{{\boldsymbol{h}}_{t}},{\boldsymbol{W}}_{{\boldsymbol{\alpha }}_{t}},{\boldsymbol{b}}_{{\boldsymbol{h}}_{t}},{\boldsymbol{b}}_{{\boldsymbol{\alpha }}_{t}}为可训练的参数. 符号\oplus表示2个特征的拼接，当2个操作数分别为矩阵和向量时，表示复制多个向量与矩阵的每一列进行拼接.
类似地，上下文有助于丰富当前单词特征包含的信息，且对上下文不同的单词应当有不同的关注程度，所以本文通过视觉引导的文本注意力来获取单词t所需关注的上下文的权重{\boldsymbol{\beta }}_{t}，通过对句子中单词的加权获得单词t的新的特征表示.
{\boldsymbol{z}}_{t}^{\mathrm{T}}={\rm{tanh}}({\boldsymbol{W}}_{{\boldsymbol{X}}^{\mathrm{A}}}{\boldsymbol{X}}^{\mathrm{A}}\oplus({\boldsymbol{W}}_{\boldsymbol{X},\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}}\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}+{\boldsymbol{b}}_{\boldsymbol{X},\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}}\left)\right), (9) {\boldsymbol{\beta }}_{t}={s}{o}{f}{t}{m}{a}{x}({\boldsymbol{W}}_{{\boldsymbol{\beta }}_{t}}{\boldsymbol{z}}_{t}^{{{\rm{T}}}}+{\boldsymbol{b}}_{{\boldsymbol{\beta }}_{t}}), (10) \widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}=\sum _{j}{\boldsymbol{\beta }}_{t,j}{\boldsymbol{x}}_{j}^{\mathrm{A}}, (11) 其中{\boldsymbol{W}}_{{\boldsymbol{X}}^{\mathrm{A}}},{\boldsymbol{W}}_{\boldsymbol{X},\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}},{\boldsymbol{W}}_{{\boldsymbol{\beta }}_{t}},{\boldsymbol{b}}_{\boldsymbol{X},\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}},{\boldsymbol{b}}_{{\boldsymbol{\beta }}_{t}}为可训练的参数.
当句子中包含多个实体时，往往并不是每个实体都存在与图像中的某个区域对应的关系，可能图片中描述了一个实体，而句子中有3个不同的实体. 为此，在融合多模态特征时，也需动态权衡视觉特征和文本特征的比例. 方面术语提取模块使用式（12）~（15）获取多模态融合特征{\boldsymbol{m}}_{t}^{\mathrm{A}}：
{\boldsymbol{h}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}}={\rm{tanh}}({\boldsymbol{W}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}}\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}+{\boldsymbol{b}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}}), (12) {\boldsymbol{h}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}}={\rm{tanh}}({\boldsymbol{W}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}}\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}+{\boldsymbol{b}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}}), (13) {\boldsymbol{g}}_{t}=\sigma \left({\boldsymbol{W}}_{{\boldsymbol{g}}_{t}}\left({\boldsymbol{h}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}}\oplus{\boldsymbol{h}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}}\right)\right), (14) {\boldsymbol{m}}_{t}^{\mathrm{A}}={\boldsymbol{g}}_{t}{\boldsymbol{h}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}}+(1-{\boldsymbol{g}}_{t}){\boldsymbol{h}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}}, (15) 其中 {\boldsymbol{W}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}},{\boldsymbol{W}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}},{\boldsymbol{W}}_{{\boldsymbol{g}}_{t}},{\boldsymbol{b}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}},{\boldsymbol{b}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}} 为参数， {\boldsymbol{h}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{A}}}},{\boldsymbol{h}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{A}}}} 分别为使用线性层获取的单词t对应的新的视觉特征和文本特征， {\boldsymbol{g}}_{t} 为通过sigmoid激活函数获取的视觉特征的权重.
尽管多模态融合特征考虑了文本和图像的权重，但方面术语提取所依赖的最重要的数据应该是文本，
所以方面术语提取模块将初始的文本特征、多模态特征和词性特征拼接起来作为解码器的输入. 此外，当预测的单词是动词或副词时，加入图像特征会引起噪音，所以在拼接之前，对多模态特征进行过滤操作，具体公式为：
{\boldsymbol{s}}_{t}=\sigma ({\boldsymbol{W}}_{{\boldsymbol{s}}_{t},{\boldsymbol{x}}_{t}^{\mathrm{A}}}{\boldsymbol{x}}_{t}^{\mathrm{A}}\oplus({\boldsymbol{W}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}},{\boldsymbol{s}}_{t}}{\boldsymbol{m}}_{t}^{\mathrm{A}}+{\boldsymbol{b}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}},{\boldsymbol{s}}_{t}}\left)\right), (16) {\boldsymbol{u}}_{t}^{\mathrm{A}}={\boldsymbol{s}}_{t}\left({\rm{tanh}}\right({\boldsymbol{W}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}}}{\boldsymbol{m}}_{t}^{\mathrm{A}}+{\boldsymbol{b}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}}}\left)\right), (17) \widehat{{\boldsymbol{m}}_{t}^{\mathrm{A}}}={\boldsymbol{W}}_{\widehat{{\boldsymbol{m}}_{t}^{\mathrm{A}}}}({\boldsymbol{x}}_{t}^{\mathrm{A}}\oplus{\boldsymbol{u}}_{t}^{\mathrm{A}}\oplus{\boldsymbol{p}}_{t}^{\mathrm{A}}), (18) \widehat{{\boldsymbol{M}}^{\mathrm{A}}}=\{\widehat{{\boldsymbol{m}}_{1}^{\mathrm{A}}},\widehat{{\boldsymbol{m}}_{2}^{\mathrm{A}}},…,\widehat{{\boldsymbol{m}}_{n}^{\mathrm{A}}}\}, (19) 其中 {{\boldsymbol{W}}_{{\boldsymbol{s}}_{t},{\boldsymbol{x}}_{t}^{\mathrm{A}}},\boldsymbol{W}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}},{\boldsymbol{s}}_{t}},{\boldsymbol{W}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}}},{\boldsymbol{W}}_{\widehat{{\boldsymbol{m}}_{t}^{\mathrm{A}}}},{\boldsymbol{b}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}},{\boldsymbol{s}}_{t}},{\boldsymbol{b}}_{{\boldsymbol{m}}_{t}^{\mathrm{A}}} 为参数， {\boldsymbol{x}}_{t}^{\mathrm{A}}{,\boldsymbol{u}}_{t}^{\mathrm{A}},{\boldsymbol{p}}_{t}^{\mathrm{A}} 分别为单词t的文本特征、过滤后的多模态特征、词性特征， \widehat{{\boldsymbol{M}}^{\mathrm{A}}} 为最终方面术语提取模块的句子表示.
最后，方面术语提取模块使用CRF作为解码器进行方面术语的序列标注. 以 \boldsymbol{X}= \{{\boldsymbol{w}}_{0},{\boldsymbol{w}}_{1},. ..,{\boldsymbol{w}}_{T}\} 作为一般化的输入序列，其中 {\boldsymbol{w}}_{i} 表示第i个单词的特征向量， Y=\{{Y}_{0},{y}_{1},. ..,{y}_{T}\} 表示X对应的一种序列标签，Y表示所有可能的序列标注集合. 对于给定的X，所有可能的y可以由式（20）计算得到：
p\left(y\right|\boldsymbol{X})=\frac{\prod\limits _{i=1}^{T}{\Omega }_{i}({y}_{i-1},{y}_{i},\boldsymbol{X})}{\sum _{{y}^{{'}}\in Y}\prod\limits _{i=1}^{T}{\Omega }_{i}({y}_{i-1}^{{'}},{y}_{i}^{{'}},\boldsymbol{X})}, (20) 其中\varOmega表示可能性函数.
2.5 情感分类模块
情感分类模块可以分为4个部分：情感私有特征、多模态融合、观点词特征、情感分类.
2.5.1 情感私有特征
由于方面术语提取和情感分类的目标不一致，使用完全的共享特征机制会使训练效果不好，同时共享特征包含的信息有助于在底层更好地表现2个任务之间的语义联系，特别是方面作为情感的寄托者有助于情感的预测. 所以，在情感分类模块，存在一个私有的文本编码器以获取特有的情感特征. 接着，将共享表示层的文本特征和特有情感特征进行动态融合. 考虑使用动态融合是因为更关注共享特征中的方面而非其他单词. 该模块的情感私有特征表示 {\boldsymbol{X}}^{\mathrm{S}} 由式（21）~（25）获取：
{\boldsymbol{H}}^{\mathrm{S}}={f}^{\mathrm{S}\mathrm{C}}\left(\boldsymbol{S}\right), (21) \widehat{{\boldsymbol{H}}^{\mathrm{S}}}={\rm{tanh}}({\boldsymbol{W}}_{{\boldsymbol{H}}^{\mathrm{S}}}{\boldsymbol{H}}^{\mathrm{S}}+{\boldsymbol{b}}_{{\boldsymbol{H}}^{\mathrm{S}}}), (22) \widehat{\boldsymbol{H}}={\rm{tanh}}({\boldsymbol{W}}_{\boldsymbol{H}}\boldsymbol{H}+{\boldsymbol{b}}_{\boldsymbol{H}}), (23) {\boldsymbol{g}}^{\mathrm{S}}=\sigma \left({\boldsymbol{W}}_{{\boldsymbol{g}}^{\mathrm{S}}}\right(\widehat{{\boldsymbol{H}}^{\mathrm{S}}}\oplus \widehat{\boldsymbol{H}}\left)\right), (24) {\boldsymbol{X}}^{\mathrm{S}}={\boldsymbol{g}}^{\mathrm{S}}\widehat{{\boldsymbol{H}}^{\mathrm{S}}}+(1-{\boldsymbol{g}}^{\mathrm{S}})\widehat{\boldsymbol{H}}, (25) 其中， {f}^{\mathrm{S}\mathrm{C}} 表示表示情感模块私有文本编码器的函数，S表示输入的句子， {\boldsymbol{W}}_{{\boldsymbol{H}}^{\mathrm{S}}},{\boldsymbol{W}}_{\boldsymbol{H}},{\boldsymbol{W}}_{{\boldsymbol{g}}^{\mathrm{S}}},{\boldsymbol{b}}_{{\boldsymbol{H}}^{\mathrm{S}}},{\boldsymbol{b}}_{\boldsymbol{H}} 为参数.
2.5.2 多模态融合
用户在社交媒体发布的文字具有不完整、较短、口语化的特点，仅仅使用文本内容来推测情感是不充分的. 因此，情感分类模块使用图像信息来提升预测的准确性. 与方面术语提取模块一样，在判断单词t（假设单词t为方面术语）的情感时，需要着重关注图像中该方面对应的区域，应尽量减少其他区域引起的干扰，所以使用相同的方法为不同的视觉区域分配不同的权重. 首先，将共享图像特征转换至与文本同一维度的空间内，然后使用情感引导的注意获取图像的权重分布 {{\boldsymbol{\gamma}} }_{t} ，最终加权获得单词t在情感分类模块对应的图像特征 \widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}} ，运算公式为：
{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{S}}={\rm{tanh}}({\boldsymbol{W}}_{\mathrm{I}}^{\mathrm{S}}\widetilde{{\boldsymbol{v}}_{\mathrm{I}}}+{\boldsymbol{b}}_{\mathrm{I}}^{\mathrm{S}}), (26) {\boldsymbol{z}}_{t}^{\mathrm{S}}={\rm{tanh}}({\boldsymbol{W}}_{{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{S}}}{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{S}}\oplus({\boldsymbol{W}}_{{\boldsymbol{h}}_{t}}{\boldsymbol{x}}_{t}^{\mathrm{S}}+{\boldsymbol{b}}_{{\boldsymbol{h}}_{t}}\left)\right), (27) {\boldsymbol{\gamma }}_{t}={s}{o}{f}{t}{m}{a}{x}({\boldsymbol{W}}_{{\boldsymbol{\gamma }}_{t}}{\boldsymbol{z}}_{t}^{{{\rm{S}}}}+{\boldsymbol{b}}_{{\boldsymbol{\gamma }}_{t}}), (28) \widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}=\sum _{i}{\boldsymbol{\gamma }}_{t,i}{\boldsymbol{v}}_{i}^{\mathrm{S}}, (29) 其中 {\boldsymbol{W}}_{\mathrm{I}}^{\mathrm{S}} , {\boldsymbol{W}}_{{\boldsymbol{v}}_{\mathrm{I}}^{\mathrm{S}}} , {\boldsymbol{W}}_{{\boldsymbol{h}}_{t}} , {\boldsymbol{W}}_{{\boldsymbol{\gamma }}_{t}} , {\boldsymbol{b}}_{\mathrm{I}}^{\mathrm{S}} , {\boldsymbol{b}}_{{\boldsymbol{h}}_{t}} , {\boldsymbol{b}}_{{\boldsymbol{\gamma }}_{t}} 为可训练的参数.
不同于方面术语提取模块对文本引入视觉注意的处理，在情感分类模块，为减少视觉特征引起的噪音，本文采用多头自注意的方式来获取单词t对上下文的关注，使某个位置的单词关注来自不同表示子空间的其他单词的特征. 该模块多头自注意力的查询矩阵、键矩阵、值矩阵都为情感特征矩阵. 最终多头自注意力输出的文本特征为 \widehat{{\boldsymbol{X}}^{\mathrm{S}}} .
接着，同样通过门控机制获得情感特征和图像特征的多模态融合特征 {\boldsymbol{m}}_{t}^{\mathrm{S}} .
{\boldsymbol{h}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}}={\rm{tanh}}({\boldsymbol{W}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}}\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}+{\boldsymbol{b}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}}), (30) {\boldsymbol{h}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}}={\rm{tanh}}({\boldsymbol{W}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}}\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}+{\boldsymbol{b}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}}), (31) {\boldsymbol{g}}_{t}^{\mathrm{S}}=\sigma \left({\boldsymbol{W}}_{{\boldsymbol{g}}_{t}^{\mathrm{S}}}\right({\boldsymbol{h}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}}\oplus{\boldsymbol{h}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}}\left)\right), (32) {\boldsymbol{m}}_{t}^{\mathrm{S}}={\boldsymbol{g}}_{t}^{\mathrm{S}}{\boldsymbol{h}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}}+(1-{\boldsymbol{g}}_{t}^{\mathrm{S}}){\boldsymbol{h}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}}, (33) 其中 {\boldsymbol{W}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}} , {\boldsymbol{W}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}} , {\boldsymbol{W}}_{{\boldsymbol{g}}_{t}^{\mathrm{S}}} , {\boldsymbol{b}}_{\widehat{{\boldsymbol{v}}_{t}^{\mathrm{S}}}} , {\boldsymbol{b}}_{\widehat{{\boldsymbol{x}}_{t}^{\mathrm{S}}}} 为参数.
2.5.3 观点词特征
由于人们表达情感是通过观点抒发的，即观点词有助于情感的判断，所以本文模块中使用词性标注识别的观点词信息帮助情感的预测，首先使用简单的神经网络编码得到观点词特征表示 {\boldsymbol{X}}^{\mathrm{O}} .
{\boldsymbol{X}}^{\mathrm{O}}={\rm{tanh}}({\boldsymbol{W}}_{\mathrm{S}}^{\mathrm{O}}{\boldsymbol{X}}^{\mathrm{S}}+{\boldsymbol{b}}_{\mathrm{S}}^{\mathrm{O}}), (34) 其中 {\boldsymbol{W}}_{\mathrm{S}}^{\mathrm{O}} , {\boldsymbol{b}}_{\mathrm{S}}^{\mathrm{O}} 为参数.
观点描述的短语通常由动词、副词、形容词、介词构成，比如“agree with”“run fast”“beautiful”等. 在获取第t个单词的上下文时，应该给予这些单词更多的权重. 此外，通常情况下，观点词会出现在描述对象的附近，因此，位置关系也可以被考虑. 基于上述的分析，为获取单词t对应的观点信息，本文模块使用单词t（假设为方面术语）引导的注意，并考虑形容词、副词、动词和介词的权重以及位置权重，最终得到单词t对应的观点特征.
{\boldsymbol{z}}_{t}^{\mathrm{O}}={\rm{tanh}}({\boldsymbol{W}}_{{\boldsymbol{X}}^{\mathrm{O}}}{\boldsymbol{X}}^{\mathrm{O}}\oplus({\boldsymbol{W}}_{\mathrm{O},{\boldsymbol{x}}_{t}^{\mathrm{S}}}{\boldsymbol{x}}_{t}^{\mathrm{S}}+{\boldsymbol{b}}_{\mathrm{O},{\boldsymbol{x}}_{t}^{\mathrm{S}}}\left)\right), (35) \widehat{{\boldsymbol{z}}_{t,i}^{\mathrm{O}}}={\boldsymbol{z}}_{t,i}^{\mathrm{O}}\cdot {\left[\mathrm{l}\mathrm{o}\mathrm{g}\right(2+|i-t|\left)\right]}^{-1}\cdot {\boldsymbol{\varphi }}_{i}, (36) {\boldsymbol{\varphi }}_{i}=\left\{\begin{split}&w,{\rm{if}}\;{w}_{i}\;{\rm{is}}\;{\rm{the}}\;{\rm{opinion}},\\ &0,{\rm{if}}\;{w}_{i}\;{\rm{is}}\;{\rm{not}}\;{\rm{the}}\;{\rm{opinion}},\end{split}\right. (37) {\boldsymbol{\kappa }}_{t}={s}{o}{f}{t}{m}{a}{x}({\boldsymbol{W}}_{{\boldsymbol{\kappa }}_{t}}\widehat{{\boldsymbol{z}}_{t}^{{{\rm{O}}}}}+{\boldsymbol{b}}_{{\boldsymbol{\kappa }}_{t}}), (38) \widehat{{\boldsymbol{x}}_{t}^{\mathrm{O}}}=\sum _{i}{\boldsymbol{\kappa }}_{t,i}{\boldsymbol{x}}_{i}^{\mathrm{O}}, (39) 其中 {\boldsymbol{W}}_{{\boldsymbol{X}}^{\mathrm{O}}} , {\boldsymbol{W}}_{\mathrm{O},{\boldsymbol{x}}_{t}^{\mathrm{S}}} , {\boldsymbol{W}}_{{\boldsymbol{\kappa }}_{t}} , {\boldsymbol{b}}_{\mathrm{O},{\boldsymbol{x}}_{t}^{\mathrm{S}}} , {\boldsymbol{b}}_{{\boldsymbol{\kappa }}_{t}} 为参数. w 为超参，表示观点词的权重. \widehat{{\boldsymbol{x}}_{t}^{\mathrm{O}}} 为最终的观点词特征.
2.5.4 情感分类
将多模态融合特征、情感特征、观点特征融合，输入到分类层，得到最后的情感分类结果为：
\widehat{{\boldsymbol{m}}_{t}^{\mathrm{S}}}={\boldsymbol{m}}_{t}^{\mathrm{S}}\oplus{\boldsymbol{x}}_{t}^{\mathrm{S}}\oplus \widehat{{\boldsymbol{x}}_{t}^{\mathrm{O}}}, (40) \widehat{{\boldsymbol{M}}^{\mathrm{S}}}=\{\widehat{{\boldsymbol{m}}_{1}^{\mathrm{S}}},\widehat{{\boldsymbol{m}}_{2}^{\mathrm{S}}},. ..,\widehat{{\boldsymbol{m}}_{n}^{\mathrm{S}}}\}, (41) p\left({y}_{t}^{\boldsymbol{S}}\right|\widehat{{\boldsymbol{m}}_{t}^{\boldsymbol{S}}})={s}{o}{f}{t}{m}{a}{x}({\boldsymbol{W}}_{{s}}\widehat{{\boldsymbol{m}}_{t}^{{{\rm{S}}}}}+{\boldsymbol{b}}_{{s}}), (42) 其中 {\boldsymbol{W}}_{\mathrm{s}} , {\boldsymbol{b}}_{\mathrm{s}} 为可训练参数.
2.6 模型训练
AESC模块的损失函数是最小化交叉熵损失，实验的目标是最小化这2个模块的加权损失，即
{\mathcal{L}}^{\mathrm{A}}=-\frac{1}{N}\sum _{i}\mathrm{l}\mathrm{o}\mathrm{g}p\left({y}_{i}^{\mathrm{A}}\right|\widehat{{\boldsymbol{M}}^{\mathrm{A}}}), (43) {\mathcal{L}}^{\mathrm{S}}=-\frac{1}{N}\sum _{i}\mathrm{l}\mathrm{o}\mathrm{g}p\left({y}_{i}^{\mathrm{S}}\right|\widehat{{\boldsymbol{M}}^{\mathrm{S}}}), (44) \mathcal{L}={{\alpha }_{1}\mathcal{L}}^{\mathrm{A}}+{{\alpha }_{2}\mathcal{L}}^{\mathrm{S}}, (45) {\alpha }_{1}+{\alpha }_{2}=1, (46) 其中 {\alpha }_{1},{\alpha }_{2} 为超参，为2个模块损失函数的权重.
2.7 方面-情感对提取
通过AESC模块，可分别获取句子的方面术语和情感标注序列，即{Y}^{\mathrm{A}}= \left\{{y}_{1}^{\mathrm{A}},{y}_{2}^{\mathrm{A}},… ,{y}_{i}^{\mathrm{A}},…,{y}_{n}^{\mathrm{A}}\right\}, {y}_{i}^{\mathrm{A}}\in \left\{\mathrm{B},\mathrm{I},\mathrm{O}\right\}和{Y}^{\mathrm{S}}=\{{y}_{1}^{\mathrm{S}},{y}_{2}^{\mathrm{S}},\mathrm{ }… , {y}_{i}^{\mathrm{S}},…, {y}_{n}^{\mathrm{S}}\}, {y}_{\mathrm{i}}^{\mathrm{S}}\in \{\mathrm{0,1},\mathrm{2,3}\}. 为了实现AESC任务的目标，本文进行方面-情感对抽取，具体的算法如算法1所示.
算法1. 方面-情感对抽取.
输入：句子长度L，方面术语标注序列 {Y}^{\mathrm{A}} ，情感标注序列 {Y}^{\mathrm{S}} ；
输出：方面-情感对 {Y}^{\mathrm{P}} .
① 令 {Y}^{\mathrm{P}}=\left[\right],i=0 ；
② while i<L do
③ if {Y}^{\mathrm{A}}\left[i\right]={=\mathrm{B}}\;\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{n}
④ 令start=i， end=i；
⑤ i+=1；
⑥ while i<L and {Y}^{\mathrm{A}}\left[i\right]=={\rm{I}} do
⑦ end=i；
⑧ i+=1；
⑨ end while
⑩ {Y}^{\mathrm{P}}.append\left(\right(start,end,{Y}^{\mathrm{S}}\left[start\right]\left)\right) ；
⑪ else
⑫ i+=1；
⑬ end if
⑭ end while
3. 实 验
3.1 数据集
为验证本文所提出的模型的有效性，本文使用了数据集Twitter2015[8]和Restaurant2014[20]进行实验. Twitter2015[8]是一个多模态数据集，其包含文本内容、图片、方面信息以及情感类别信息. Restaurant2014[20]属于文本领域的方面级情感分类数据集，其不包含图片信息. 本文数据集的训练集、测试集以及验证集与来源保持一致. 表1和表2分别是这2个数据集的统计信息.
表 1 Twitter2015数据集统计信息Table 1. Statistics of Twitter2015 Dataset数据集 情感数量 句子数量 方面数量 POS NEG Neutral 训练集 928 368 1 883 2101 3179 验证集 303 149 670 727 1122 测试集 317 113 607 674 1037 表 2 Restaurant2014数据集统计信息Table 2. Statistics of Restaurant2014 Dataset数据集 评分等级数量 句子数量 方面数量 level 1 level 2 level 3 level 4 训练集 1747 645 520 73 2436 2985 验证集 417 162 117 18 608 714 测试集 728 196 196 14 800 1134 注：level是按评分等级划分的数据集. 3.2 实现细节
为了初始化模型中的词嵌入式表示，本文使用了Zhang等人[7]在3000万条推特上预训练好的GloVe[29]词嵌入式词典. 词嵌入式表示的维度为200，不在词典内的单词被随机初始化，并服从−0.25~0.25的均匀分布. 字符嵌入式表示、词性嵌入式表示的维度分别为30和16，且随机初始化服从−0.25~0.25的均匀分布. 句子和单词最大的长度都取数据集中的最大值，不满足最大值的单词或句子采用填充的方式使所有单词或句子等长. BiLSTM输出的隐藏向量维度为200，方面术语提取模块的私有特征维度为200，情感分类模块私有特征的维度为100. 方面术语提取和情感分类2个模块的损失权重分别为0.5和0.5. 训练过程中，周期（epoch）为50，批大小为20，优化器为Adam，学习率为0.001.
3.3 基线模型
在实验中用作对比的模型主要包括文本领域和多模态领域的模型.
3.3.1 文本领域
CMLA+TCap和DECNN+TCap.CMLA[30]和DECNN[31]是方面术语提取任务中经典的模型，TCap[32]是方面级情感分类领先的方法，本文分别将2个方面术语提取模型和1个情感分类模型进行整合，形成2个流水线模型.
1）MNN[26]. 该模型是使用联合标注方法的方面术语提取和情感分类统一的模型.
2）E2E-AESC[33]. 该模型是使用联合标注方法，并以观点词提取为辅助任务的方面术语提取和情感分类统一的模型.
3）DOER[34]. 该模型是联合训练方面术语提取和情感分类的多任务统一框架.
4）RACL[21]. 是将方面术语提取、观点词提取、情感分类统一的多任务模型，该模型使用多层叠加的框架.
5）UMAS-Text. 该模型是本文提出的方面术语提取和方面级情感分类的统一框架，它将模型中关于视觉特征处理的网络层去除，变成处理纯文本数据的模型.
3.3.2 多模态领域
1）VAM[9].VAM使用视觉注意机制和门控机制的多模态方面术语提取模型.
2）ACN[7].ACN使用文本注意机制、视觉注意机制和门控机制的多模态方面术语提取模型.
3）UMT[10].UMT使用Bert预训练模型表征文本的多模态方面术语提取模型.
4）Res-RAM和Res-MGAN.它们是2个方面级情感分类模型. 采用Hazarika 等人[35]提出的多模态融合方法将视觉特征和RAM[36]或MGAN[37]的文本特征融合，最后采用softmax层分类.
5）Res-RAM-TFN和Res-MGAN-TFN.它们是采用Zadeh等人[5]提出的多模态融合方法将视觉特征和RAM或MGAN的文本特征融合进行方面级情感分类的模型.
6）MIMN[38]. MIMN是采用多跳记忆网络建模方面术语、文本和视觉之间交互关系的方面级情感分类模型，具有较高的性能.
7）EASFN[8]. EASFN是目前多模态领域最新的方面级情感分类模型.
8）ACN-ESAFN. ACN-ESAFN是使用ACN[7]获取方面术语、ESAFN[8]获取方面级情感的流水线模型.
9）UMT-ESAFN. UMT-ESAFN是使用UMT[10]获取方面术语、ESAFN[8]获取方面级情感的流水线模型.
10）UMAS-AE. UMAS-AE是将本文提出的模型中的共享特征模块和方面术语提取模块组合成单任务的方面术语提取模型.
11）UMAS-SC. UMAS-SC是将本文提出的模型中的共享特征模块和情感分类模块组合成单任务的方面级情感分类模型.
12）UMAS-Pipeline. UMAS-Pipeline是将独立的UMAS-AE和UMAS-SC模型使用流水线方式合并而成的模型.
13）UMAS：UMAS是本文提出的多模态方面术语提取和方面级情感分类的统一框架，由2个模块共享浅层的特征表示.
3.4 评价指标
本文使用精确率（precision，P）、召回率（recall，R）、F1评价方面术语提取模型的性能，以下简记为AE-P、AE-R、AE-F1；使用准确率（accuracy，ACC）、F1评价情感分类的性能，简记为SC-ACC，SC-F1；使用F1评价方面-情感对提取的性能，简记为AESC-F1，即当且仅当方面术语提取和情感预测同时正确时记为预测正确.
3.5 实验结果
3.5.1 与基线模型的对比
表3报告了本文所提出的模型UMAS在文本领域与现有方法的性能对比. 在文本数据集Restaurant2014上，UMAS的F1在方面术语提取、情感分类2个子任务上相较于第2优秀的模型RACL-GloVe的F1值分别提升了0.21个百分点和1.9个百分点，且方面-情感对的提取表现也是最好的. 说明UMAS在删除视觉处理的相关网络后，在文本领域也具有良好的表现.
表 3 Restaurant2014数据集上UMAS-Text与现有方法的性能对比Table 3. Performance Comparison of UMAS-Text and Existing Methods on Restaurant2014 Dataset% 模型 AE -F1 SC-F1 AESC-F1 CMLA+TCap 81.91 71.32 65.68 DECNN+TCap 82.79 71.77 66.84 MNN 83.05 68.45 63.87 E2E-AESC 83.92 68.38 66.6 DOER 84.63 64.5 68.55 RACL 85.37 74.46 70.67 UMAS-Text 85.58 76.36 70.70 注：加粗数字表示最优结果. 表4和表5报告了UMAS在多模态领域与现有方法在方面术语提取和方面级情感分类2个子任务上的性能对比. 在多模态数据集Twitter2015上，UMAS与当前3个方面术语提取模型相比，F1值分别提升了21.78个百分点、4.25个百分点、0.15个百分点，比使用BERT预训练的方面术语提取模型UMT略有优势. 方面术语提取的P值比ACN高了1.99个百分点. 然而R值比UMT模型低了2.22个百分点. 这一定程度上体现了UMAS相对于UMT在识别方面时边界更加严格，提升了P值的同时损失了R值. 在情感分类任务中，UMAS的性能超过了所有的基线模型，比当前最新的模型ESAFN的F1值提高了5.97个百分点、ACC提高了0.1个百分点.
表 4 Twitter2015数据集上AE性能对比Table 4. Performance Comparison of AE on Twitter2015 Dataset% 模型 AE -P AE -R AE -F1 VAM 58.10 56.70 57.39 ACN 79.10 71.17 74.92 UMT 78.50 79.56 79.02 UMAS（本文） 81.09 77.34 79.17 注：加粗数字表示最优结果. 表 5 Twitter2015数据集上SC性能对比Table 5. Performance Comparison of SC on Twitter2015 Dataset% 模型 SC-ACC SC-F1 Res-RAM 71.55 64.68 Res-RAM-TFN 69.91 61.49 Res-MGAN 71.65 63.88 Res-MGAN-TFN 70.3 64.14 MIMN 71.84 65.69 EASFN 73.38 67.37 UMAS（本文） 73.48 73.34 注：加粗数字表示最优结果. 表6报告了UMAS和当前多模态流水线方法的性能对比. UMAS在多模态数据集上提取方面-情感对的F1值为58.05%，分别高于现有流水线方法2.49个百分点和1.16个百分点，且时间效率是现有方法的16.3倍和16倍，体现了本文所提出的统一框架具有最优的性能.
表 6 Twitter2015数据集上AESC性能对比Table 6. Performance Comparison of AESC on Twitter2015 Dataset模型 AESC-F1/% 运行时间/s ACN-ESAFN 55.56 163 UMT-ESAFN 56.89 160 UMAS（本文） 58.05 10 注：加粗数字表示最优结果. 表7报告了UMAS和单任务模型的性能对比. 结果表明，UMAS相比于方面术语提取和情感分类单任务模型，性能都有一定的提升，F1值分别提升了0.01个百分点和2.55个百分点，方面术语提取的ACC提升了2.79个百分点，情感分类的ACC提升了2.22个百分点. 然而，UMAS中方面术语提取的R值相对于单任务下降了2.7个百分点，这可能是因为在UMAS中方面的特征表示受到了情感模块的影响. 此外，UMAS的AESC性能与2个单任务串联的流水线模型对比，UMAS对方面-情感对提取性能有1.29个百分点的提升. 结果表明了底层的特征共享对2个子任务的性能提升都有帮助，通过建立2个任务之间的语义联系有利于提高方面-情感对提取的准确率.
表 7 统一框架和单任务模型的对比Table 7. Comparison of Unified Model and Single-Task Model% 模型 AE-P AE-R AE-F1 SC-ACC SC-F1 AESC-F1 UMAS-AE 78.30 80.04 79.16 UMAS-SC 71.26 70.79 UMAS-Pipeline 78.30 80.04 79.16 71.26 70.79 56.76 UMAS（本文） 81.09 77.34 79.17 73.48 73.34 58.05 注：加粗数字表示最优结果. 结合表4、表5、表7，可以看出本文的方面术语提取单任务模型比ACN的性能高了4.24个百分点，验证了词性特征对方面术语提取的重要影响. 相比于其他方面级情感分类，本文的单任务情感分类模型也有较大的改善，说明观点词和位置信息对情感分类有一定的帮助.
3.5.2 消融实验
首先介绍UMAS的7个变体模型.
1）UMAS-no_visual. 删除视觉特征.
2）UMAS-no_POS_features. 删除词性特征.
3）UMAS-no_opinion. 删除情感分类模块中观点词特征.
4）UMAS-no_self_attention. 删除情感分类模块中情感特征的自注意机制.
5）UMAS-no_gate_fusion. 将情感分类模块中私有特征获取部分的门控融合机制改为直接拼接操作.
6）UMAS-special. 只保留情感模块中私有特征部分中的特有情感特征，删除共享文本特征.
7）UMAS-share. 只保留情感模块中私有特征部分中的共享文本特征，删除特有情感特征.
表8报告了变体模型的性能. 通过分别消除视觉特征、词性特征、观点特征、情感模块的自注意机制、情感模块私有特征的门控融合机制、情感模块的共享文本特征、情感模块的特有特征，验证了各个部分存在的作用. 由于2个模块之间存在参数的共享，所以一个模块的结构的变化不仅影响自身，而且影响另一个模块. 表8的第1行和最后1行的对比显示了视觉特征对方面术语提取和情感分类模块都有明显的性能提升，F1值分别提升了2.45个百分点和2.07个百分点. 情感分类模块中的观点词特征将方面级情感分类的性能整体提升了2.61个百分点. 情感模块的自注意机制对该模块的性能有2.83个百分点的提升. 情感模块私有特征获取的门控融合机制，既考虑了方面对情感预测的影响，也考虑了情感特征本身的重要性，将情感分类的F1提升了3.59个百分点，AESC性能提升了2.35个百分点. 根据表8最后3行的结果，可以看出在情感分类模块中的私有特征部分单独使用共享特征或特有特征的效果都不好，将这二者融合是最佳的选择.
表 8 消融实验结果Table 8. Results of Ablation Experiment% 模型 AE-P AE-R AE-F1 SC-ACC SC-F1 AESC-F1 UMAS-no_visual 77.67 75.80 76.72 71.26 71.27 54.76 UMAS-no_POS_features 76.59 77.63 77.11 71.26 70.73 54.69 UMAS-no_opinion 75.16 79.36 77.20 73.00 72.28 55.44 UMAS-no_self_attention 75.87 79.46 77.63 71.36 70.51 55.77 UMAS-no_gate_fusion 75.30 78.78 77.02 71.26 69.75 55.70 UMAS-special 76.46 77.05 76.75 71.36 71.36 54.76 UMAS-share 75.44 78.78 77.08 68.27 67.91 52.55 UMAS（本文） 81.09 77.34 79.17 73.48 73.34 58.05 注：加粗数字表示最优结果. 3.5.3 补充实验
为了说明情感分类模块私有特征部分不同选择的不同效果，本节进行了相关的可视化分析. 首先，情感分类模块的私有特征可以有3种选择：情感模块私有文本编码器输出的特有情感表示、共享文本编码器输出的共享文本表示、特有情感表示和共享文本表示的融合特征. 为了方便说明，将这3种特征对应的模型记为UMAS-special，UMAS-share，UMAS-combine. 表9说明了图3、图4涉及的统计量的含义.
表 9 统计量说明Table 9. Instruction of Statistics统计对象 统计量 说明 combine_true_special_wrong UMAS-combine 预测正确而UMAS-special 预测错误的数量. 体现了UMAS-combine 对UMAS-special 的纠正能力. combine_wrong_special_true UMAS-combine 预测错误而UMAS-special 预测正确的数量. combine_true_share_wrong UMAS-combine 预测正确而UMAS-share 预测错误的数量. combine_wrong_share_true UMAS-combine 预测错误而UMAS-share 预测正确的数量. special_contribution UMAS-share 预测错误而UMAS-special 预测正确的数量. 体现了UMAS-special 的特殊贡献. share_contribution UMAS-special 预测错误而UMAS-share 预测正确的数量. ![]()
图 4 不同表示对情感分类的贡献Figure 4. Different representations contribute to sentiment classification图3显示了不同情感私有特征表示的结果. 首先，在AE模块，UMAS-combine预测正确且UMAS-special预测错误的数量为128，而UMAS-combine预测错误且UMAS-special预测正确的数量为99，说明UMAS-combine对UMAS-special的纠正能力要强于UMAS-special对UMAS-combine的纠正能力，即UMAS-combine模型的性能较优越. 通过图3中其他数据的对比分析，可以发现无论是对方面术语提取还是情感分类，UMAS-combine的性能总是要强于UMAS-special和UMAS-share. 其次，在情感分类模块，UMAS-special预测正确而UMAS-share预测错误的数量为83，而UMAS-share预测正确而UMAS-special预测错误的数量为53，体现了特有情感特征和共享特征对情感模块性能的不同贡献. 图4展示了特有情感特征和共享特征对情感模块的不同贡献程度，特有情感特征的贡献约为60%，共享特征的贡献程度约为40%.
综上体现了将特有情感特征和共享文本特征进行动态融合的必要性，且特有情感特征对方面级情感分类的贡献比较突出. 同时，也说明了方面术语提取和方面级情感分类2个任务之间既有联系又有区别，既要考虑2个任务之间的交互关系，又要充分考虑任务本身的特征.
4. 总结与展望
为了解决目前AESC任务流水线方法的不足，本文提出了多模态方面术语提取和方面级情感分类的统一框架UMAS. 该统一框架使用3个共享编码器，即文本、图像、词性编码器构建方面术语提取模块和情感分类模块底层的共享特征模块. 该共享特征模块不仅使模型在训练过程中学习到2个任务之间的语义联系，而且简化了模型. 同时，该统一框架能并行地执行2个子任务，同时输出句子中的多个方面及其对应的情感类别，解决了流水线方法效率低的问题. 此外，本文通过词性标注获取单词的词性，并使用多头自注意机制获取词性特征，将视觉特征、文本特征、词性特征融合作为方面术语提取模块解码器的输入，提升了方面术语提取的性能. 在情感分类模块，本文使用词性识别句子中的观点词，在情感分析中增加对这些观点词的注意权重并考虑位置信息以提升情感分类的性能. 本文所提出的统一框架在Twitter2015和Restaurant2014这2个数据集上相比于其他基线模型都有良好的表现.
随着transformer，BERT等技术的不断发展，在未来的研究中可以考虑将预训练技术加入到本文模型中以获得更好的特征表示.
作者贡献声明：周如提出了算法思路和撰写论文；朱浩泽提出了实验方案并负责完成实验；郭文雅、于胜龙、张莹提出指导意见并修改论文.
-
表 1 云计算、边缘计算和边缘智能特点对比
Table 1 Features Comparison of Cloud Computing, Edge Computing , and Edge Intelligence
类别 云计算 边缘计算 边缘智能 架构模型 集中式 分布式 分布式 服务器位置 互联网中 边缘网络中 云—边—端协同网络 目标应用 互联网应用 物联网或移动应用 各种智能应用程序 服务类型 全球信息服务 有限的本地化信息服务 低延时、高可靠的智能服务 设备数量 数百亿 几千万甚至几亿 数百亿甚至上千亿 研究重点 工作流调度、虚拟机管理等 计算卸载、缓存、资源分配等 在边缘侧利用AI实现数据收集、缓存、处理和分析 
下载: 导出CSV
表 2 智能的边缘计算和边缘的智能化特点对比
Table 2 Features Comparison of Intelligent Edge Computing and Edge Intelligence
类别 云/边/端 智能的边缘计算 边缘的智能化 结构层面 云 服务器集群 服务器集群 边缘 基准站、边缘节点 智能化服务 终端 终端设备 智能化应用 内容层面 利用AI技术解决边缘计算相关问题 实现边缘环境中应用的智能化
下载: 导出CSV
表 3 智能的边缘计算相关工作分类
Table 3 Related Work Classification for Intelligent Edge Computing
关键技术 适用场景 问题挑战 优化目标 相应算法 数据来源 计算卸载 车联网 高度动态的车辆拓扑结构. 优化卸载决策和带宽/计算资源分配 深度学习 文献[56] 无人机 无人机与终端用户之间的
计算和信道容量有限.最小化延迟和能耗 深度学习 文献[57] 设备到设备卸载 数据卸载过程效果不稳定. 优化用户体验 强化学习 文献[58] 物联网设备 嵌入式设备处理能力及资源受限； 降低了DNN推理的总延迟 深度学习 文献[59] 设备之间的对抗性竞争；
低延时通信约束.最小化延迟和通信成本 深度强化学习 文献[60] 资源分配 多用户资源约束条件 单个边缘服务器资源受限. 最小化延迟、提高系统实时性 深度学习 文献[61] 移动设备 边缘计算环境复杂多变. 保持MEC架构在不同条件下的稳定性 深度强化学习 文献[46] 车辆边缘计算网络 车辆动态变化. 最大化车辆边缘计算网络的长期效用 深度强化学习 文献[62] 工业物联网 频谱资源有限；
电池容量受限.最大化长期吞吐量 深度学习 文献[63] 无线网络 框架节点之间达成共识的同时
保证系统的性能.最大化系统吞吐量和用户的服务质量 深度强化学习 文献[64] 边缘缓存 边缘计算系统 无线信道的拥塞. 最小化系统成本消耗
系统性能最优深度强化学习 文献[36] 车联网 车辆移动性； 最大化系统效用 深度强化学习 文献[65] 动态网络拓扑；
存储容量和带宽资源有限；最小化系统成本和延迟 深度强化学习 文献[66] 主动缓存的时间变化性； 提高模型性能预测准确率 深度学习 文献[67] 车辆的高移动性. 以最大限度地降低能耗 深度强化学习 文献[68]
下载: 导出CSV
表 4 OpenEI和Edgent的特点对比
Table 4 Features Comparison of OpenEI and Edgent
类别 OpenEI Edgent 可部署的
硬件环境树莓派和集群计算机 树莓派和台式机 适用环境 各种操作系统 静态和动态网络 优化目标 最大化模型准确率 最小化延迟 特点 易于安装、可跨平台使用 超低延时、超高稳定
性及可靠性功能 为边缘提供智能处理和
数据共享功能按需DNN协作推理
下载: 导出CSV
-
[1] Cisco U. Cisco annual internet report, 2018—2023, white paper, [EB/OL]. 2020[2022-02-19]. https://www.cisco.com/c/en/us/solutions/colla teral/executive-perspectives/annual-internet-report/white-paper-c11-741490.html
[2] Shepherd J, Burian S. Detection of urban-induced rainfall anomalies in a major coastal city[J]. Earth Interactions, 2003, 7(4): 1−17 doi: 10.1175/1087-3562(2003)007<0001:DOUIRA>2.0.CO;2
[3] 施巍松,孙辉,曹杰,等. 边缘计算:万物互联时代新型计算模型[J]. 计算机研究与发展,2017,54(5):907−924 doi: 10.7544/issn1000-1239.2017.20160941 Shi Weisong, Sun Hui, Cao Jie, et al. Edge computing—An emerging computing model for the Internet of everything era[J]. Journal of Computer Research and Development, 2017, 54(5): 907−924 (in Chinese) doi: 10.7544/issn1000-1239.2017.20160941
[4] Patel M, Naughton B, Chan C, et al. Mobile-edge computing—Introductory technical white paper[J]. White Paper, Mobile-edge Computing Industry Initiative, 2014, 29: 854−864
[5] Shi Weisong, Cao Jie, Zhang Quan, et al. Edge computing: Vision and challenges[J]. IEEE Internet of Things Journal, 2016, 3(5): 637−646 doi: 10.1109/JIOT.2016.2579198
[6] 施巍松,张星洲,王一帆,等. 边缘计算:现状与展望[J]. 计算机研究与发展,2019,56(1):69−89 doi: 10.7544/issn1000-1239.2019.20180760 Shi Weisong, Zhang Xingzhou, Wang Yifan, et al. Edge computing: State-of-the-art and future directions[J]. Journal of Computer Research and Development, 2019, 56(1): 69−89 (in Chinese) doi: 10.7544/issn1000-1239.2019.20180760
[7] Wang Xiaofei, Han Yiwen, Leung V, et al. Convergence of edge computing and deep learning: A comprehensive survey[J]. IEEE Communications Surveys & Tutorials, 2020, 22(2): 869−904
[8] Zhou Zhi, Chen Xu, Li En, et al. Edge intelligence: Paving the last mile of artificial intelligence with edge computing[J]. Proceedings of the IEEE, 2019, 107(8): 1738−1762 doi: 10.1109/JPROC.2019.2918951
[9] Plastiras G, Terzi M, Kyrkou C, et al. Edge intelligence: Challenges and opportunities of near-sensor machine learning applications[C/OL] //Proc of the 29th Int Conf on Application Specific Systems, Architectures and Processors (ASAP). Piscataway, NJ: IEEE, 2018[2022-02-19]. https://ieee xplore.ieee.org/abstract/document/8445118
[10] Rausch T, Dustdar S. Edge intelligence: The convergence of humans, things, and AI[C] //Proc of the 2019 IEEE Int Conf on Cloud Engineering (IC2E). Piscataway, NJ: IEEE, 2019: 86−96
[11] Parekh B, Amin K. Edge intelligence: A robust reinforcement of edge computing and artificial intelligence[C] //Proc of Innovations in Information and Communication Technologies (IICT-2020). Berlin: Springer, 2021: 461−468
[12] Munir A, Blasch E, Kwon J, et al. Artificial intelligence and data fusion at the edge[J]. IEEE Aerospace and Electronic Systems Magazine, 2021, 36(7): 62−78 doi: 10.1109/MAES.2020.3043072
[13] Dillon T, Wu Chen, Chang E. Cloud computing: Issues and challenges [C] //Proc of the 24th IEEE Int Conf on Advanced Information Networking and Applications. Piscataway, NJ: IEEE, 2010: 27−33
[14] Khan W, Ahmed E, Hakak S, et al. Edge computing: A survey[J]. Future Generation Computer Systems, 2019, 97: 219−235 doi: 10.1016/j.future.2019.02.050
[15] Xu Dianlei, Li Tong, Li Yong, et al. Edge intelligence: Empowering intelligence to the edge of network[J]. Proceedings of the IEEE, 2021, 109(11): 1778−1837 doi: 10.1109/JPROC.2021.3119950
[16] Yi Shanhe, Hao Zijiang, Qin Zhengrui, et al. Fog computing: Platform and applications[C] //Proc of the 3rd IEEE Workshop on Hot Topics in Web Systems and Technologies (HotWeb). Piscataway, NJ: IEEE, 2015: 73−78
[17] Meng Jiaying, Tan Haisheng, Xu Chao, et al. Dedas: Online task dispatching and scheduling with bandwidth constraint in edge computing[C] //Proc of IEEE Conf on Computer Communications (INFOCOM 2019). Piscataway, NJ: IEEE, 2019: 2287−2295
[18] Sun Yaping, Chen Zhiyong, Tao Meixia, et al. Bandwidth gain from mobile edge computing and caching in wireless multicast systems[J]. IEEE Transactions on Wireless Communications, 2020, 19(6): 3992−4007 doi: 10.1109/TWC.2020.2979147
[19] Xu Xiaolong, Xue Yuan, Qi Lianyong, et al. An edge computing-enabled computation offloading method with privacy preservation for Internet of connected vehicles[J]. Future Generation Computer Systems, 2019, 96: 89−100 doi: 10.1016/j.future.2019.01.012
[20] 林永青. 人工智能起源处的“群星”[J]. 金融博览,2017(5):46−47 doi: 10.3969/j.issn.1673-4882.2017.05.021 Lin Yongqing. "Stars" at the origin of artificial intelligence[J]. Financial View, 2017(5): 46−47 (in Chinese) doi: 10.3969/j.issn.1673-4882.2017.05.021
[21] 崔雍浩,商聪,陈锶奇,等. 人工智能综述:AI的发展[J]. 无线电通信技术,2019,45(3):225−231 doi: 10.3969/j.issn.1003-3114.2019.03.01 Cui Yonghao, Shang Cong, Chen Siqi, et al. Overview of artificial intelligence: The development of AI[J]. Radio Communication Technology, 2019, 45(3): 225−231 (in Chinese) doi: 10.3969/j.issn.1003-3114.2019.03.01
[22] Qiu Junfei, Wu Qihui, Ding Guoru, et al. A survey of machine learning for big data processing[J]. EURASIP Journal on Advances in Signal Processing, 2016, 2016(1): 1−16 doi: 10.1186/s13634-015-0293-z
[23] Adam B, Smith I. Reinforcement learning for structural control[J]. Journal of Computing in Civil Engineering, 2008, 22(2): 133−139 doi: 10.1061/(ASCE)0887-3801(2008)22:2(133)
[24] Arulkumaran K, Deisenroth M P, Brundage M, et al. Deep reinforcement learning: A brief survey[J]. IEEE Signal Processing Magazine, 2017, 34(6): 26−38 doi: 10.1109/MSP.2017.2743240
[25] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436−444 doi: 10.1038/nature14539
[26] Pouyanfar S, Sadiq S, Yan Yilin, et al. A survey on deep learning: Algorithms, techniques, and applications[J]. ACM Computing Surveys, 2018, 51(5): 1−36
[27] McCulloch W, Pitts W. A logical calculus of the ideas immanent in nervous activity[J]. The Bulletin of Mathematical Biophysics, 1943, 5(4): 115−133 doi: 10.1007/BF02478259
[28] Fukushima K, Miyake S, Ito T. Neocognitron: A neural network model for a mechanism of visual pattern recognition[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1983(5): 826−834
[29] Jordan M. Serial Order: A Parallel Distributed Processing Approach[M] //Advances in Psychology. Amsterdam: Elsevier, 1997: 471−495
[30] Hinton G, Osindero S, Teh Y. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527−1554 doi: 10.1162/neco.2006.18.7.1527
[31] Jia Yangqing, Shelhamer E, Donahue J, et al. Caffe: Convolutional architecture for fast feature embedding[C] //Proc of the 22nd ACM Int Conf on Multimedia. New York: ACM, 2014: 675−678
[32] Parvat A, Chavan J, Kadam S, et al. A survey of deep-learning frameworks[C/OL] //Proc of the 2017 Int Conf on Inventive Systems and Control (ICISC). Piscataway, NJ: IEEE, 2017[2022-02-19]. https://ieeexplore.ieee. org/abstract/document/8068684
[33] Abadi M. TensorFlow: Learning functions at scale[C/OL] //Proc of the 21st ACM SIGPLAN Int Conf on Functional Programming. New York: ACM, 2016[2022-02-19]. https://dl.acm.org/doi/abs/10.1145/2951913.2976746
[34] Qiu Chao, Wang Xiaofei, Yao Haipeng, et al. Bring intelligence among edges: A blockchain-assisted edge intelligence approach[C/OL] //Proc of IEEE Global Communications Conf (GLOBECOM 2020). Piscataway, NJ: IEEE, 2020[2022-02-19]. https://ieeexplore.ieee.org/abstract/document/9348271
[35] Babu B, Jayashree N. Edge intelligence models for industrial IoT (IIoT)[J]. RV Journal of Science Technology Engineering Arts and Management, 2020, 1: 5−17
[36] Wang Xiaofei, Han Yiwen, Wang Chenyang, et al. In-edge AI: Intelligentizing mobile edge computing, caching and communication by federated learning[J]. IEEE Network, 2019, 33(5): 156−165 doi: 10.1109/MNET.2019.1800286
[37] Wang Zhiyuan, Xu Hongli, Liu Jianchun, et al. Resource-efficient federated learning with hierarchical aggregation in edge computing[C/OL] //Proc of IEEE Conf on Computer Communications (INFOCOM 2021). Piscataway, NJ. IEEE, 2021[2022-02-19]. https://ieeexplore.ieee.org/abstra ct/document/9488756
[38] Nguyen D, Ding Ming, Pham Q, et al. Federated learning meets blockchain in edge computing: Opportunities and challenges[J]. IEEE Internet of Things Journal, 2021, 8(1): 12806−12825
[39] Deng Shuiguang, Zhao Hailiang, Fang Weijia, et al. Edge intelligence: The confluence of edge computing and artificial intelligence[J]. IEEE Internet of Things Journal, 2020, 7(8): 7457−7469 doi: 10.1109/JIOT.2020.2984887
[40] Qu Guanjin, Wu Huaming, Li Ruidong, et al. DMRO: A deep meta reinforcement learning-based task offloading framework for edge-cloud computing[J]. IEEE Transactions on Network and Service Management, 2021, 18(3): 3448−3459 doi: 10.1109/TNSM.2021.3087258
[41] Tang Ming, Wong V. Deep reinforcement learning for task offloading in mobile edge computing systems[J/OL]. IEEE Transactions on Mobile Computing, 2020[2022-02-19]. https://ieeexplore.ieee.org/abstract/docume nt/9253665
[42] Zhang Ke, Zhu Yongxu, Leng Supeng, et al. Deep learning empowered task offloading for mobile edge computing in urban informatics[J]. IEEE Internet of Things Journal, 2019, 6(5): 7635−7647 doi: 10.1109/JIOT.2019.2903191
[43] Deng Xiaoheng, Yin Jian, Guan Peiyuan, et al. Intelligent delay-aware partial computing task offloading for multi-user industrial Internet of things through edge computing[J/OL]. IEEE Internet of Things Journal, 2021[2022-02-19]. https://ieeexplore.ieee.org/abstract/document/9590527
[44] Wu Huaming, Zhang Ziru, Guan Chang, et al. Collaborate edge and cloud computing with distributed deep learning for smart city Internet of things[J]. IEEE Internet of Things Journal, 2020, 7(9): 8099−8110 doi: 10.1109/JIOT.2020.2996784
[45] Huang Hui, Ye Qiang, Du Hongwei. Reinforcement learning based offloading for realtime applications in mobile edge computing [C/OL] //Proc of IEEE Int Conf on Communications (ICC 2020). Piscataway, NJ: IEEE, 2020[2022-02-19]. https://ieeexplore.ieee.org/abstract/document/9148748
[46] Wang Jiadai, Zhao Lei, Liu Jiajia, et al. Smart resource allocation for mobile edge computing: A deep reinforcement learning approach[J]. IEEE Transactions on Emerging Topics in Computing, 2019, 9(3): 1529−1541
[47] He Ying, Wang Yuhang, Qiu Chao, et al. Blockchain-based edge computing resource allocation in IoT: A deep reinforcement learning approach[J]. IEEE Internet of Things Journal, 2020, 8(4): 2226−2237
[48] Dai Yueyue, Zhang Ke, Maharjan S, et al. Edge intelligence for energy-efficient computation offloading and resource allocation in 5G beyond[J]. IEEE Transactions on Vehicular Technology, 2020, 69(10): 12175−12186 doi: 10.1109/TVT.2020.3013990
[49] Lin Zehong, Bi Suzhi, Zhang Yingjun. Optimizing AI service placement and resource allocation in mobile edge intelligence systems[J]. IEEE Transactions on Wireless Communications, 2021, 20(11): 7257−7271 doi: 10.1109/TWC.2021.3081991
[50] Yu Zhengxin, Hu Jia, Min Geyong, et al. Mobility-aware proactive edge caching for connected vehicles using federated learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(8): 5341−5351
[51] Zhang Ke, Leng Supeng, He Yejun, et al. Cooperative content caching in 5G networks with mobile edge computing[J]. IEEE Wireless Communications, 2018, 25(3): 80−87 doi: 10.1109/MWC.2018.1700303
[52] Ning Zhaolong, Zhang Kaiyuan, Wang Xiaojie, et al. Joint computing and caching in 5G-envisioned Internet of vehicles: A deep reinforcement learning-based traffic control system[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(8): 5201−5212
[53] Ning Zhaolong, Zhang Kaiyuan, Wang Xiaojie, et al. Intelligent edge computing in Internet of vehicles: A joint computation offloading and caching solution[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(4): 2212−2225
[54] Ndikumana A, Tran N, Kim K, et al. Deep learning based caching for self-driving cars in multi-access edge computing[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(5): 2862−2877
[55] Zhang Ran, Yu F, Liu Jiang, et al. Deep reinforcement learning (DRL)-based device-to-device caching with blockchain and mobile edge computing[J]. IEEE Transactions on Wireless Communications, 2020, 19(10): 6469−6485 doi: 10.1109/TWC.2020.3003454
[56] Dai Penglin, Hu Kaiwen, Wu Xiao, et al. Asynchronous deep reinforcement learning for data-driven task offloading in MEC-empowered vehicular networks [C/OL] //Proc of IEEE Conf on Computer Communications (INFOCOM 2021). Piscataway, NJ: IEEE, 2021[2022-02-19]. https://ieeexplore.ieee.org/document/9488886
[57] Mukherjee M, Kumar V, Lat A, et al. Distributed deep learning-based task offloading for UAV-enabled mobile edge computing[C] //Proc of IEEE Conf on Computer Communications Workshops (INFOCOM 2020). Piscataway, NJ: IEEE, 2020: 1208−1212
[58] Liu Xianming, Zhang Chaokun, He Shen. Adaptive task offloading for mobile aware applications based on deep reinforcement learning[C] //Proc of the 19th Int Conf on mobile Ad Hoc and Smart Systems (MASS). Piscataway, NJ: IEEE, 2022, accepted
[59] Mohammed T, Joe-Wong C, Babbar R, et al. Distributed inference acceleration with adaptive DNN partitioning and offloading [C] //Proc of the IEEE Conf on Computer Communications (INFOCOM 2020). Piscataway, NJ: IEEE, 2020: 854−863
[60] Zhou Zhenyu, Wang Zhao, Yu Haijun, et al. Learning-based URLLC-aware task offloading for Internet of health things[J]. IEEE Journal on Selected Areas in Communications, 2020, 39(2): 396−410
[61] Tang Xin, Chen Xu, Zeng Liekang, et al. Joint multiuser DNN partitioning and computational resource allocation for collaborative edge intelligence[J]. IEEE Internet of Things Journal, 2020, 8(12): 9511−9522
[62] Liu Yi, Yu Huimin, Xie Shengli, et al. Deep reinforcement learning for offloading and resource allocation in vehicle edge computing and networks[J]. IEEE Transactions on Vehicular Technology, 2019, 68(11): 11158−11168 doi: 10.1109/TVT.2019.2935450
[63] Liao Haijun, Zhou Zhenyu, Zhao Xiongwen, et al. Learning-based context-aware resource allocation for edge-computing-empowered industrial IoT[J]. IEEE Internet of Things Journal, 2019, 7(5): 4260−4277
[64] Guo Fengxian, Yu F, Zhang Heli, et al. Adaptive resource allocation in future wireless networks with blockchain and mobile edge computing[J]. IEEE Transactions on Wireless Communications, 2019, 19(3): 1689−1703
[65] Dai Yueyue, Xu Du, Maharjan S, et al. Artificial intelligence empowered edge computing and caching for Internet of vehicles[J]. IEEE Wireless Communications, 2019, 26(3): 12−18 doi: 10.1109/MWC.2019.1800411
[66] Qiao Guanhua, Leng Supeng, Maharjan S, et al. Deep reinforcement learning for cooperative content caching in vehicular edge computing and networks[J]. IEEE Internet of Things Journal, 2019, 7(1): 247−257
[67] Ale L, Zhang Ning, Wu Huici, et al. Online proactive caching in mobile edge computing using bidirectional deep recurrent neural network[J]. IEEE Internet of Things Journal, 2019, 6(3): 5520−5530 doi: 10.1109/JIOT.2019.2903245
[68] Khan L U, Yaqoob I, Tran N H, et al. Edge-computing-enabled smart cities: A comprehensive survey[J]. IEEE Internet of Things Journal, 2020, 7(10): 10200−10232 doi: 10.1109/JIOT.2020.2987070
[69] Nakahara M, Hisano D, Nishimura M, et al. Retransmission edge computing system conducting adaptive image compression based on image recognition accuracy[C/OL] //Proc of the 94th IEEE Vehicular Technology Conf (VTC2021-Fall). Piscataway, NJ: IEEE, 2021[2022-02-19]. https://iee explore.ieee.org/document/9625464
[70] Muhammad G, Hossain M. Emotion recognition for cognitive edge computing using deep learning[J]. IEEE Internet of Things Journal, 2021, 8(23): 16894−16901 doi: 10.1109/JIOT.2021.3058587
[71] Shen Tao, Gao Chan, Xu Dawei. The analysis of intelligent real-time image recognition technology based on mobile edge computing and deep learning[J]. Journal of Real-Time Image Processing, 2021, 18(4): 1157−1166 doi: 10.1007/s11554-020-01039-x
[72] Monburinon N, Zabir S, Vechprasit N, et al. A novel hierarchical edge computing solution based on deep learning for distributed image recognition in IoT systems[C] //Proc of the 4th Int Conf on Information Technology (InCIT). Piscataway, NJ: IEEE, 2019: 294−299
[73] Wu Juan. English real-time speech recognition based on hidden markov and edge computing model[C] //Proc of the 3rd Int Conf on Inventive Research in Computing Applications (ICIRCA). Piscataway, NJ: IEEE, 2021: 376−379
[74] Xu Yunwei. Research on business English translation architecture based on artificial intelligence speech recognition and edge computing[J/OL]. Wireless Communications and Mobile Computing, 2021[2022-02-19]. https://www.hindawi.com/journals/wcmc/2021/5518868/
[75] Cheng Shitong, Xu Zhenghui, Li Xiuhua, et al. Task Offloading for automatic speech recognition in edge-cloud computing based mobile networks[C/OL] //Proc of IEEE Symp on Computers and Communications (ISCC). Piscataway, NJ: IEEE, 2020[2022-02-19]. https://ieeexplore.ieee.org/abstract/document/9219579
[76] Zeng Xiao, Fang Biyi, Shen Haichen, et al. Distream: Scaling live video analytics with workload-adaptive distributed edge intelligence [C] //Proc of the 18th Conf on Embedded Networked Sensor Systems. New York: ACM, 2020: 409−421
[77] Rocha N, Silva T, Batista T, et al. Leveraging edge intelligence for video analytics in smart city applications [J]. Information, 2021, 12(1): 14
[78] Zhang Xingzhou, Wang Yifan, Lu Sidi, et al. OpenEI: An open framework for edge intelligence[C] //Proc of the 39th IEEE Int Conf on Distributed Computing Systems (ICDCS). Piscataway, NJ: IEEE, 2019: 1840−1851
[79] Li En, Zeng Liekang, Zhou Zhi, et al. Edge AI: On-demand accelerating deep neural network inference via edge computing[J]. IEEE Transactions on Wireless Communications, 2019, 19(1): 447−457
[80] Erfanian A, Amirpour H, Tashtarian F, et al. LwTE-Live: Light-weight transcoding at the edge for live streaming[C] //Proc of the Workshop on Design, Deployment, and Evaluation of Network-assisted Video Streaming. New York: ACM, 2021: 22−28
[81] Jin Yibo, Jiao Lei, Qian Zhuzhong, et al. Learning for Learning: Predictive online control of federated learning with edge provisioning [C/OL] //Proc of the IEEE Conf on Computer Communications (INFOCOM 2021). Piscataway, NJ: IEEE, 2021[2022-02-19]. https://ieeexplore.ieee.org/abstra ct/document/9488733
[82] Zhang D, Kou Ziyi, Wang Dong. Fedsens: A federated learning approach for smart health sensing with class imbalance in resource constrained edge computing[C/OL] //Proc of the IEEE Conf on Computer Communications (INFOCOM 2021). Piscataway, NJ: IEEE, 2021[2022-02-19]. https://ieeexplore.ieee.org/document/9488776
[83] Wang Shuangguang, Guo Yan, Zhang Ning, et al. Delay-aware microservice coordination in mobile edge computing: A reinforcement learning approach[J]. IEEE Transactions on Mobile Computing, 2019, 20(3): 939−951
[84] Bahreini T, Badri H, Grosu D. Mechanisms for resource allocation and pricing in mobile edge computing systems[J]. IEEE Transactions on Parallel and Distributed Systems, 2021, 33(3): 667−682
[85] Tran T, Pompili D. Adaptive bitrate video caching and processing in mobile-edge computing networks[J]. IEEE Transactions on Mobile Computing, 2018, 18(9): 1965−1978
[86] Xing Hong, Liu Liang, Xu Jie, et al. Joint task assignment and resource allocation for D2D-enabled mobile-edge computing[J]. IEEE Transactions on Communications, 2019, 67(6): 4193−4207 doi: 10.1109/TCOMM.2019.2903088
[87] Zhang Chaokun, Zheng Rong, Cui Yong, et al. Delay-sensitive computation partitioning for mobile augmented reality applications[C/OL] //Proc of the 28th Int Symp on Quality of Service (IWQoS). Piscataway, NJ: IEEE, 2020[2022-02-19]. https://ieeexplore.ieee.org/docu ment/9212917
[88] Song Fuhong, Xing Huanlai, Luo Shouxi, et al. A multiobjective computation offloading algorithm for mobile-edge computing[J]. IEEE Internet of Things Journal, 2020, 7(9): 8780−8799 doi: 10.1109/JIOT.2020.2996762
[89] Lei Lei, Xu Huijuan, Xiong Xiong, et al. Joint computation offloading and multiuser scheduling using approximate dynamic programming in NB-IoT edge computing system[J]. IEEE Internet of Things Journal, 2019, 6(3): 5345−5362 doi: 10.1109/JIOT.2019.2900550
[90] Littman M, Moore A. Reinforcement learning: A survey[J]. Journal of Artificial Intelligence Research, 1996, 4(1): 237−285
[91] Wang Jin, Hu Jia, Min Geyong, et al. Fast adaptive task offloading in edge computing based on meta reinforcement learning[J]. IEEE Transactions on Parallel and Distributed Systems, 2020, 32(1): 242−253
[92] Huisman M, Van R, Plaat A. A survey of deep meta-learning[J]. Artificial Intelligence Review, 2021, 54(6): 4483−4541 doi: 10.1007/s10462-021-10004-4
[93] Zhang Ke, Cao Jiayu, Zhang Yan. Adaptive digital twin and multiagent deep reinforcement learning for vehicular edge computing and networks[J]. IEEE Transactions on Industrial Informatics, 2021, 18(2): 1405−1413
[94] Dai Yueyue, Xu Du, Zhang Ke, et al. Deep reinforcement learning and permissioned blockchain for content caching in vehicular edge computing and networks[J]. IEEE Transactions on Vehicular Technology, 2020, 69(4): 4312−4324 doi: 10.1109/TVT.2020.2973705
[95] Liang Fan, Yu Wei, Liu Xing, et al. Toward edge-based deep learning in industrial Internet of things[J]. IEEE Internet of Things Journal, 2020, 7(5): 4329−4341 doi: 10.1109/JIOT.2019.2963635
[96] Guillén M, Llanes A, Imbernón B, et al. Performance evaluation of edge-computing platforms for the prediction of low temperatures in agriculture using deep learning[J]. The Journal of Supercomputing, 2021, 77(1): 818−840 doi: 10.1007/s11227-020-03288-w
[97] Zhao Ning, Wu Hao, Yu F, et al. Deep-reinforcement-learning-based latency minimization in edge intelligence over vehicular networks[J]. IEEE Internet of Things Journal, 2021, 9(2): 1300−1312
[98] Li Bo, He Qiang, Chen Feifei, et al. Inspecting edge data integrity with aggregated signature in distributed edge computing environment [J/OL]. IEEE Transactions on Cloud Computing, 2021[2022-02-19]. https://ieeexplore.ieee.org/abstract/document/9354962
[99] Li Yannan, Yu Yong, Susilo W, et al. Security and privacy for edge intelligence in 5G and beyond networks: Challenges and solutions[J]. IEEE Wireless Communications, 2021, 28(2): 63−69 doi: 10.1109/MWC.001.2000318
[100] Li Bo, He Qiang, Chen Feifei, et al. Auditing cache data integrity in the edge computing environment[J]. IEEE Transactions on Parallel and Distributed Systems, 2020, 32(5): 1210−1223
[101] Cui Guangming, He Qiang, Li Bo, et al. Efficient verification of edge data integrity in edge computing environment [J/OL]. IEEE Transactions on Services Computing, 2021[2022-02-19]. https://ieeexplore.ieee.org/abstract /document/9459478
[102] Li Bo, He Qiang, Chen Feifei, et al. Cooperative assurance of cache data integrity for mobile edge computing[J]. IEEE Transactions on Information Forensics and Security, 2021, 16: 4648−4662 doi: 10.1109/TIFS.2021.3111747
[103] Tong Wei, Jiang Bingbing, Xu Fengyuan, et al. Privacy-preserving data integrity verification in mobile edge computing [C] //Proc of the 39th Int Conf on Distributed Computing Systems (ICDCS). Piscataway, NJ: IEEE, 2019: 1007−1018
[104] Xu Rongxu, Hang Lei, Jin Wenquan, et al. Distributed secure edge computing architecture based on blockchain for real-time data integrity in IoT environments[J]. Actuators, 2021, 10(8): 197−212 doi: 10.3390/act10080197
[105] Shanthamallu U, Thiagarajan J, Spanias A. Uncertainty-matching graph neural networks to defend against poisoning attacks [C] //Proc of the 35th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2021, 9524−9532
[106] Alfeld S, Zhu Xiaojin, Barford P. Data poisoning attacks against autoregressive models [C/OL] //Proc of the 30th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2016[2022-02-19]. https://ojs.aaai.org/index.php/AA AI/article/view/10237
[107] Jagielski M, Oprea A, Biggio B, et al. Manipulating machine learning: Poisoning attacks and countermeasures for regression learning [C] //Proc of the 2018 IEEE Symp on Security and Privacy (SP). Piscataway, NJ: IEEE, 2018: 19−35
[108] Steinhardt J, Koh P, Liang P. Certified defenses for data poisoning attacks [J/OL]. Advances in Neural Information Processing Systems, 2017[2022-02-19]. https://proceedings.neurips.cc/paper/2017/hash/9d7311ba459f9e45ed746755a32dcd11-Abstract.html
[109] Tolpegin V, Truex S, Gursoy M, et al. Data poisoning attacks against federated learning systems[C] //Proc of the European Symp on Research in Computer Security. Berlin: Springer, 2020: 480−501
[110] Douceur J. The sybil attack[C] //Proc of the Int Workshop on Peer-to-Peer Systems. Berlin: Springer, 2002: 251−260
[111] Doku R, Rawat D. Mitigating data poisoning attacks on a federated learning-edge computing network[C/OL] //Proc of the 18th Annual Consumer Communications & Networking Conf (CCNC). Piscataway, NJ: IEEE, 2021[2022-02-19]. https://ieeexplore.ieee.org/abstract/document/9369581
[112] Xiao Liang, Wan Xiaoyue, Dai Canhuang, et al. Security in mobile edge caching with reinforcement learning[J]. IEEE Wireless Communications, 2018, 25(3): 116−122 doi: 10.1109/MWC.2018.1700291
[113] Jia Xiaoying, He Debiao, Kumar N, et al. A provably secure and efficient identity-based anonymous authentication scheme for mobile edge computing[J]. IEEE Systems Journal, 2019, 14(1): 560−571
[114] Kaur K, Garg S, Kaddoum G, et al. A lightweight and privacy-preserving authentication protocol for mobile edge computing [C/OL] //Proc of IEEE Global Communications Conf (GLOBECOM 2019). Piscataway, NJ: IEEE, 2019[2022-02-19]. https://ieeexplore.ieee.org/abstract/document/9013856
[115] Gupta R, Reebadiya D, Tanwar S, et al. When blockchain meets edge intelligence: Trusted and security solutions for consumers[J]. IEEE Network, 2021, 35(5): 272−278 doi: 10.1109/MNET.001.2000735
[116] Ding Jiahao, Liang Guannan, Bi Jinbo, et al. Differentially private and communication efficient collaborative learning [C/OL] //Proc of the 35th AAAI Conf on Artificial Intelligence, Virtual Conf. Palo Alto, CA: AAAI, 2021[2022-02-19]. https://ojs.aaai.org/index.php/AAAI/article/view/16887
[117] Wang Ji, Bao Weidong, Sun Lichao, et al. Private model compression via knowledge distillation [C] //Proc of the 33rd AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 1190−1197
[118] Abadi M, Chu A, Goodfellow I, et al. Deep learning with differential privacy [C] //Proc of the 2016 ACM SIGSAC Conf on Computer and Communications Security (CCS’16). New York: ACM, 2016: 308−318
[119] Li He, Ota K, Dong Miaoxiong. Learning IoT in edge: Deep learning for the Internet of things with edge computing[J]. IEEE network, 2018, 32(1): 96−101
[120] Yang Qiang, Liu Yang, Cheng Yong, et al. Federated learning[J]. Synthesis Lectures on Artificial Intelligence and Machine Learning, 2019, 13(3): 1−207 doi: 10.1007/978-3-031-01585-4
[121] Liu Yi, Zhao Ruihui, Kang Jiawen, et al. Towards communication-efficient and attack-resistant federated edge learning for industrial internet of things[J]. ACM Transactions on Internet Technology, 2021, 22(3): 1−22
[122] Liu Yi, James J, Kang Jiawen, et al. Privacy-preserving traffic flow prediction: A federated learning approach[J]. IEEE Internet of Things Journal, 2020, 7(8): 7751−7763 doi: 10.1109/JIOT.2020.2991401
[123] Liu Yi, Yuan Xingliang, Xiong Zehui, et al. Federated learning for 6G communications: Challenges, methods, and future directions[J]. China Communications, 2020, 17(9): 105−118 doi: 10.23919/JCC.2020.09.009
[124] Li Tian, Sahu A, Talwalkar A, et al. Federated learning: Challenges, methods, and future directions[J]. IEEE Signal Processing Magazine, 2020, 37(3): 50−60 doi: 10.1109/MSP.2020.2975749
[125] Thalluri L, Venkat S, Prasad C, et al. Artificial intelligence enabled smart city IoT system using edge computing [C] //Proc of the 2nd Int Conf on Smart Electronics and Communication (ICOSEC). Piscataway, NJ: IEEE, 2021: 12−20
[126] Nasir M, Muhammad K, Ullah A, et al. Enabling automation and edge intelligence over resource constraint IoT devices for smart home [J/OL]. Neurocomputing, 2021[2022-02-19]. https://www.sciencedirect.com/scienc e/article/abs/pii/S0925231221016301
[127] Sadiku M, Tembely M, Musa S. Internet of vehicles: An introduction [J]. Internet Journal of Advanced Research in Computer Science and Software Engineering, 2018, 8(1): 11
[128] Grover H, Alladi T, Chamola V, et al. Edge computing and deep learning enabled secure multitier network for Internet of vehicles[J]. IEEE Internet of Things Journal, 2021, 8(19): 14787−14796 doi: 10.1109/JIOT.2021.3071362
[129] Zhang Qingyang, Wang Yifan, Zhang Xingzhou, et al. OpenVDAP: An open vehicular data analytics platform for CAVs[C] //Proc of the 38th IEEE Int Conf on Distributed Computing Systems (ICDCS). Piscataway, NJ: IEEE, 2018: 1310−1320
[130] Lv Zhihan, Chen Dongliang, Wang Qingjun. Diversified technologies in Internet of vehicles under intelligent edge computing[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(4): 2048−2059
[131] Li Tailai, Zhang Chaokun, Zhou Xiaobo. BP-CODS: Blind-spot-prediction-assisted multi-vehicle collaborative data scheduling [C/OL] //Proc of the 17th Int Conf on Wireless Algorithms, Systems, and Applications (WASA 2022). Berlin: Springer, 2022[2022-02-19]. https://link.springer.com/chapter/10.1007/978-3-031-19211-1_25
[132] Liu Jia, Xiang Jianjian, Jin Yongjun, et al. Boost precision agriculture with unmanned aerial vehicle remote sensing and edge intelligence: A survey [J]. Remote Sensing, 2021, 13(21): 4387
[133] Tyagi A. Towards a second green revolution[J]. Irrigation and Drainage, 2016, 4(65): 388−389
[134] Kamilaris A, Prenafeta-Boldú F. Deep learning in agriculture: A survey[J]. Computers and electronics in agriculture, 2018, 147: 70−90 doi: 10.1016/j.compag.2018.02.016
[135] Dionisio J, William G, Gilbert R. 3D virtual worlds and the metaverse: Current status and future possibilities[J]. ACM Computing Surveys, 2013, 45(3): 1−38
[136] Duan Haihan, Li Jiaye, Fan Sizheng, et al. Metaverse for social good: A university campus prototype [C] //Proc of the 29th ACM Int Conf on Multimedia. New York: ACM, 2021: 153−161
[137] Zhang Zhengquan, Xiao Yue, Ma Zheng, et al. 6G wireless networks: Vision, requirements, architecture, and key technologies[J]. IEEE Vehicular Technology Magazine, 2019, 14(3): 28−41 doi: 10.1109/MVT.2019.2921208
[138] You Xiaohu, Wang Chengxiang, Huang Jie, et al. Towards 6G wireless communication networks: Vision, enabling technologies, and new paradigm shifts[J]. Science China Information Sciences, 2021, 64(1): 1−74
[139] Dai Hongning, Wu Yulei, Wang Hao, et al. Blockchain-empowered edge intelligence for Internet of medical things against COVID-19[J]. IEEE Internet of Things Magazine, 2021, 4(2): 34−39 doi: 10.1109/IOTM.0011.2100030
[140] Han Tao, Ansari N. On optimizing green energy utilization for cellular networks with hybrid energy supplies[J]. IEEE Transactions on Wireless Communications, 2013, 12(8): 3872−3882 doi: 10.1109/TCOMM.2013.051313.121249
[141] Quan Li, Huang Qin, Zhang Shengli, et al. Downsampling blockchain algorithm[C] //Proc of the IEEE Conf on Computer Communications Workshops (INFOCOM WKSHPS 2019). Piscataway, NJ: IEEE, 2019: 342−347
-
期刊类型引用(2)
1. 黄坚会，张江江，沈昌祥，张建标. 基于TPCM可信根的双体系可信终端计算架构. 通信学报. 2025(04): 1-14 . 
百度学术
2. 李旖旎. 基于Intel SGX的工业互联网平台数据隐私保护机制研究. 电脑编程技巧与维护. 2024(06): 70-72 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 988
- HTML全文浏览量: 134
- PDF下载量: 457
- 被引次数: 6
