多模态机器学习旨在建立能够处理和关联来自多种模式信息的模型，近年来成为研究的热点. 多模态表示和多模态融合是多模态机器学习的2个关键任务^[1]. 由于模态间的异构性，多模态表示学习一直是个难点问题. 目前，基于神经网络的联合表示学习模型把所有的模态数据映射到统一的特征空间，得到联合特征表示，容易实现端到端的学习，但需要大量的标注数据^[2]. 在一些应用领域，多模态数据具有共享和特有的特征，例如在多模态情感识别任务中，说话人的动作、语音和语言具有共同的动机和目标，同时它们又分别具有特有的情感、语气和语义. 为了有效学习不同模态的共享特征和特有特征，Hazarika等人^[3]提出了一种多模态协同表示模型MISA，将每个模态映射到2个不同的子空间中，分别学习共享特征和特有特征，但该模型只考虑了单个样本内的多模态协同，没有考虑样本间的多模态协同，导致不同类别样本的特征空间具有一定程度的重合，特征表示缺乏鲁棒性.

多模态融合根据融合阶段的不同，可以分为早期融合、晚期融合和混合融合^[4]. 早期融合是特征层的融合，在融合后的特征上训练分类器；晚期融合是决策层的融合，每个模态数据单独训练一个分类器，然后根据投票、加权和学习等方式对分类器的结果进行融合；混合融合联合了早期融合和晚期融合2种方式，试图同时利用2种融合方式的优点. 晚期融合允许不同的模态采用不用的预测模型，使得模型具有灵活性，但忽视了不同模态特征的交互. 早期融合使用单一模型进行训练，实现了不同模态特征的交互. 研究表明^[5-6]，在多模态语言分析任务中，文本特征占据了主要地位，语音和视频常为辅助特征，在某些情况下语音和视频可能包含噪声，对结果的判断起到干扰作用. 目前大部分多模态融合方法，把所有的模态特征同等对待，导致对噪声数据敏感.

因此，针对多模态协同表示没有考虑样本间的协同和多模态特征融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 在多模态表示方面，构建模态特定和模态共用的2类编码器分别学习文本、视频和语音的特有特征和共享特征的表示，通过样本重构误差、样本内协同误差和样本间协同误差设计表示学习损失函数. 在多模态特征融合方面，设计一种基于注意力机制和门控神经网络的自适应的融合方法，利用注意力机制学习模态间的依赖关系，通过门控神经网络得出融合权重. 在多模态意图识别数据集MIntRec和多模态情感数据集CMU-MOSI，CMU-MOSEI上的实验结果表明，本文提出的多模态学习方法在多个指标上优于基线方法，证明了该方法的有效性.

本文的主要贡献包括3个方面：

1） 提出了一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.

2） 设计了一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法，降低噪声数据对多模态融合过程的干扰.

3） 在多模态意图识别数据集和情感数据集上对本文提出的方法进行了大量的实验分析，本文方法在多个指标上优于基线方法.

1.   相关工作

1.1   多模态表示

特征表示一直是机器学习关注的重要问题. 随着深度学习的发展，单模态的特征表示学习取得了很多进展，但由于数据的异构性，多模态表示学习一直是个难点问题^[7]. 目前，多模态表示学习主要分为联合表示（joint representations）和协同表示（coordinated representations）. 联合表示通过神经网络将各模态数据映射到同一个特征空间中，得到统一的特征表示，使得多模态表示学习和多模态融合之间没有明显的界限. 例如，Pham等人^[8]利用机器翻译的思想，通过Seq2Seq模型实现不同模态之间的来回转换，把Seq2Seq中间隐含层的输出作为多模态的联合表示；Wang等人^[9]提出一种通过门控模态混合网络实现文本和非文本特征联合表示的方法. 协同表示分别映射每种模态的数据到各自的特征空间，但要保证每种模态的特征空间之间存在一定的约束. 例如，Mai等人^[10]提出一种基于混合对比学习的多模态协同表示方法，首先通过Transformer提取语音和视觉特征，通过BERT提取文本特征，然后通过模态内对比学习、模态间对比学习和半对比学习对语音特征、视觉特征和文本特征的相似性进行约束；Hazarika等人^[3]提出一种多模态协同表示方法MISA，将每种模态投射到2个不同的子空间，第1个子空间是模态不变的，通过相似性进行约束，第2个子空间是模态特有的，通过正交结构进行约束；Huang等人^[11]在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束.MISA是一种有效的多模态协同表示方法，能够很好地学习不同模态的共享特征和特有特征. 然而，MISA仅考虑了样本内的多模态协同约束，未考虑样本间的多模态协同，导致特征表示缺乏鲁棒性，从而影响模型的泛化能力. 因此，在MISA的基础上，本文提出一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.

1.2   多模态融合

多模态融合关注于如何将多模态数据以一定的架构和方法进行融合，共同贡献于解决目标任务^[12-13]，多模态融合主要分为模型无关和基于模型2类方法^[14]. 模型无关的方法主要分为特征层融合和决策层融合. 特征层融合实现了不同模态间的底层交互，常用的融合方式有拼接、相加和基于张量的方法^[15-16]；决策层融合可以视为考虑不同模态置信度的集成学习，其优点是能够很好地适应模态缺失的问题^[17]，但缺乏多模态数据的底层交互，常用的融合机制有加权、投票和学习等方式. 基于模型的融合方法主要有基于内核的方法、基于概率图模型的方法和基于神经网络的方法^[18-20]. 目前，基于神经网络的多模态融合方法已经成为主流^[21]，例如：Liang等人^[22]提出一种循环多级融合网络RMFN，将融合问题分解为多个阶段，每个阶段专注于多模态数据的一个子集；Tsai等人^[23]提出一种多模态Transformer架构，通过跨模态注意力机制融合多模态信息；Mou等人^[24]提出一种基于注意力的卷积神经网络（convolutional neural networks，CNN）和长短期记忆网络（long short-term memory，LSTM）联合的多模态融合方法；Rahman等人^[25]为了在大规模预训练语言模型中融合其他模态信息，在BERT 和 XLNet网络中设计了一个多模态适应门，允许BERT和XLNet在微调期间接受多模态非语言数据. 通过研究发现，目前大部分多模态融合方法没有区分模态间可能存在的主次关系，并且没有考虑数据中可能存在的噪声，导致模型对噪声数据敏感. 因此，鉴于每种模态在不同时刻可能呈现不同作用类型和噪声级别的特性，本文设计一种基于注意力机制和门控神经网络的融合方法，以实现对多模态特征的自适应融合.

2.   方法构建

本文方法主要面向于文本特征为主、语音和视觉特征为辅的多模态自然语言理解任务，例如多模态情感分类和多模态意图识别. 给定一个数据集$D = \{ {s_1},{s_2}, … ,{s_n}\}$，其中包含$n$个样本. 每个样本${s_i}$都包含一段视频$v$、语音$a$、文本$t$和标签$y$. 我们的任务是学习一个模型$f(t,v,a) \to y$，输入样本${s_i}$的文本信息$t$、视频信息$v$和语音信息$a$，正确输出样本${s_i}$的标签信息$y$. 本文提出的基于样本内外协同表示和自适应融合的多模态学习方法CoAdMu，其架构如图1所示，主要包括初始特征提取、多模态表示、多模态融合和结果预测4个部分.

图  1  CoAdMu的架构

Figure  1.  Architecture of CoAdMu

下载: 全尺寸图片 幻灯片

2.1   初始特征提取

2.1.1   文本初始特征提取

预训练语言模型能够很好地提取文本语义特征，已经成为自然语言处理任务的标配模块. 预训练语言模型BERT 基于Transformer的双向Encoder结构，采用Self-attention提高了模型的学习能力和并行计算效率. 为了获取句子级别的语义特征，BERT联合了Masked LM（masked language model）和 NSP（next sentence prediction）这2类任务进行训练.BERT 相比于 Word2vec，一方面考虑了上下文语境，解决了一词多义的问题；另一方面，通过分层学习得到不同层次的语义特征，为下游任务提供了丰富的特征选择. 基于BERT预训练模型，下游任务可以进行微调，在少量训练样本的情况下就能实现不错的分类效果. 所以，本文利用BERT最后隐藏层的输出${{\boldsymbol{z}}^t} \in {\mathbb{R}^{{l_t} \times {F_t}}}$ 作为文本初始特征表示，${l_t}$为文本序列长度，${F_t}$为特征维度.

2.1.2   语音初始特征提取

近年来，受大规模预训练语言模型在自然语言理解任务上大获成功的影响，语音预训练模型成为研究的热点，出现了许多经典的模型. 例如Wav2vec 2.0 ^[26]，HuBERT ^[27] 和 WavLM^[28]等，通过在上万小时的无标注语音数据上进行自监督学习，显著提升了自动语音识别（automatic speech recognition，ASR）、语音合成（text-to-speech，TTS）和语音转换（voice conversation，VC）等下游任务的性能.Wav2vec 2.0 是 Meta 在 2020 年发布的无监督语音预训练模型，核心思想是通过向量量化（vector quantization，VQ）构建自监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练，得到的表征可以代替传统的声学特征. 所以，本文利用预训练的Wav2vec 2.0模型提取语音初始特征，把模型最后隐藏层的输出${{\boldsymbol{z}}^a} \in {\mathbb{R}^{{l_a} \times {F_a}}}$作为语音初始特征表示，${l_a}$为语音序列长度，${F_a}$为特征维度.

2.1.3   视频初始特征提取

在视频画面中，关键信息是说话人（识别对象）的表情和动作，如果直接从整个画面中抽取特征，可能会因为背景噪声影响效果. 所以本文借鉴文献[29]的思路，对说话人进行检测. 具体流程如图2所示.

图  2  Speaker detection

Figure  2.  说话人检测

下载: 全尺寸图片 幻灯片

首先利用场景检测工具scenedetect ¹区分不同的视觉场景，从而得到关键帧；然后，利用基于MS-COCO数据集预训练的Faster R-CNN模型检测每个关键帧中的人物，得到人物边界框；最后，考虑到画面中可能存在多个人物的情况，使用预训练的TalkNet^[30]识别说话人，得到说话人边界框. 本文结合说话人边界框B和由Faster R-CNN提取的特征表示f，得到视频初始特征${{\boldsymbol{z}}^v} \in {\mathbb{R}^{{l_v} \times {F_v}}}$，${l_v}$ 为关键帧的序列长度，${F_v}$为每帧的特征维度，${{\boldsymbol{z}}^v}$计算为：

其中RoIAlign表示根据边界框B抽取固定大小的特征图，AvgPool用来固定长宽到统一的大小.

2.2   多模态表示

大部分多模态数据存在互补性和一致性. 例如，人在表达情感或意图时，表情、语音和语言具有共同的动机和目标，说明模态间具有一致性的共享特征. 同时，表情、语音和语言又分别具备特有的情感、语气和语义，说明模态间具有互补性的特有特征. 所以，本文设计模态特定和模态共用的2类编码器，分别学习文本、语音、视频的特有特征和共享特征，为多模态学习提供一个全面的表征视图. 文本、语音和视频的初始特征${{\boldsymbol{z}}^t}$，${{\boldsymbol{z}}^a}$，${{\boldsymbol{z}}^v}$输入编码器之前，先进行L2归一化，再通过不同的Transformer进行预处理，然后对Transformer的输出序列进行累加求平均，分别得到${{\boldsymbol{u}}^t} \in {\mathbb{R}^{{d_{\text{t}}}}}$，${{\boldsymbol{u}}^a} \in {\mathbb{R}^{{d_{\text{t}}}}}$，${{\boldsymbol{u}}^v} \in {\mathbb{R}^{{d_{\text{t}}}}}$，${d_{\text{t}}}$为Transformer的最后一层前馈神经网络的输出维度.

2.2.1   共享特征和特有特征表示

1）共享特征表示. 为了学习不同模态的共享特征表示，构建一个模态共用的编码器${E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})$，把文本特征${{\boldsymbol{u}}^t}$、视觉特征${{\boldsymbol{u}}^v}$和语音特征${{\boldsymbol{u}}^a}$映射到同一个特征空间，分别得到文本、视频和语音的共享特征${\boldsymbol{h}}_{\text{c}}^t \in {\mathbb{R}^{{d_{\text{c}}}}}$，${\boldsymbol{h}}_{\text{c}}^v \in {\mathbb{R}^{{d_{\text{c}}}}}$，${\boldsymbol{h}}_{\text{c}}^a \in {\mathbb{R}^{{d_{\text{c}}}}}$，如式（2）～（4）所示，其中${\theta _{\text{c}}}$和${d_{\text{c}}}$分别为共用编码器的参数和输出维度.

2）特有特征表示. 为了学习不同模态的特有特征表示，分别为文本、语音、视频构建一个特定的编码器${E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t)$，${E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a)$，${E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v)$，把文本特征${{\boldsymbol{u}}^t}$、语音特征${{\boldsymbol{u}}^a}$和视觉特征${{\boldsymbol{u}}^v}$映射到不同的特征空间，分别得到文本、语音和视频的特有特征${\boldsymbol{h}}_{\text{p}}^t \in {\mathbb{R}^{{d_{\text{p}}}}}$，${\boldsymbol{h}}_{\text{p}}^a \in {\mathbb{R}^{{d_{\text{p}}}}}$，${\boldsymbol{h}}_{\text{p}}^v \in {\mathbb{R}^{{d_{\text{p}}}}}$，如式（5）～（7）所示，其中$\theta _{\text{p}}^t$，$\theta _{\text{p}}^a$，$\theta _{\text{p}}^v$为特定编码器的参数，${d_{\text{p}}}$为特定编码器的输出维度，输出维度和共用编码器的一致.

2.2.2   特征表示学习损失函数

1）样本内协同损失函数

在同一个样本内，需要保证不同模态的共享特征具有相似性和特有特征具有差异性，同一模态的共享特征和特有特征具有差异性. 本文利用中心矩差异（central moment discrepancy，CMD）和正交性衡量特征之间的相似性和差异性. CMD通过匹配2个表示的顺序矩差来计算它们之间的差异，相比于KL散度包含了高阶矩信息，相比于最大平均差异（maximum mean discrepancy，MMD）则减少了计算量，因为不需要计算核矩阵. 令 $\tilde X$ 和 $\tilde Y$ 为区间[a, b]^N上分别具有概率分布 p 和 q 的有界随机样本，中心矩差异正则化项CMD_K被定义为CMD的经验估计，其计算如式（8）所示：

其中$E(\tilde X) = \dfrac{1}{{\left| \tilde X \right|}}\displaystyle\sum\limits_{x \in X} x$表示样本$\tilde X$的经验期望向量，${C_k}(\tilde X) = E\left( {\prod\limits_{i = 1}^N {{{({x_i} - E(\tilde X))}^k}} } \right)$表示$\tilde X$的k阶样本中心距向量. 直观上理解，如果样本$\tilde X$和$\tilde Y$的概率分布越相似，那么它们的每阶中心距也越相近，CMD值越小. 利用CMD构建共享特征相似度损失函数，如式（9）所示；利用正交性约束构建特有特征差异性损失函数，如式（10）所示；样本内多模态协同的总损失函数如式（11）所示.

其中t，a，v分别表示文本、语音和视频，${\boldsymbol{h}}_{\text{c}}^m$和${\boldsymbol{h}}_{\text{p}}^m$分别表示模态$m$的共享特征和特有特征. ${\boldsymbol{h}}_{\text{c}}^{{m_1}}$和${\boldsymbol{h}}_{\text{c}}^{{m_2}}$越相似$L_{{{\rm{intra}}}}^{{\rm{sim}}}$值越小，${\boldsymbol{h}}_{\text{p}}^m$和${\boldsymbol{h}}_{\text{c}}^m$、${\boldsymbol{h}}_{\text{p}}^{{m_1}}$和${\boldsymbol{h}}_{\text{p}}^{{m_2}}$相差越大$L_{{\text{intra}}}^{{\text{diff}}}$值越小.

2）样本间协同损失函数

在不同样本间，需要保证同类别样本的特征具有相似性和不同类别样本的特征具有差异性. 借鉴对比学习的思路，在一组样本中随机选择一个样本作为锚点样本s，与s类别相同的N个样本作为正样本pos，与s类别不同的M个样本作为负样本neg. 基于CMD，构建如式（12）所示的样本间多模态协同的损失函数：

其中c和p分别为共享和特有特征的标识，t，a，v分别表示文本、语音和视频，$s({\boldsymbol{h}}_n^m)$，$po{s_i}({\boldsymbol{h}}_n^m)$，$ne{g_j}({\boldsymbol{h}}_n^m)$分别表示锚点样本s、正样本i、负样本j的m（文本、语音和视频）模态的$n$（共享、特有）特征的表示. 正样本i和锚点样本s越相似、负样本j和锚点样本s差异性越大，损失函数${L_{{{\text{inter}}}}}$值越小.

3）样本重构损失函数

为了保证由编码器得到的共享特征和特有特征保留了初始特征空间的相关性质，设计一个解码器$D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}})$，输入模态$m$的共享特征${\boldsymbol{h}}_{\text{c}}^m$和特有特征${\boldsymbol{h}}_{\text{p}}^m$，希望输出能够重构该模态的初始特征. 本文使用均方误差（mean squared error, MSE）衡量重构误差，计算如式（13）所示：

其中${{\boldsymbol{u}}^m}$表示模态$m$的初始特征表示，$D（{{\boldsymbol{h}}}_{\text{c}}^{m},{{\boldsymbol{h}}}_{\text{p}}^{m}）$为解码器的输出，${\theta _{\text{d}}}$为解码器的参数，$\dfrac{\lambda }{2}{\left\| {{\theta _{\text{d}}}} \right\|_2}$为正则化项，用于防止过拟合.

2.3   多模态融合

在多模态自然语言分析任务中，文本为主要特征，语音和视频为辅助特征，并且在某些时刻语音和视频包含噪声数据，对结果的判断起到干扰作用. 因此，本文设计一种基于注意力机制和门控神经网络的自适应融合方法.

2.3.1   模态内共享特征和特有特征融合

对每个模态的共享特征和特有特征进行拼接，输入Self-attention中，捕获共享特征和特有特征的相关性，得到单模态融合特征. Self-attention是Transformer的核心组件，相比 RNN 网络结构，其最大的优点是可以实现并行计算和长距离依赖. 其计算流程如图3所示.

图  3  Self-attention计算流程图

Figure  3.  Self-attention calculation process

下载: 全尺寸图片 幻灯片

计算形式如式（14）所示：

其中${\boldsymbol{Q}} = {{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}}$，${\boldsymbol{K}} = {{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{X}}$，${\boldsymbol{V}} = {{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{X}}$分别为Query，Key，Value矩阵， ${{\boldsymbol{W}}^{\text{q}}}$，${{\boldsymbol{W}}^{\text{k}}}$，${{\boldsymbol{W}}^{\text{v}}}$为需要学习的权重矩阵.${d_{\text{k}}}$为 Key的维度，除以$\sqrt {{d_{\text{k}}}}$的目的是在反向传播时梯度更加稳定.Self-attention的 Query，Key，Value来自于同一个输入序列X. 分别对文本、语音和视频的共享特征和特有特征进行拼接${\boldsymbol{X}} = Concat({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m)$，输入Self-attention中得到单模态融合特征${{\boldsymbol{h}}^t} \in {\mathbb{R}^{{d_{\text{v}}}}}$，${{\boldsymbol{h}}^a} \in {\mathbb{R}^{{d_{\text{v}}}}}$，${{\boldsymbol{h}}^v} \in {\mathbb{R}^{{d_{\text{v}}}}}$，${d_{\text{v}}}$为Value的维度.

2.3.2   样本内多模态特征融合

得到单模态的融合特征后，基于Cross-attention分别计算文本与视频的关联特征$CA（t,v）$和文本与语音的关联特征$CA（t,a）$. 不同于Self-attention，Cross-attention的Query，Key，Value的输入来自于2个不同的序列X和Y，X作为Query的输入，而Y作为Key和Value的输入.Cross-attention的计算流程如图4所示.

图  4  Cross-attention计算流程图

Figure  4.  Cross-attention calculation process

下载: 全尺寸图片 幻灯片

计算形式如式（15）所示：

然后，把$CA（t,v）$和$CA（t,a）$分别输入视觉门控神经单元和语音门控神经单元，得到视觉特征融合权重${w^v}$和语音特征融合权重${w^a}$. 最后，根据权重融合视觉特征${{\boldsymbol{h}}^v}$、语音特征${{\boldsymbol{h}}^a}$和文本特征${{\boldsymbol{h}}^t}$，得到最终的多模态融合特征h，如式（16）所示：

直观上理解，${w^v}$和${w^a}$根据模态间的深层关系得到，当视觉特征和语音特征能辅助文本特征做决策时，则增加融合权重，反之则减少. 这种融合方式，一方面体现了文本特征为主、语音和视觉特征为辅的先验；另一方面，实现了自适应的融合，有效降低了语音和视频中可能存在的噪声干扰.

2.4   结果预测

把多模态融合特征h输入多层全连接神经网络中进行分类或回归任务. 分类任务使用交叉熵损失，回归任务使用均方误差损失，如式（17）所示：

其中N是训练样本数量，${y_i}$和${\widehat y_i}$分别代表样本i的真实值和预测值，$\dfrac{\lambda }{2}{\left\| {\boldsymbol{W}} \right\|_2}$为L2正则化，以降低模型的过拟合程度. 为了实现多模态表示、融合和预测端到端的训练，本文对多模态表示学习损失${L_{{\text{intra}}}}$、${L_{{\text{inter}}}}$、${L_{{\text{recon}}}}$和预测结果损失${L_{{\text{task}}}}$进行联合优化，最终优化目标如式（18）所示，其中$\alpha$，$\beta$，$\gamma$是权重.

3.   实验与分析

3.1   实验设置

3.1.1   实验数据

本文选取多模态意图识别数据集MIntRec ²和多模态情感数据集CMU-MOSI，CMU-MOSEI ³作为实验数据，这3个数据集都包含文本、语音和视频3种模态.MIntRec数据集由清华大学智能技术与系统国家重点实验室提供，原始数据来源于美剧“Superstore”，包含2 224条实例.MIntRec数据集包含“表达情绪或态度”和“实现目标”2个粗粒度类别. “表达情绪或态度”细分为11个意图类别：Complain，Praise，Apologize，Thank，Criticize，Care，Agree，Taunt，Flaunt，Oppose，Joke. “实现目标”细分为9个意图类别：Inform，Advise，Arrange，Introduce，Comfort，Leave，Prevent，Greet，Ask for help. CMU-MOSI和CMU-MOSEI数据集由卡梅隆大学提供，原始数据集来源于YouTube，包含强烈积极（+3）、积极（+2）、弱积极（+1）、中性（0）、弱消极（–1）、消极（–2）、强烈消极（–3）这7种情感类别. CMU-MOSI数据集收录了89位YouTube用户的2 199条视频片段，CMU-MOSEI数据集是CMU-MOSI的扩展版，收录了1 000位YouTube用户的3 228条视频，包括250个主题，共23 453个句子. 训练集、验证集和测试集的划分结果如表1所示.

表  1  数据集划分结果

Table  1.  Division Results of Datasets

数据集	训练集	验证集	测试集
MIntRec	1344	455	455
CMU-MOSI	1319	440	440
CMU-MOSEI	16265	1869	4643

下载: 导出CSV 

| 显示表格

3.1.2   评价指标

在MIntRec数据集上执行20-class分类任务，利用准确率（accuracy，Acc）、宏平均精确度（macro precision，MP）、宏平均召回率（macro recall，MR）和宏平均F1-score（macro F1-score，MF1）作为算法性能评价指标. 在CMU-MOSI和CMU-MOSEI数据集上执行回归和分类任务，回归任务利用平均绝对误差（mean absolute error，MAE）和皮尔逊相关系数（Pearson correlation coefficient，PCC）作为评价指标，分类任务利用二分类准确率（Acc-2）、F1-score和七分类准确率（Acc-7）作为评价指标.Acc，MP，MR，MF1，PCC，F1-score值越大越好，MAE值越低越好. 在以往的研究中，CMU-MOSI和CMU-MOSEI数据集根据情感分数有（负，非负）和（负，正）2种二分类做法.

3.1.3   实现细节

在初始特征提取中，分别基于预训练的BERT-base-uncased，Wav2vec 2.0，Faster R-CNN分别提取文本、语音和视觉特征. 在多模态表示中，使用层数为1、多头个数为1的Transformer分别对文本、语音和视觉特征进行预处理，编码器${E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})$，${E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t)$，${E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v)$，${E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a)$和解码器$D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}})$都采用单层全连接神经网络. 在多模态融合中，Self-attention和Cross-attention采用的层数和多头个数都为1.在结果预测中，采用2层的全连接神经网络. 整体来说，考虑到实验数据集相对较小，没有采用较为深层的网络架构. 其他超参数如表2所示. 为了减少式（18）中超参数$\alpha$，$\beta$，$\gamma$的搜索时间，本文采用了一种次优网格搜索方法，具体内容见3.2.1节.

表  2  超参数设置

Table  2.  Hyperparameters Setting

参数类型	参数	参数值
模型参数	文本的最大序列长度${l_t}$	30
	语音的最大序列长度${l_a}$	230
	视频的最大序列长度${l_v}$	480
	文本特征维度${F_t}$	768
	语音特征维度${F_a}$	256
	视觉特征维度${F_v}$	768
	${L_{{\text{intra}}}}$的权重α	0.7
	${L_{{\text{inter}}}}$的权重β	0.7
	${L_{{\text{recon}}}}$的权重γ	0.6
	中心矩差异CMDK 的阶数K	5
	全连接神经网络的隐藏层大小	256
训练参数	学习率	3E–5
	正则化参数	1E–6
	最大训练轮次	20
	停止训练的等待次数	6
	批量训练的batch size	8
	Dropout比例	0.1
	优化器Optimizer	Adam

下载: 导出CSV 

| 显示表格

3.2   结果和分析

3.2.1   联合优化的超参数分析

${L_{{\text{intra}}}}$，${L_{{\text{inter}}}}$，${L_{{\text{recon}}}}$的权重值$\alpha$，$\beta$，$\gamma$是重要的超参数. 我们设定这些参数的搜索空间为{0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0}. 然而，我们没有对$\alpha$，$\beta$，$\gamma$同时建立网格，而是先固定其中2个参数，只对其中1个参数进行搜索，虽然这种网格搜索方式可能得不到最佳的参数组合，但可以极大地减少搜索的时间消耗. 为了提升模型的泛化能力，我们并没有针对不同的数据集选择不同的参数组合. 相反，我们选择了在MIntRec，CMU-MOSI，CMU-MOSEI这3个数据上平均准确率最高的参数组合. 这样的做法旨在确保模型在不同数据集上都能取得较好的性能，而不仅仅局限于某个特定数据集. 实验结果如图5所示.

图  5  超参数搜索

Figure  5.  Hyperparameter search

下载: 全尺寸图片 幻灯片

首先，我们将$\beta$和$\gamma$固定为0.5，$\alpha$=0.7时模型表现最佳；然后，我们将$\alpha$固定为0.7，$\gamma$固定为0.5，$\beta$=0.7时模型表现最佳；最后，我们将$\alpha$和$\beta$固定为0.7，$\gamma$=0.6时模型的性能最佳. 所以，最终选择$\alpha$=0.7，$\beta$=0.7，$\gamma$=0.6.从图5看出，模型对重构误差${L_{{\text{recon}}}}$的权重$\gamma$更加敏感.

3.2.2   方法对比分析

1）多模态情感分析任务的实验对比

为了验证本文提出的CoAdMu方法的有效性，选择以下多模态学习方法作为基线，对比其在多模态情感分析任务中的性能.

①TFN^[15]. 一种基于张量的多模态融合方法，对提取的语言特征、视觉特征和语音特征做外积，得到融合的向量.

②LMF^[16]. 通过将张量和权重并行分解，利用模态特定的低阶因子来执行多模态融合，避免计算高维的张量.

③MFM^[7]. 通过模态分解将多模态表征分解为多模态判别因子和特定模态生成因子，多模态判别因子在所有模态之间共享，特定模态生成因子对于每个模态都是唯一的.

④RMFN^[22]. 一种基于循环多阶段融合网络的多模态融合方法，将融合分解成前后关联的多个阶段.

⑤CIA^[31]. 采用自编码器学习模态之间的交互关系，并利用上下文感知注意力学习相邻话语间的关系.

⑥MCTN^[8]. 通过Seq2Seq模型实现不同模态之间的来回转换，得到多模态间的联合表示.

⑦RAVEN^[9]. 通过视觉特征和语音特征动态调整文本中词嵌入，实现文本和非文本特征的联合表示.

⑧MulT^[23]. 利用跨模态 Transformer 将源模态转换为目标模态来学习多模态表示.

⑨ICCN^[6]. 使用语音-文本和视频-文本的特征外积和深度典型相关分析来生成多模态特征表示.

⑩MISA^[3]. 将每个模态投射到2个不同的子空间中，分别学习共享特征和特有特征，但该方法只考虑了单个样本内的多模态协同.

⑪MAG-BERT^[25]. 通过多模态适应门，允许 BERT 在微调期间接受多模态非语言数据，使得语言模型BERT有效利用了语音和视觉模态的信息.

⑫QMF^[32]. 利用量子理论中的叠加和纠缠来表述单模态和跨模态的相互作用，提高多模态融合的可解释性.

⑬HyCon^[10]. 通过联合模态内对比学习、模态间对比学习和半对比学习实现多模态表示.

⑭EMFRM^[11]. 在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束，但该方法也只考虑了单个样本内的多模态协同.

表3和表4分别是在多模态情感数据集CMU-MOSI和CMU-MOSEI上的对比结果. 大部分基于表示学习的多模态方法的性能优于基于张量融合的多模态方法，因为基于张量融合的方法计算维度呈指数级增长，导致计算效率差，需要大量的训练数据才能学到模态间的交互. 表示学习方法一般基于对多模态数据的先验知识，例如多模态数据的一致性和互补性，构建表示学习模型，降低了学习的复杂度. 在表示学习方法中，基于协同表示的多模态方法的性能优于大部分基于联合表示的方法，因为协同表示方法把多模态信息映射到不同的特征空间，相比于映射到同一个空间的联合表示更好地保留了模态的特有特征. 联合表示方法MAG-BERT能获得相对较好的性能，主要是因为其借助了预训练语言模型BERT强大的语义学习能力，巧妙地把语音和视觉信息集成到了BERT之中.QMF方法利用量子理论中的叠加和纠缠来表述单模态和跨模态的交互，虽然方法性能没有得到很大的提升，但提高了多模态融合的可解释性. 本文提出的CoAdMu方法在CMU-MOSI和CMU-MOSEI这2个数据集上，比最先进的基线方法在所有的评价指标都有一定程度的提升，证明了本文方法的有效性.

表  3  在CMU-MOSI数据集上与基线的对比

Table  3.  Comparison with Baselines on CMU-MOSI Dataset

方法	MAE	PCC	Acc-2/%	F1-score/%	Acc-7/%
TFN	0.970	0.633	73.9/–	73.4/–	32.1
LMF	0.912	0.668	76.4/–	75.7/–	32.8
MFM	0.951	0.662	78.1/–	78.1/–	36.2
RMFN	0.922	0.681	78.4/–	78.0/–	38.3
CIA	0.914	0.689	79.9/–	79.5/–	38.9
MCTN	0.909	0.676	79.3/–	79.1/–	35.6
RAVEN	0.915	0.691	78.0/–	76.6/–	33.2
MulT	0.871	0.698	–/83.0	–/82.8	40.0
ICCN	0.862	0.714	–/83.0	–/83.0	39.0
MISA	0.783	0.761	81.8/83.4	81.7/83.6	42.3
MAG-BERT	0.790	0.769	82.2/83.5	82.6/83.5	42.9
QMF	0.915	0.696	–/79.7	–/79.6	33.5
HyCon	0.713	0.790	–/85.2	–/85.1	46.6
EMRFM	0.722	0.785	–/84.7	–/84.8	46.1
CoAdMu（本文）	0.711	0.798	84.1/86.1	84.0/86.1	47.2
△SOTA	↓0.002	↑0.008	↑1.9/↑0.9	↑1.4/↑1.0	↑0.6
注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值.

下载: 导出CSV 

| 显示表格

表  4  在CMU-MOSEI数据集上与基线的对比

Table  4.  Comparison with Baselines on CMU-MOSEI Dataset

方法	MAE	PCC	Acc-2/%	F1-score/%	Acc-7/%
TFN	0.610	0.671	79.4/–	79.7/–	49.8
LMF	0.608	0.677	80.6/–	81.0/–	50.0
MFM	0.602	0.692	81.1/–	81.6/–	50.7
RMFN	0.604	0.685	80.9/–	81.2/–	50.5
CIA	0.680	0.590	80.4/–	78.2/–	50.1
MCTN	0.609	0.670	79.8/–	80.6/–	49.6
RAVEN	0.614	0.662	79.1/–	79.5/–	50.0
MulT	0.580	0.703	–/82.5	–/82.3	51.8
ICCN	0.565	0.713	–/84.2	–/84.2	51.6
MISA	0.555	0.756	83.6/85.5	83.8/85.3	52.2
MAG-BERT	0.602	0.778	83.1/85.0	83.2/85.0	51.9
QMF	0.640	0.658	–/80.7	–/79.8	47.9
HyCon	0.601	0.776	–/85.4	–/85.6	52.8
EMRFM	0.600	0.775	–/85.2	–/85.3	52.3
CoAdMu（本文）	0.550	0.791	84.2/86.5	84.6/86.7	53.6
△SOTA	↓0.005	↑0.013	↑0.6/↑1.0	↑0.8/↑1.1	↑0.8
注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值.

下载: 导出CSV 

| 显示表格

2）多模态意图识别任务的实验对比

为了验证CoAdMu方法在复杂多模态场景下的学习能力，本文在真实世界多模态意图识别的基准数据集MIntRec上，实施进一步的实验对比. 一方面，MIntRec原始数据来源于真实世界的影视片段，具有丰富的人物角色和故事情节，以及复杂的场景画面；另一方面，MIntRec包含了更为细粒度的20个意图类别，囊括了表达情绪和态度、实现目标. 本文挑选MulT，MISA，MAG-BERT，HyCon这4个先进的多模态学习方法作为基线. 整体实验结果对比如表5所示，每个类别的F1-score如表6和表7所示.

表  5  在MIntRec数据集上与基线的对比

Table  5.  Comparison with Baselines on MIntRec Dataset %

方法	Acc	MP	MR	MF1
MulT	71.24	67.53	68.15	67.58
MISA	71.91	69.98	68.91	68.92
MAG-BERT	71.01	68.15	65.83	66.09
HyCon	71.33	68.93	65.21	66.37
CoAdMu（本文）	73.26	72.45	71.26	71.14
△SOTA	↑1.35	↑2.47	↑2.35	↑2.22
注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升. 黑体数值表示最优值.

下载: 导出CSV 

| 显示表格

表  6  “表达情绪或态度”中每个细粒度意图类别的F1-score

Table  6.  F1-score for Each Fine-grained Intent Category in “Express Emotions and Attitudes” %

方法	Complain	Praise	Apologize	Thank	Criticize	Care	Agree	Taunt	Flaunt	Joke	Oppose
MulT	67.26	87.36	98.11	95.83	48.00	86.49	91.67	9.52	36.36	50.00	35.29
MISA	62.14	86.67	98.11	98.04	47.06	81.82	100.00	25.00	50.00	37.50	27.27
MAG-BERT	66.09	90.24	98.18	98.04	40.00	85.71	95.65	9.09	15.38	40.00	40.00
HyCon	66.67	93.83	98.11	98.11	48.89	94.74	95.65	10.00	23.53	28.57	38.10
CoAdMu（本文）	64.08	90.24	96.30	94.34	60.87	91.89	96.00	28.57	44.44	40.00	34.78
注：黑体数值表示最优值.

下载: 导出CSV 

| 显示表格

表  7  “实现目标”中每个细粒度意图类别的F1-score

Table  7.  F1-score for Each Fine-grained Intent Category in “Achieve Goals” %

方法	Comfort	Inform	Advise	Arrange	Introduce	Leave	Prevent	Greet	Ask for help
MulT	68.57	69.72	72.00	64.00	60.00	70.27	80.00	91.67	69.57
MISA	78.79	69.57	70.59	65.00	72.00	75.00	85.71	90.91	57.14
MAG-BERT	70.00	70.23	60.47	62.22	61.90	75.00	80.00	90.91	72.73
HyCon	74.29	65.67	72.73	62.50	59.46	68.97	69.23	85.71	72.73
CoAdMu（本文）	83.33	69.64	77.19	57.78	71.79	83.87	82.76	85.71	70.59
注：黑体数值表示最优值.

下载: 导出CSV 

| 显示表格

从表5中可以发现，CoAdMu方法在所有的评价指标上获得了最好的效果，比最先进的基线方法在Acc，MP，MR，MF1上分别提高了1.35个百分点、2.47个百分点、2.35个百分点、2.22个百分点，提升效果比在多模态情感分析任务上更加明显. 一方面，MIntRec数据集在真实场景下采集，可能存在不同级别的噪声；另一方面，MIntRec数据集中的每种模态在不同时刻可能表现出不同的作用类型. 例如，在表达Agree和Thank这2种意图时的文本具有相对固定的表达方式，语音和视觉特征的作用并不明显. 然而，在表达Taunt和Joke意图时，语音和视频中的语气和表情是很好的补充特征. 基线方法基本上都是“重表示，轻融合”，在表示学习上设计了复杂的方式，而在特征融合上采用简单的拼接方式，没有突出不同特征的作用大小，导致模型对噪声数据敏感.CoAdMu采用协同表示和自适应融合的方式，不仅很好地学习了多模态表示，而且可以根据不同的类别类型、作用大小自动调整特征的融合权重，有效降低了噪声数据的干扰，所以获得了相对较好的效果.

从表6和表7发现，同一个方法在不同的意图分类上具有不同的性能，没有哪个方法能够在所有的类别上获得最好的性能.MulT在Complain，Joke，Greet这3个类别上获得了最高评分；MISA在Agree，Flaunt，Arrange，Introduce，Prevent这5个类别上获得了最高评分；MAG-BERT在Apologize，Oppose，Inform，Ask for help这4个类别上获得了最高评分；

HyCon在Praise，Thank，Care，Advise这4个类别上获得了最高评分；CoAdMu在Criticize，Taunt，Comfort，Leave这4个类别上获得了最高评分. 虽然CoAdMu获得的最高评分总个数不是最多，但平均的F1-score值最大. 通过最高分的分布发现，HyCon擅长于情感表达类的意图识别，MISA擅长于表达态度和实现目标类的意图识别，MulT，MAG-BERT，CoAdMu在不同的任务上表现比较均衡. 所有方法在大部分意图类别上都能获得较好的分类效果，但在Taunt，Flaunt，Joke，Oppose这4个类别上的分类效果不佳，因为这些意图的识别需要结合语言、语气、表情、动作和情景等做深层次的推理，这也说明CoAdMu和基线方法在多模态深层推理任务上还存在不足.

3.2.3   消融实验分析

为了进一步分析不同模块对CoAdMu的贡献，我们设计了11组消融实验方法. 方法①～③是对不同模态的消融；方法④～⑥是对多模态表示模块中相关损失函数的消融；方法⑦去除多模态表示模块，直接把${{\boldsymbol{u}}^t}$，${{\boldsymbol{u}}^a}$，${{\boldsymbol{u}}^v}$输入多模态融合层；方法⑧采用分段训练方式，首先根据损失函数$L = {L_{{\text{intra}}}} + {L_{{\text{inter}}}} + {L_{{\text{recon}}}}$对多模态表示模块进行预训练，然后，再根据损失函数${L_{{\text{task}}}}$对多模态融合模块和结果预测模块进行训练；方法⑨⑩分别去除多模态特征融合中的视觉门控神经单元和语音门控神经单元；方法⑪去除整个多模态融合模块，采用简单相加的方式进行融合. 实验结果如表8所示.

表  8  消融实验结果

Table  8.  Ablation Experiment Results

方法	CMU-MOSI			CMU-MOSEI			MIntRec
	MAE	Acc-7/%		MAE	Acc-7/%		Acc/%	MF1/%
CoAdMu（本文）	0.711	47.2		0.550	53.6		73.3	71.1
①（–）Text	1.372	22.6		0.790	24.6		29.9	22.8
②（–）Video	0.786	44.7		0.561	50.9		71.5	67.4
③（–）Audio	0.730	46.1		0.557	52.0		73.1	70.8
④（–）Lintra	0.791	43.9		0.568	49.4		71.4	68.9
⑤（–）Linter	0.734	45.8		0.559	51.6		72.6	70.5
⑥（–）Lrecon	0.798	43.2		0.570	49.1		69.5	67.6
⑦（–）MultRe	0.803	42.6		0.575	48.4		70.6	68.5
⑧（*）MultRe	0.784	44.9		0.562	50.9		71.6	69.4
⑨（–）Gate_V	0.805	42.3		0.572	48.7		69.6	66.7
⑩（–）Gate_A	0.728	46.6		0.555	52.5		72.6	70.1
⑪（–）MultFu	0.807	42.0		0.578	48.0		69.1	66.3

下载: 导出CSV 

| 显示表格

通过方法①～③的实验结果发现，去除文本对模型性能的影响最大，一方面的原因是文本相比于语音和视频包含了更多的信息量；另一方面得益于大规模预训练语言模型的应用，提取的文本特征的质量远高于语音和视觉特征. 去除视频比去除语音对方法的性能影响更大，这是因为相比于语音，视觉特征和文本特征的冗余性相对较小，可以更好地补充文本特征.

通过方法④～⑥的实验结果发现，去除任何一个多模态表示学习的损失函数都会降低模型的性能，这是因为样本内的协同损失函数${L_{{\text{intra}}}}$保证了共享特征的相似性和特有特征的差异性；样本间的协同损失函数${L_{{\text{inter}}}}$保证了同类别样本的特征具有相似性，不同类别样本的特征具有差异性；样本重构损失函数${L_{{\text{recon}}}}$使得共享特征和特有特征保留了初始特征空间的相关性质，避免学习到不相干的特征表示. 通过方法⑦的实验结果发现，如果去除多模态表示学习模块，会对CoAdMu的性能造成较大的影响. 这是因为多模态数据存在互补性和一致性，对其共享特征和特有特征分开学习，能提供更加全面的视图. 通过方法⑧的实验结果发现，采用分段训练的方式会降低CoAdMu的性能，因为相比端到端的训练方式，分段训练缺乏灵活性和领域适配能力.

通过方法⑨～⑪的实验结果发现，去除多模态融合中的视觉门控神经网络、语音门控神经网络或者整个融合模块都会影响CoAdMu的性能，因为语音和视频可能在不同时刻表现出不同的作用类型和不同级别的噪声，门控神经网络可以根据特征对预测结果的作用大小自动分配融合权重，能有效降低噪声的干扰. 相比于语音门控神经网络，视觉门控神经网络起到了更大的作用，这是因为视觉特征相比于语音特征对预测结果起到了更大的作用，方法②③也印证了这一点. 从总体实验结果看，本文设计的每个模块都发挥着各自的作用，去除任何一个模块都会影响方法的性能，证明了CoAdMu设计的合理性.

3.2.4   误差分析

为了对预测结果的误差进行详细分析，本文对多模态意图识别的测试结果混淆矩阵进行可视化，如图6所示. 横坐标为预测标签，纵坐标为真实标签，颜色深浅代表预测概率的大小，对角线位置的亮度越高，说明CoAdMu在该类别的精准率越高. 总体上，CoAdMu在大部分意图类别上获得了较高的精准率，例如，在Praise，Apologize，Thank，Agree，Care等类别上获得了90%以上的精准率. 然而，在Taunt，Joke，Oppose这3个类别上表现不佳，因为这些意图需要结合语言、语气、表情、动作和情景等做深层次的推理，有时候连人也无法准确地判断. 从图6也发现，CoAdMu容易把Complain误判成Criticize或Oppose，Criticize误判成 Taunt，Taunt误判成Joke，Joke误判成 Flaunt，Inform误判成 Arrange.这也是容易理解的，因为这些意图类别具有很高的相似性，有时人也会误判. 虽然我们通过样本间的协同，保证同类别样本的特征具有相似性，不同类样本的特征具有差异性，但这些类别的语义十分相似，还是不能很好地将其区分开.

图  6  混淆矩阵可视化

Figure  6.  Visualization of confusion matrix

下载: 全尺寸图片 幻灯片

3.2.5   融合权重分析

为了进一步验证本文提出的多模态特征融合方法的有效性，对MIntRec测试集上每个类别的语音和视觉特征的融合权重计算平均值，结果如表9所示. 从表9中可以看出，几乎所有类别的视觉特征都获得了很高的权重值，因为视觉特征可以很好地辅助文本特征，在消融实验的方法②中也印证了这一点. 而对于语音特征，不同的类别具有不同的融合权重值，例如Apologize，Complain，Criticize，Praise，Thank获得了较高的权重值，而Advise，Arrange，Ask for help，Care的权重值比较低. 这是因为相比于后者，前者具有明显的语气特征，能为意图的判断提供帮助. 从这些结果中可以看出，CoAdMu实现了自适应的多模态特征融合，当特征能为决策提供有效信息时则增加融合权重，反之则减少.

表  9  不同意图类别下的语音和视觉特征融合权重

Table  9.  Speech and Visual Feature Fusion Weights under Different Intent Categories

类别	语音特征融合权重	视觉特征融合权重
Advise	0.17	0.97
Agree	0.40	0.98
Apologize	0.93	0.98
Arrange	0.24	0.99
Ask for help	0.15	0.99
Care	0.24	0.97
Comfort	0.80	0.99
Complain	0.92	0.94
Criticize	0.93	0.98
Flaunt	0.88	0.92
Greet	0.47	0.97
Inform	0.73	0.95
Introduce	0.72	0.96
Joke	0.85	0.98
Leave	0.78	0.96
Oppose	0.50	0.99
Praise	0.96	0.68
Prevent	0.52	0.98
Taunt	0.87	0.96
Thank	0.98	0.92

下载: 导出CSV 

| 显示表格

3.2.6   可视化特征分布

本文从MIntRec测试集中挑选Complain和Inform这2类样本，利用PCA对样本的初始模态特征、共享和特有特征进行降维并可视化，如图7所示.

图  7  特征分布可视化

Figure  7.  Feature distribution visualization

下载: 全尺寸图片 幻灯片

图7（a）是经过Transformer预处理后的文本初始特征${{\boldsymbol{u}}^t}$、语音初始特征${{\boldsymbol{u}}^a}$和视频初始特征${{\boldsymbol{u}}^v}$的分布；图7（b）是只考虑样本内多模态协同的共享特征${\boldsymbol{h}}_{\text{c}}^t$，${\boldsymbol{h}}_{\text{c}}^a$，${\boldsymbol{h}}_{\text{c}}^v$和特有特征${\boldsymbol{h}}_{\text{p}}^t$，${\boldsymbol{h}}_{\text{p}}^a$，${\boldsymbol{h}}_{\text{p}}^v$的分布；图7（c）是同时考虑样本内和样本间多模态协同的共享特征${\boldsymbol{h}}_{\text{c}}^t$，${\boldsymbol{h}}_{\text{c}}^a$，${\boldsymbol{h}}_{\text{c}}^v$和特有特征${\boldsymbol{h}}_{\text{p}}^t$，${\boldsymbol{h}}_{\text{p}}^a$，${\boldsymbol{h}}_{\text{p}}^v$的分布；图7（d）（e）分别是对图7（c）（b）中视频特有特征${\boldsymbol{h}}_{\text{p}}^v$的放大视图.

从图7（a）中可以看出，由于文本、语音和视频的异构性，它们的初始特征空间的分布具有很大的差异性. 从图7（b）（e）中可以看出，只考虑样本内多模态协同，所有样本的共享特征的分布具有相似性，特有特征具有差异性，但不同类别样本的特征没有很好地被区分. 从图7（c）（d）中可以看出，同时考虑样本内和样本间的多模态协同，不仅保证了共享特征的相似性和特有特征的差异性，而且实现了不同类别样本的特征具有一定的差异性.

4.   总　　结

多模态表示和融合是多模态机器学习的2个关键任务，针对多模态协同表示时没有考虑样本间协同和多模态融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 通过构建模态共用和模态特定编码器，基于样本内和样本间的多模态协同约束，学习模态的共享特征和特有特征. 通过注意力机制和门控神经网络实现多模态特征的自适应融合，有效降低了噪声数据的干扰. 在多模态意图识别和多模态情感分析任务上的实验结果表明，本文方法在多个评价指标上优于基线方法，大量的消融实验分析、误差分析、融合权重分析和特征可视化分析也证明了本文方法的有效性. 然而，在实验中也发现本文方法和目前已有方法在多模态联合的深层次推理任务上还有很大的提升空间，例如讽刺和暗喻识别任务. 在下一步的研究计划中，将设计融合知识的多模态学习方法，提升模型在深层次推理任务上的性能.

作者贡献声明：黄学坚负责研究方案的构建，并完成实验和撰写论文；马廷淮提出了算法思路和实验方案；王根生提出了指导意见并修改论文.