-
摘要:
算法选择是指从可行算法中为给定问题选择满足需求的算法，基于元学习的算法选择是应用较为广泛的方法，元特征和元算法是其中的关键内容，而现有研究难以充分利用元特征的互补性和元算法的多样性，不利于进一步提升方法性能. 为了解决上述问题，提出基于多目标混合蚁狮优化的算法选择方法（SAMO），设计算法选择模型，以集成元算法的准确性和多样性作为优化目标，引入元特征选择和选择性集成，同时选择元特征和异构元算法以构建集成元算法；提出多目标混合蚁狮算法对模型进行优化，使用离散型编码选择元特征子集，通过连续型编码构建集成元算法，应用增强游走策略和偏好精英选择机制提升寻优性能. 使用260个数据集、150种元特征和9种候选算法构建分类算法选择问题来进行测试，分析方法的参数敏感性，将多目标混合蚁狮算法与4种演化算法进行比较，通过对8种对比方法与所提方法进行对比实验，结果验证了所提方法的有效性和优越性.
Abstract:Algorithm selection refers to selecting an algorithm that satisfies the requirements for a given problem from feasible algorithms, and algorithm selection based on meta-learning is a widely used method, in which the key components are meta-features and meta-learners. However, existing research is difficult to make full use of the complementarity of meta-features and the diversity of meta-learners, which are not conducive to further improving the method performance. To solve the above problems, a selective ensemble algorithm selection method based on multi-objective hybrid ant lion optimizer (SAMO) is proposed. It designs an algorithm selection model, which sets the accuracy and diversity of the ensemble meta-learners as the optimization objectives, introduces meta-feature selection and selective ensemble, and chooses meta-features and heterogeneous meta-learners simultaneously to construct ensemble meta-learners; it proposes a multi-objective hybrid ant lion optimizer to optimize the model, which uses discrete code to select meta-feature subsets and constructs ensemble meta-learners by continuous code, and applies the enhanced walk strategy and the preference elite selection mechanism to improve the optimization performance. We utilize 260 datasets, 150 meta-features, and 9 candidate algorithms to construct classification algorithm selection problems and conduct test experiments, and the parameter sensitivity of the method is analyzed, the multi-objective hybrid ant lion optimizer is compared with four evolutionary algorithms, 8 comparative methods are compared with the proposed method, and the results verify the effectiveness and superiority of the method.
-
多模态机器学习旨在建立能够处理和关联来自多种模式信息的模型，近年来成为研究的热点. 多模态表示和多模态融合是多模态机器学习的2个关键任务[1]. 由于模态间的异构性，多模态表示学习一直是个难点问题. 目前，基于神经网络的联合表示学习模型把所有的模态数据映射到统一的特征空间，得到联合特征表示，容易实现端到端的学习，但需要大量的标注数据[2]. 在一些应用领域，多模态数据具有共享和特有的特征，例如在多模态情感识别任务中，说话人的动作、语音和语言具有共同的动机和目标，同时它们又分别具有特有的情感、语气和语义. 为了有效学习不同模态的共享特征和特有特征，Hazarika等人[3]提出了一种多模态协同表示模型MISA，将每个模态映射到2个不同的子空间中，分别学习共享特征和特有特征，但该模型只考虑了单个样本内的多模态协同，没有考虑样本间的多模态协同，导致不同类别样本的特征空间具有一定程度的重合，特征表示缺乏鲁棒性.
多模态融合根据融合阶段的不同，可以分为早期融合、晚期融合和混合融合[4]. 早期融合是特征层的融合，在融合后的特征上训练分类器；晚期融合是决策层的融合，每个模态数据单独训练一个分类器，然后根据投票、加权和学习等方式对分类器的结果进行融合；混合融合联合了早期融合和晚期融合2种方式，试图同时利用2种融合方式的优点. 晚期融合允许不同的模态采用不用的预测模型，使得模型具有灵活性，但忽视了不同模态特征的交互. 早期融合使用单一模型进行训练，实现了不同模态特征的交互. 研究表明[5-6]，在多模态语言分析任务中，文本特征占据了主要地位，语音和视频常为辅助特征，在某些情况下语音和视频可能包含噪声，对结果的判断起到干扰作用. 目前大部分多模态融合方法，把所有的模态特征同等对待，导致对噪声数据敏感.
因此，针对多模态协同表示没有考虑样本间的协同和多模态特征融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 在多模态表示方面，构建模态特定和模态共用的2类编码器分别学习文本、视频和语音的特有特征和共享特征的表示，通过样本重构误差、样本内协同误差和样本间协同误差设计表示学习损失函数. 在多模态特征融合方面，设计一种基于注意力机制和门控神经网络的自适应的融合方法，利用注意力机制学习模态间的依赖关系，通过门控神经网络得出融合权重. 在多模态意图识别数据集MIntRec和多模态情感数据集CMU-MOSI，CMU-MOSEI上的实验结果表明，本文提出的多模态学习方法在多个指标上优于基线方法，证明了该方法的有效性.
本文的主要贡献包括3个方面：
1） 提出了一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.
2） 设计了一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法，降低噪声数据对多模态融合过程的干扰.
3） 在多模态意图识别数据集和情感数据集上对本文提出的方法进行了大量的实验分析，本文方法在多个指标上优于基线方法.
1. 相关工作
1.1 多模态表示
特征表示一直是机器学习关注的重要问题. 随着深度学习的发展，单模态的特征表示学习取得了很多进展，但由于数据的异构性，多模态表示学习一直是个难点问题[7]. 目前，多模态表示学习主要分为联合表示（joint representations）和协同表示（coordinated representations）. 联合表示通过神经网络将各模态数据映射到同一个特征空间中，得到统一的特征表示，使得多模态表示学习和多模态融合之间没有明显的界限. 例如，Pham等人[8]利用机器翻译的思想，通过Seq2Seq模型实现不同模态之间的来回转换，把Seq2Seq中间隐含层的输出作为多模态的联合表示；Wang等人[9]提出一种通过门控模态混合网络实现文本和非文本特征联合表示的方法. 协同表示分别映射每种模态的数据到各自的特征空间，但要保证每种模态的特征空间之间存在一定的约束. 例如，Mai等人[10]提出一种基于混合对比学习的多模态协同表示方法，首先通过Transformer提取语音和视觉特征，通过BERT提取文本特征，然后通过模态内对比学习、模态间对比学习和半对比学习对语音特征、视觉特征和文本特征的相似性进行约束；Hazarika等人[3]提出一种多模态协同表示方法MISA，将每种模态投射到2个不同的子空间，第1个子空间是模态不变的，通过相似性进行约束，第2个子空间是模态特有的，通过正交结构进行约束；Huang等人[11]在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束.MISA是一种有效的多模态协同表示方法，能够很好地学习不同模态的共享特征和特有特征. 然而，MISA仅考虑了样本内的多模态协同约束，未考虑样本间的多模态协同，导致特征表示缺乏鲁棒性，从而影响模型的泛化能力. 因此，在MISA的基础上，本文提出一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.
1.2 多模态融合
多模态融合关注于如何将多模态数据以一定的架构和方法进行融合，共同贡献于解决目标任务[12-13]，多模态融合主要分为模型无关和基于模型2类方法[14]. 模型无关的方法主要分为特征层融合和决策层融合. 特征层融合实现了不同模态间的底层交互，常用的融合方式有拼接、相加和基于张量的方法[15-16]；决策层融合可以视为考虑不同模态置信度的集成学习，其优点是能够很好地适应模态缺失的问题[17]，但缺乏多模态数据的底层交互，常用的融合机制有加权、投票和学习等方式. 基于模型的融合方法主要有基于内核的方法、基于概率图模型的方法和基于神经网络的方法[18-20]. 目前，基于神经网络的多模态融合方法已经成为主流[21]，例如：Liang等人[22]提出一种循环多级融合网络RMFN，将融合问题分解为多个阶段，每个阶段专注于多模态数据的一个子集；Tsai等人[23]提出一种多模态Transformer架构，通过跨模态注意力机制融合多模态信息；Mou等人[24]提出一种基于注意力的卷积神经网络（convolutional neural networks，CNN）和长短期记忆网络（long short-term memory，LSTM）联合的多模态融合方法；Rahman等人[25]为了在大规模预训练语言模型中融合其他模态信息，在BERT 和 XLNet网络中设计了一个多模态适应门，允许BERT和XLNet在微调期间接受多模态非语言数据. 通过研究发现，目前大部分多模态融合方法没有区分模态间可能存在的主次关系，并且没有考虑数据中可能存在的噪声，导致模型对噪声数据敏感. 因此，鉴于每种模态在不同时刻可能呈现不同作用类型和噪声级别的特性，本文设计一种基于注意力机制和门控神经网络的融合方法，以实现对多模态特征的自适应融合.
2. 方法构建
本文方法主要面向于文本特征为主、语音和视觉特征为辅的多模态自然语言理解任务，例如多模态情感分类和多模态意图识别. 给定一个数据集D={s1,s2,…,sn}，其中包含n个样本. 每个样本si都包含一段视频v、语音a、文本t和标签y. 我们的任务是学习一个模型f(t,v,a)→y，输入样本si的文本信息t、视频信息v和语音信息a，正确输出样本si的标签信息y. 本文提出的基于样本内外协同表示和自适应融合的多模态学习方法CoAdMu，其架构如图1所示，主要包括初始特征提取、多模态表示、多模态融合和结果预测4个部分.
2.1 初始特征提取
2.1.1 文本初始特征提取
预训练语言模型能够很好地提取文本语义特征，已经成为自然语言处理任务的标配模块. 预训练语言模型BERT 基于Transformer的双向Encoder结构，采用Self-attention提高了模型的学习能力和并行计算效率. 为了获取句子级别的语义特征，BERT联合了Masked LM（masked language model）和 NSP（next sentence prediction）这2类任务进行训练.BERT 相比于 Word2vec，一方面考虑了上下文语境，解决了一词多义的问题；另一方面，通过分层学习得到不同层次的语义特征，为下游任务提供了丰富的特征选择. 基于BERT预训练模型，下游任务可以进行微调，在少量训练样本的情况下就能实现不错的分类效果. 所以，本文利用BERT最后隐藏层的输出 {{\boldsymbol{z}}^t} \in {\mathbb{R}^{{l_t} \times {F_t}}} 作为文本初始特征表示，{l_t}为文本序列长度，{F_t}为特征维度.
2.1.2 语音初始特征提取
近年来，受大规模预训练语言模型在自然语言理解任务上大获成功的影响，语音预训练模型成为研究的热点，出现了许多经典的模型. 例如Wav2vec 2.0 [26]，HuBERT [27] 和 WavLM[28]等，通过在上万小时的无标注语音数据上进行自监督学习，显著提升了自动语音识别（automatic speech recognition，ASR）、语音合成（text-to-speech，TTS）和语音转换（voice conversation，VC）等下游任务的性能.Wav2vec 2.0 是 Meta 在 2020 年发布的无监督语音预训练模型，核心思想是通过向量量化（vector quantization，VQ）构建自监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练，得到的表征可以代替传统的声学特征. 所以，本文利用预训练的Wav2vec 2.0模型提取语音初始特征，把模型最后隐藏层的输出{{\boldsymbol{z}}^a} \in {\mathbb{R}^{{l_a} \times {F_a}}}作为语音初始特征表示，{l_a}为语音序列长度，{F_a}为特征维度.
2.1.3 视频初始特征提取
在视频画面中，关键信息是说话人（识别对象）的表情和动作，如果直接从整个画面中抽取特征，可能会因为背景噪声影响效果. 所以本文借鉴文献[29]的思路，对说话人进行检测. 具体流程如图2所示.
首先利用场景检测工具scenedetect
1 区分不同的视觉场景，从而得到关键帧；然后，利用基于MS-COCO数据集预训练的Faster R-CNN模型检测每个关键帧中的人物，得到人物边界框；最后，考虑到画面中可能存在多个人物的情况，使用预训练的TalkNet[30]识别说话人，得到说话人边界框. 本文结合说话人边界框B和由Faster R-CNN提取的特征表示f，得到视频初始特征{{\boldsymbol{z}}^v} \in {\mathbb{R}^{{l_v} \times {F_v}}}，{l_v} 为关键帧的序列长度，{F_v}为每帧的特征维度，{{\boldsymbol{z}}^v}计算为：{{\boldsymbol{z}}^v} = AvgPool(RoIAlign({\boldsymbol{f}},B))\text{，} (1) 其中RoIAlign表示根据边界框B抽取固定大小的特征图，AvgPool用来固定长宽到统一的大小.
2.2 多模态表示
大部分多模态数据存在互补性和一致性. 例如，人在表达情感或意图时，表情、语音和语言具有共同的动机和目标，说明模态间具有一致性的共享特征. 同时，表情、语音和语言又分别具备特有的情感、语气和语义，说明模态间具有互补性的特有特征. 所以，本文设计模态特定和模态共用的2类编码器，分别学习文本、语音、视频的特有特征和共享特征，为多模态学习提供一个全面的表征视图. 文本、语音和视频的初始特征{{\boldsymbol{z}}^t}，{{\boldsymbol{z}}^a}，{{\boldsymbol{z}}^v}输入编码器之前，先进行L2归一化，再通过不同的Transformer进行预处理，然后对Transformer的输出序列进行累加求平均，分别得到{{\boldsymbol{u}}^t} \in {\mathbb{R}^{{d_{\text{t}}}}}，{{\boldsymbol{u}}^a} \in {\mathbb{R}^{{d_{\text{t}}}}}，{{\boldsymbol{u}}^v} \in {\mathbb{R}^{{d_{\text{t}}}}}，{d_{\text{t}}}为Transformer的最后一层前馈神经网络的输出维度.
2.2.1 共享特征和特有特征表示
1）共享特征表示. 为了学习不同模态的共享特征表示，构建一个模态共用的编码器{E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})，把文本特征 {{\boldsymbol{u}}^t} 、视觉特征{{\boldsymbol{u}}^v}和语音特征{{\boldsymbol{u}}^a}映射到同一个特征空间，分别得到文本、视频和语音的共享特征{\boldsymbol{h}}_{\text{c}}^t \in {\mathbb{R}^{{d_{\text{c}}}}}，{\boldsymbol{h}}_{\text{c}}^v \in {\mathbb{R}^{{d_{\text{c}}}}}，{\boldsymbol{h}}_{\text{c}}^a \in {\mathbb{R}^{{d_{\text{c}}}}}，如式（2）～（4）所示，其中{\theta _{\text{c}}}和 {d_{\text{c}}} 分别为共用编码器的参数和输出维度.
{\boldsymbol{h}}_{\text{c}}^t = {E_{\text{c}}}({{\boldsymbol{u}}^t};{\theta _{\text{c}}})\text{，} (2) {\boldsymbol{h}}_{\text{c}}^v = {E_{\text{c}}}({{\boldsymbol{u}}^v};{\theta _{\text{c}}})\text{，} (3) {\boldsymbol{h}}_{\text{c}}^a = {E_{\text{c}}}({{\boldsymbol{u}}^a};{\theta _{\text{c}}}) . (4) 2）特有特征表示. 为了学习不同模态的特有特征表示，分别为文本、语音、视频构建一个特定的编码器 {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t) ， {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a) ， {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v) ，把文本特征 {{\boldsymbol{u}}^t} 、语音特征{{\boldsymbol{u}}^a}和视觉特征{{\boldsymbol{u}}^v}映射到不同的特征空间，分别得到文本、语音和视频的特有特征{\boldsymbol{h}}_{\text{p}}^t \in {\mathbb{R}^{{d_{\text{p}}}}}，{\boldsymbol{h}}_{\text{p}}^a \in {\mathbb{R}^{{d_{\text{p}}}}}，{\boldsymbol{h}}_{\text{p}}^v \in {\mathbb{R}^{{d_{\text{p}}}}}，如式（5）～（7）所示，其中\theta _{\text{p}}^t，\theta _{\text{p}}^a，\theta _{\text{p}}^v为特定编码器的参数，{d_{\text{p}}}为特定编码器的输出维度，输出维度和共用编码器的一致.
{\boldsymbol{h}}_{\text{p}}^t = {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t)\text{，} (5) {\boldsymbol{h}}_{\text{p}}^a = {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a)\text{，} (6) {\boldsymbol{h}}_{\text{p}}^v = {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v). (7) 2.2.2 特征表示学习损失函数
1）样本内协同损失函数
在同一个样本内，需要保证不同模态的共享特征具有相似性和特有特征具有差异性，同一模态的共享特征和特有特征具有差异性. 本文利用中心矩差异（central moment discrepancy，CMD）和正交性衡量特征之间的相似性和差异性. CMD通过匹配2个表示的顺序矩差来计算它们之间的差异，相比于KL散度包含了高阶矩信息，相比于最大平均差异（maximum mean discrepancy，MMD）则减少了计算量，因为不需要计算核矩阵. 令 \tilde X 和 \tilde Y 为区间[a, b]N上分别具有概率分布 p 和 q 的有界随机样本，中心矩差异正则化项CMDK被定义为CMD的经验估计，其计算如式（8）所示：
\begin{split} CM{D}_{K}(\tilde X,\tilde Y)=&\frac{1}{\left|b-a\right|}{\Vert E(\tilde X)-E(\tilde Y)\Vert }_{2}+\\ &{\displaystyle \sum _{k=2}^{K}\frac{1}{{\left|b-a\right|}^{k}}{\Vert {C}_{k}(\tilde X)-{C}_{k}(\tilde Y)\Vert }_{2}}\text{，}\end{split} (8) 其中E(\tilde X) = \dfrac{1}{{\left| \tilde X \right|}}\displaystyle\sum\limits_{x \in X} x 表示样本\tilde X 的经验期望向量， {C_k}(\tilde X) = E\left( {\prod\limits_{i = 1}^N {{{({x_i} - E(\tilde X))}^k}} } \right) 表示\tilde X 的k阶样本中心距向量. 直观上理解，如果样本\tilde X 和\tilde Y 的概率分布越相似，那么它们的每阶中心距也越相近，CMD值越小. 利用CMD构建共享特征相似度损失函数，如式（9）所示；利用正交性约束构建特有特征差异性损失函数，如式（10）所示；样本内多模态协同的总损失函数如式（11）所示.
\begin{split} L_{{{\rm{intra}}}}^{{\rm{sim}}} = \dfrac{1}{3}\displaystyle\sum\limits_{\scriptstyle({m_1},{m_2}) \in \atop {\scriptstyle\{ (t,a),(t,v),\atop \scriptstyle(a,v)\} }} {CM{D_K}({\boldsymbol{h}}_{\rm{c}}^{{m_1}},{\boldsymbol{h}}_{\rm{c}}^{{m_2}})} \end{split} , (9) \begin{split} L_{{\rm{intra}}}^{{\rm{diff}}} = \frac{1}{6}\left(\sum\limits_{m \in \{ t,a,v\} } {\cos ({\boldsymbol{h}}_{\rm{p}}^m,{\boldsymbol{h}}_{\rm{c}}^m)} + \sum\limits_{\scriptstyle({m_1},{m_2}) \in \atop {\scriptstyle\{ (t,a),(t,v),\atop \scriptstyle(a,v)\} }} {\cos ({\boldsymbol{h}}_{\rm{p}}^{{m_1}},{\boldsymbol{h}}_{\rm{p}}^{{m_2}})} \right) \end{split}, (10) {L_{{\text{intra}}}} = L_{{\text{intra}}}^{{\text{sim}}} + L_{{\text{intra}}}^{{\text{diff}}} \text{，} (11) 其中t，a，v分别表示文本、语音和视频， {\boldsymbol{h}}_{\text{c}}^m 和 {\boldsymbol{h}}_{\text{p}}^m 分别表示模态m的共享特征和特有特征. {\boldsymbol{h}}_{\text{c}}^{{m_1}} 和 {\boldsymbol{h}}_{\text{c}}^{{m_2}} 越相似 L_{{{\rm{intra}}}}^{{\rm{sim}}} 值越小，{\boldsymbol{h}}_{\text{p}}^m和{\boldsymbol{h}}_{\text{c}}^m、{\boldsymbol{h}}_{\text{p}}^{{m_1}}和{\boldsymbol{h}}_{\text{p}}^{{m_2}}相差越大 L_{{\text{intra}}}^{{\text{diff}}} 值越小.
2）样本间协同损失函数
在不同样本间，需要保证同类别样本的特征具有相似性和不同类别样本的特征具有差异性. 借鉴对比学习的思路，在一组样本中随机选择一个样本作为锚点样本s，与s类别相同的N个样本作为正样本pos，与s类别不同的M个样本作为负样本neg. 基于CMD，构建如式（12）所示的样本间多模态协同的损失函数：
\begin{split}{L}_{\text{inter}}=&\frac{1}{6}{\displaystyle \sum _{n\in \{\text{c},\text{p}\}}{\displaystyle \sum _{m\in \{t,a,v\}}(\frac{1}{N}{\displaystyle \sum _{i=1}^{N}CM{D}_{K}(s({{\boldsymbol{h}}}_{n}^{m}),po{s}_{i}({{\boldsymbol{h}}}_{n}^{m}))}}} -\\ &\frac{1}{M}{\displaystyle \sum _{j=1}^{M}CM{D}_{K}(s({{\boldsymbol{h}}}_{n}^{m}),ne{g}_{j}({{\boldsymbol{h}}}_{n}^{m}))}),\end{split} (12) 其中c和p分别为共享和特有特征的标识，t，a，v分别表示文本、语音和视频， s({\boldsymbol{h}}_n^m) ， po{s_i}({\boldsymbol{h}}_n^m) ， ne{g_j}({\boldsymbol{h}}_n^m) 分别表示锚点样本s、正样本i、负样本j的m（文本、语音和视频）模态的 n （共享、特有）特征的表示. 正样本i和锚点样本s越相似、负样本j和锚点样本s差异性越大，损失函数 {L_{{{\text{inter}}}}} 值越小.
3）样本重构损失函数
为了保证由编码器得到的共享特征和特有特征保留了初始特征空间的相关性质，设计一个解码器 D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}}) ，输入模态m的共享特征 {\boldsymbol{h}}_{\text{c}}^m 和特有特征 {\boldsymbol{h}}_{\text{p}}^m ，希望输出能够重构该模态的初始特征. 本文使用均方误差（mean squared error, MSE）衡量重构误差，计算如式（13）所示：
{L}_{\text{recon}}=\frac{1}{3}{\displaystyle \sum _{m\in \{t,a,v\}}{\Vert {{\boldsymbol{u}}}^{m}-D（{{\boldsymbol{h}}}_{\text{c}}^{m},{{\boldsymbol{h}}}_{\text{p}}^{m}）\Vert }_{2}}+\frac{\lambda }{2}{\Vert {\theta }_{\text{d}}\Vert }_{2} \text{，} (13) 其中{{\boldsymbol{u}}^m}表示模态m的初始特征表示， D（{{\boldsymbol{h}}}_{\text{c}}^{m},{{\boldsymbol{h}}}_{\text{p}}^{m}） 为解码器的输出， {\theta _{\text{d}}} 为解码器的参数， \dfrac{\lambda }{2}{\left\| {{\theta _{\text{d}}}} \right\|_2} 为正则化项，用于防止过拟合.
2.3 多模态融合
在多模态自然语言分析任务中，文本为主要特征，语音和视频为辅助特征，并且在某些时刻语音和视频包含噪声数据，对结果的判断起到干扰作用. 因此，本文设计一种基于注意力机制和门控神经网络的自适应融合方法.
2.3.1 模态内共享特征和特有特征融合
对每个模态的共享特征和特有特征进行拼接，输入Self-attention中，捕获共享特征和特有特征的相关性，得到单模态融合特征. Self-attention是Transformer的核心组件，相比 RNN 网络结构，其最大的优点是可以实现并行计算和长距离依赖. 其计算流程如图3所示.
计算形式如式（14）所示：
SA({\boldsymbol{X}}) = {softmax} \left(\frac{{({{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}}){{({{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{X}})}^{\text{T}}}}}{{\sqrt {{d_{\text{k}}}} }}\right)\left({{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{X}}\right) \text{，} (14) 其中 {\boldsymbol{Q}} = {{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}} ， {\boldsymbol{K}} = {{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{X}} ， {\boldsymbol{V}} = {{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{X}} 分别为Query，Key，Value矩阵， {{\boldsymbol{W}}^{\text{q}}} ， {{\boldsymbol{W}}^{\text{k}}} ， {{\boldsymbol{W}}^{\text{v}}} 为需要学习的权重矩阵. {d_{\text{k}}} 为 Key的维度，除以 \sqrt {{d_{\text{k}}}} 的目的是在反向传播时梯度更加稳定.Self-attention的 Query，Key，Value来自于同一个输入序列X. 分别对文本、语音和视频的共享特征和特有特征进行拼接{\boldsymbol{X}} = Concat({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m)，输入Self-attention中得到单模态融合特征 {{\boldsymbol{h}}^t} \in {\mathbb{R}^{{d_{\text{v}}}}} ， {{\boldsymbol{h}}^a} \in {\mathbb{R}^{{d_{\text{v}}}}} ， {{\boldsymbol{h}}^v} \in {\mathbb{R}^{{d_{\text{v}}}}} ，{d_{\text{v}}}为Value的维度.
2.3.2 样本内多模态特征融合
得到单模态的融合特征后，基于Cross-attention分别计算文本与视频的关联特征 CA（t,v） 和文本与语音的关联特征 CA（t,a） . 不同于Self-attention，Cross-attention的Query，Key，Value的输入来自于2个不同的序列X和Y，X作为Query的输入，而Y作为Key和Value的输入.Cross-attention的计算流程如图4所示.
计算形式如式（15）所示：
CA({\boldsymbol{X}},{\boldsymbol{Y}}) = {softmax} \left(\frac{{({{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}}){{({{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{Y}})}^{\text{T}}}}}{{\sqrt {{d_{\text{k}}}} }}\right)({{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{Y}}) . (15) 然后，把 CA（t,v） 和 CA（t,a） 分别输入视觉门控神经单元和语音门控神经单元，得到视觉特征融合权重 {w^v} 和语音特征融合权重 {w^a} . 最后，根据权重融合视觉特征{{\boldsymbol{h}}^v}、语音特征{{\boldsymbol{h}}^a}和文本特征{{\boldsymbol{h}}^t}，得到最终的多模态融合特征h，如式（16）所示：
{\boldsymbol{h}} = {{\boldsymbol{h}}^t} + {w^v}{{\boldsymbol{h}}^v} + {w^a}{{\boldsymbol{h}}^a}. (16) 直观上理解， {w^v} 和 {w^a} 根据模态间的深层关系得到，当视觉特征和语音特征能辅助文本特征做决策时，则增加融合权重，反之则减少. 这种融合方式，一方面体现了文本特征为主、语音和视觉特征为辅的先验；另一方面，实现了自适应的融合，有效降低了语音和视频中可能存在的噪声干扰.
2.4 结果预测
把多模态融合特征h输入多层全连接神经网络中进行分类或回归任务. 分类任务使用交叉熵损失，回归任务使用均方误差损失，如式（17）所示：
{L}_{\text{task}}=\left\{\begin{aligned} &-\frac{1}{N}{\displaystyle \sum _{i=1}^{N}{y}_{i}\mathrm{ln}({\widehat{y}}_{i})}+\frac{\lambda }{2}{\Vert {\boldsymbol{W}}\Vert }_{2}\text{，}\quad 分类\text{，}\\ &-\frac{1}{N}{\displaystyle \sum _{i=1}^{N}{\Vert {y}_{i}-{\widehat{y}}_{i}\Vert }_{2}}+\frac{\lambda }{2}{\Vert {\boldsymbol{W}}\Vert }_{2}\text{，}\quad 回归\text{，}\end{aligned}\right. (17) 其中N是训练样本数量，{y_i}和{\widehat y_i}分别代表样本i的真实值和预测值，\dfrac{\lambda }{2}{\left\| {\boldsymbol{W}} \right\|_2}为L2正则化，以降低模型的过拟合程度. 为了实现多模态表示、融合和预测端到端的训练，本文对多模态表示学习损失 {L_{{\text{intra}}}} 、 {L_{{\text{inter}}}} 、{L_{{\text{recon}}}}和预测结果损失{L_{{\text{task}}}}进行联合优化，最终优化目标如式（18）所示，其中\alpha ，\beta ，\gamma 是权重.
L = {L_{{\text{task}}}} + \frac{1}{N}\sum\limits_{i = 1}^N {(\alpha L_{{\text{intra}}}^i + \beta L_{{\text{inter}}}^i + \gamma L_{{\text{recon}}}^i)} . (18) 3. 实验与分析
3.1 实验设置
3.1.1 实验数据
本文选取多模态意图识别数据集MIntRec
2 和多模态情感数据集CMU-MOSI，CMU-MOSEI3 作为实验数据，这3个数据集都包含文本、语音和视频3种模态.MIntRec数据集由清华大学智能技术与系统国家重点实验室提供，原始数据来源于美剧“Superstore”，包含2 224条实例.MIntRec数据集包含“表达情绪或态度”和“实现目标”2个粗粒度类别. “表达情绪或态度”细分为11个意图类别：Complain，Praise，Apologize，Thank，Criticize，Care，Agree，Taunt，Flaunt，Oppose，Joke. “实现目标”细分为9个意图类别：Inform，Advise，Arrange，Introduce，Comfort，Leave，Prevent，Greet，Ask for help. CMU-MOSI和CMU-MOSEI数据集由卡梅隆大学提供，原始数据集来源于YouTube，包含强烈积极（+3）、积极（+2）、弱积极（+1）、中性（0）、弱消极（–1）、消极（–2）、强烈消极（–3）这7种情感类别. CMU-MOSI数据集收录了89位YouTube用户的2 199条视频片段，CMU-MOSEI数据集是CMU-MOSI的扩展版，收录了1 000位YouTube用户的3 228条视频，包括250个主题，共23 453个句子. 训练集、验证集和测试集的划分结果如表1所示.表 1 数据集划分结果Table 1. Division Results of Datasets数据集 训练集 验证集 测试集 MIntRec 1344 455 455 CMU-MOSI 1319 440 440 CMU-MOSEI 16265 1869 4643 3.1.2 评价指标
在MIntRec数据集上执行20-class分类任务，利用准确率（accuracy，Acc）、宏平均精确度（macro precision，MP）、宏平均召回率（macro recall，MR）和宏平均F1-score（macro F1-score，MF1）作为算法性能评价指标. 在CMU-MOSI和CMU-MOSEI数据集上执行回归和分类任务，回归任务利用平均绝对误差（mean absolute error，MAE）和皮尔逊相关系数（Pearson correlation coefficient，PCC）作为评价指标，分类任务利用二分类准确率（Acc-2）、F1-score和七分类准确率（Acc-7）作为评价指标.Acc，MP，MR，MF1，PCC，F1-score值越大越好，MAE值越低越好. 在以往的研究中，CMU-MOSI和CMU-MOSEI数据集根据情感分数有（负，非负）和（负，正）2种二分类做法.
3.1.3 实现细节
在初始特征提取中，分别基于预训练的BERT-base-uncased，Wav2vec 2.0，Faster R-CNN分别提取文本、语音和视觉特征. 在多模态表示中，使用层数为1、多头个数为1的Transformer分别对文本、语音和视觉特征进行预处理，编码器{E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})， {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t) ， {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v) ， {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a) 和解码器 D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}}) 都采用单层全连接神经网络. 在多模态融合中，Self-attention和Cross-attention采用的层数和多头个数都为1.在结果预测中，采用2层的全连接神经网络. 整体来说，考虑到实验数据集相对较小，没有采用较为深层的网络架构. 其他超参数如表2所示. 为了减少式（18）中超参数\alpha ，\beta ，\gamma 的搜索时间，本文采用了一种次优网格搜索方法，具体内容见3.2.1节.
表 2 超参数设置Table 2. Hyperparameters Setting参数类型 参数 参数值 模型参数 文本的最大序列长度{l_t} 30 语音的最大序列长度 {l_a} 230 视频的最大序列长度{l_v} 480 文本特征维度{F_t} 768 语音特征维度{F_a} 256 视觉特征维度{F_v} 768 {L_{{\text{intra}}}}的权重α 0.7 {L_{{\text{inter}}}}的权重β 0.7 {L_{{\text{recon}}}}的权重γ 0.6 中心矩差异CMDK 的阶数K 5 全连接神经网络的隐藏层大小 256 训练参数 学习率 3E–5 正则化参数 1E–6 最大训练轮次 20 停止训练的等待次数 6 批量训练的batch size 8 Dropout比例 0.1 优化器Optimizer Adam 3.2 结果和分析
3.2.1 联合优化的超参数分析
{L_{{\text{intra}}}}， {L_{{\text{inter}}}} ，{L_{{\text{recon}}}}的权重值\alpha ，\beta ，\gamma 是重要的超参数. 我们设定这些参数的搜索空间为{0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0}. 然而，我们没有对\alpha ，\beta ，\gamma 同时建立网格，而是先固定其中2个参数，只对其中1个参数进行搜索，虽然这种网格搜索方式可能得不到最佳的参数组合，但可以极大地减少搜索的时间消耗. 为了提升模型的泛化能力，我们并没有针对不同的数据集选择不同的参数组合. 相反，我们选择了在MIntRec，CMU-MOSI，CMU-MOSEI这3个数据上平均准确率最高的参数组合. 这样的做法旨在确保模型在不同数据集上都能取得较好的性能，而不仅仅局限于某个特定数据集. 实验结果如图5所示.
首先，我们将\beta 和\gamma 固定为0.5，\alpha =0.7时模型表现最佳；然后，我们将\alpha 固定为0.7，\gamma 固定为0.5，\beta =0.7时模型表现最佳；最后，我们将\alpha 和\beta 固定为0.7，\gamma =0.6时模型的性能最佳. 所以，最终选择\alpha =0.7，\beta =0.7，\gamma =0.6.从图5看出，模型对重构误差{L_{{\text{recon}}}}的权重\gamma 更加敏感.
3.2.2 方法对比分析
1）多模态情感分析任务的实验对比
为了验证本文提出的CoAdMu方法的有效性，选择以下多模态学习方法作为基线，对比其在多模态情感分析任务中的性能.
①TFN[15]. 一种基于张量的多模态融合方法，对提取的语言特征、视觉特征和语音特征做外积，得到融合的向量.
②LMF[16]. 通过将张量和权重并行分解，利用模态特定的低阶因子来执行多模态融合，避免计算高维的张量.
③MFM[7]. 通过模态分解将多模态表征分解为多模态判别因子和特定模态生成因子，多模态判别因子在所有模态之间共享，特定模态生成因子对于每个模态都是唯一的.
④RMFN[22]. 一种基于循环多阶段融合网络的多模态融合方法，将融合分解成前后关联的多个阶段.
⑤CIA[31]. 采用自编码器学习模态之间的交互关系，并利用上下文感知注意力学习相邻话语间的关系.
⑥MCTN[8]. 通过Seq2Seq模型实现不同模态之间的来回转换，得到多模态间的联合表示.
⑦RAVEN[9]. 通过视觉特征和语音特征动态调整文本中词嵌入，实现文本和非文本特征的联合表示.
⑧MulT[23]. 利用跨模态 Transformer 将源模态转换为目标模态来学习多模态表示.
⑨ICCN[6]. 使用语音-文本和视频-文本的特征外积和深度典型相关分析来生成多模态特征表示.
⑩MISA[3]. 将每个模态投射到2个不同的子空间中，分别学习共享特征和特有特征，但该方法只考虑了单个样本内的多模态协同.
⑪MAG-BERT[25]. 通过多模态适应门，允许 BERT 在微调期间接受多模态非语言数据，使得语言模型BERT有效利用了语音和视觉模态的信息.
⑫QMF[32]. 利用量子理论中的叠加和纠缠来表述单模态和跨模态的相互作用，提高多模态融合的可解释性.
⑬HyCon[10]. 通过联合模态内对比学习、模态间对比学习和半对比学习实现多模态表示.
⑭EMFRM[11]. 在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束，但该方法也只考虑了单个样本内的多模态协同.
表3和表4分别是在多模态情感数据集CMU-MOSI和CMU-MOSEI上的对比结果. 大部分基于表示学习的多模态方法的性能优于基于张量融合的多模态方法，因为基于张量融合的方法计算维度呈指数级增长，导致计算效率差，需要大量的训练数据才能学到模态间的交互. 表示学习方法一般基于对多模态数据的先验知识，例如多模态数据的一致性和互补性，构建表示学习模型，降低了学习的复杂度. 在表示学习方法中，基于协同表示的多模态方法的性能优于大部分基于联合表示的方法，因为协同表示方法把多模态信息映射到不同的特征空间，相比于映射到同一个空间的联合表示更好地保留了模态的特有特征. 联合表示方法MAG-BERT能获得相对较好的性能，主要是因为其借助了预训练语言模型BERT强大的语义学习能力，巧妙地把语音和视觉信息集成到了BERT之中.QMF方法利用量子理论中的叠加和纠缠来表述单模态和跨模态的交互，虽然方法性能没有得到很大的提升，但提高了多模态融合的可解释性. 本文提出的CoAdMu方法在CMU-MOSI和CMU-MOSEI这2个数据集上，比最先进的基线方法在所有的评价指标都有一定程度的提升，证明了本文方法的有效性.
表 3 在CMU-MOSI数据集上与基线的对比Table 3. Comparison with Baselines on CMU-MOSI Dataset方法 MAE PCC Acc-2/% F1-score/% Acc-7/% TFN 0.970 0.633 73.9/– 73.4/– 32.1 LMF 0.912 0.668 76.4/– 75.7/– 32.8 MFM 0.951 0.662 78.1/– 78.1/– 36.2 RMFN 0.922 0.681 78.4/– 78.0/– 38.3 CIA 0.914 0.689 79.9/– 79.5/– 38.9 MCTN 0.909 0.676 79.3/– 79.1/– 35.6 RAVEN 0.915 0.691 78.0/– 76.6/– 33.2 MulT 0.871 0.698 –/83.0 –/82.8 40.0 ICCN 0.862 0.714 –/83.0 –/83.0 39.0 MISA 0.783 0.761 81.8/83.4 81.7/83.6 42.3 MAG-BERT 0.790 0.769 82.2/83.5 82.6/83.5 42.9 QMF 0.915 0.696 –/79.7 –/79.6 33.5 HyCon 0.713 0.790 –/85.2 –/85.1 46.6 EMRFM 0.722 0.785 –/84.7 –/84.8 46.1 CoAdMu（本文） 0.711 0.798 84.1/86.1 84.0/86.1 47.2 △SOTA ↓0.002 ↑0.008 ↑1.9/↑0.9 ↑1.4/↑1.0 ↑0.6 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值. 表 4 在CMU-MOSEI数据集上与基线的对比Table 4. Comparison with Baselines on CMU-MOSEI Dataset方法 MAE PCC Acc-2/% F1-score/% Acc-7/% TFN 0.610 0.671 79.4/– 79.7/– 49.8 LMF 0.608 0.677 80.6/– 81.0/– 50.0 MFM 0.602 0.692 81.1/– 81.6/– 50.7 RMFN 0.604 0.685 80.9/– 81.2/– 50.5 CIA 0.680 0.590 80.4/– 78.2/– 50.1 MCTN 0.609 0.670 79.8/– 80.6/– 49.6 RAVEN 0.614 0.662 79.1/– 79.5/– 50.0 MulT 0.580 0.703 –/82.5 –/82.3 51.8 ICCN 0.565 0.713 –/84.2 –/84.2 51.6 MISA 0.555 0.756 83.6/85.5 83.8/85.3 52.2 MAG-BERT 0.602 0.778 83.1/85.0 83.2/85.0 51.9 QMF 0.640 0.658 –/80.7 –/79.8 47.9 HyCon 0.601 0.776 –/85.4 –/85.6 52.8 EMRFM 0.600 0.775 –/85.2 –/85.3 52.3 CoAdMu（本文） 0.550 0.791 84.2/86.5 84.6/86.7 53.6 △SOTA ↓0.005 ↑0.013 ↑0.6/↑1.0 ↑0.8/↑1.1 ↑0.8 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值. 2）多模态意图识别任务的实验对比
为了验证CoAdMu方法在复杂多模态场景下的学习能力，本文在真实世界多模态意图识别的基准数据集MIntRec上，实施进一步的实验对比. 一方面，MIntRec原始数据来源于真实世界的影视片段，具有丰富的人物角色和故事情节，以及复杂的场景画面；另一方面，MIntRec包含了更为细粒度的20个意图类别，囊括了表达情绪和态度、实现目标. 本文挑选MulT，MISA，MAG-BERT，HyCon这4个先进的多模态学习方法作为基线. 整体实验结果对比如表5所示，每个类别的F1-score如表6和表7所示.
表 5 在MIntRec数据集上与基线的对比Table 5. Comparison with Baselines on MIntRec Dataset% 方法 Acc MP MR MF1 MulT 71.24 67.53 68.15 67.58 MISA 71.91 69.98 68.91 68.92 MAG-BERT 71.01 68.15 65.83 66.09 HyCon 71.33 68.93 65.21 66.37 CoAdMu（本文） 73.26 72.45 71.26 71.14 △SOTA ↑1.35 ↑2.47 ↑2.35 ↑2.22 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升. 黑体数值表示最优值. 表 6 “表达情绪或态度”中每个细粒度意图类别的F1-scoreTable 6. F1-score for Each Fine-grained Intent Category in “Express Emotions and Attitudes”% 方法 Complain Praise Apologize Thank Criticize Care Agree Taunt Flaunt Joke Oppose MulT 67.26 87.36 98.11 95.83 48.00 86.49 91.67 9.52 36.36 50.00 35.29 MISA 62.14 86.67 98.11 98.04 47.06 81.82 100.00 25.00 50.00 37.50 27.27 MAG-BERT 66.09 90.24 98.18 98.04 40.00 85.71 95.65 9.09 15.38 40.00 40.00 HyCon 66.67 93.83 98.11 98.11 48.89 94.74 95.65 10.00 23.53 28.57 38.10 CoAdMu（本文） 64.08 90.24 96.30 94.34 60.87 91.89 96.00 28.57 44.44 40.00 34.78 注：黑体数值表示最优值. 表 7 “实现目标”中每个细粒度意图类别的F1-scoreTable 7. F1-score for Each Fine-grained Intent Category in “Achieve Goals”% 方法 Comfort Inform Advise Arrange Introduce Leave Prevent Greet Ask for help MulT 68.57 69.72 72.00 64.00 60.00 70.27 80.00 91.67 69.57 MISA 78.79 69.57 70.59 65.00 72.00 75.00 85.71 90.91 57.14 MAG-BERT 70.00 70.23 60.47 62.22 61.90 75.00 80.00 90.91 72.73 HyCon 74.29 65.67 72.73 62.50 59.46 68.97 69.23 85.71 72.73 CoAdMu（本文） 83.33 69.64 77.19 57.78 71.79 83.87 82.76 85.71 70.59 注：黑体数值表示最优值. 从表5中可以发现，CoAdMu方法在所有的评价指标上获得了最好的效果，比最先进的基线方法在Acc，MP，MR，MF1上分别提高了1.35个百分点、2.47个百分点、2.35个百分点、2.22个百分点，提升效果比在多模态情感分析任务上更加明显. 一方面，MIntRec数据集在真实场景下采集，可能存在不同级别的噪声；另一方面，MIntRec数据集中的每种模态在不同时刻可能表现出不同的作用类型. 例如，在表达Agree和Thank这2种意图时的文本具有相对固定的表达方式，语音和视觉特征的作用并不明显. 然而，在表达Taunt和Joke意图时，语音和视频中的语气和表情是很好的补充特征. 基线方法基本上都是“重表示，轻融合”，在表示学习上设计了复杂的方式，而在特征融合上采用简单的拼接方式，没有突出不同特征的作用大小，导致模型对噪声数据敏感.CoAdMu采用协同表示和自适应融合的方式，不仅很好地学习了多模态表示，而且可以根据不同的类别类型、作用大小自动调整特征的融合权重，有效降低了噪声数据的干扰，所以获得了相对较好的效果.
从表6和表7发现，同一个方法在不同的意图分类上具有不同的性能，没有哪个方法能够在所有的类别上获得最好的性能.MulT在Complain，Joke，Greet这3个类别上获得了最高评分；MISA在Agree，Flaunt，Arrange，Introduce，Prevent这5个类别上获得了最高评分；MAG-BERT在Apologize，Oppose，Inform，Ask for help这4个类别上获得了最高评分；
HyCon在Praise，Thank，Care，Advise这4个类别上获得了最高评分；CoAdMu在Criticize，Taunt，Comfort，Leave这4个类别上获得了最高评分. 虽然CoAdMu获得的最高评分总个数不是最多，但平均的F1-score值最大. 通过最高分的分布发现，HyCon擅长于情感表达类的意图识别，MISA擅长于表达态度和实现目标类的意图识别，MulT，MAG-BERT，CoAdMu在不同的任务上表现比较均衡. 所有方法在大部分意图类别上都能获得较好的分类效果，但在Taunt，Flaunt，Joke，Oppose这4个类别上的分类效果不佳，因为这些意图的识别需要结合语言、语气、表情、动作和情景等做深层次的推理，这也说明CoAdMu和基线方法在多模态深层推理任务上还存在不足.
3.2.3 消融实验分析
为了进一步分析不同模块对CoAdMu的贡献，我们设计了11组消融实验方法. 方法①～③是对不同模态的消融；方法④～⑥是对多模态表示模块中相关损失函数的消融；方法⑦去除多模态表示模块，直接把{{\boldsymbol{u}}^t}，{{\boldsymbol{u}}^a}，{{\boldsymbol{u}}^v}输入多模态融合层；方法⑧采用分段训练方式，首先根据损失函数L = {L_{{\text{intra}}}} + {L_{{\text{inter}}}} + {L_{{\text{recon}}}}对多模态表示模块进行预训练，然后，再根据损失函数{L_{{\text{task}}}}对多模态融合模块和结果预测模块进行训练；方法⑨⑩分别去除多模态特征融合中的视觉门控神经单元和语音门控神经单元；方法⑪去除整个多模态融合模块，采用简单相加的方式进行融合. 实验结果如表8所示.
表 8 消融实验结果Table 8. Ablation Experiment Results方法 CMU-MOSI CMU-MOSEI MIntRec MAE Acc-7/% MAE Acc-7/% Acc/% MF1/% CoAdMu（本文） 0.711 47.2 0.550 53.6 73.3 71.1 ①（–）Text 1.372 22.6 0.790 24.6 29.9 22.8 ②（–）Video 0.786 44.7 0.561 50.9 71.5 67.4 ③（–）Audio 0.730 46.1 0.557 52.0 73.1 70.8 ④（–）Lintra 0.791 43.9 0.568 49.4 71.4 68.9 ⑤（–）Linter 0.734 45.8 0.559 51.6 72.6 70.5 ⑥（–）Lrecon 0.798 43.2 0.570 49.1 69.5 67.6 ⑦（–）MultRe 0.803 42.6 0.575 48.4 70.6 68.5 ⑧（*）MultRe 0.784 44.9 0.562 50.9 71.6 69.4 ⑨（–）Gate_V 0.805 42.3 0.572 48.7 69.6 66.7 ⑩（–）Gate_A 0.728 46.6 0.555 52.5 72.6 70.1 ⑪（–）MultFu 0.807 42.0 0.578 48.0 69.1 66.3 通过方法①～③的实验结果发现，去除文本对模型性能的影响最大，一方面的原因是文本相比于语音和视频包含了更多的信息量；另一方面得益于大规模预训练语言模型的应用，提取的文本特征的质量远高于语音和视觉特征. 去除视频比去除语音对方法的性能影响更大，这是因为相比于语音，视觉特征和文本特征的冗余性相对较小，可以更好地补充文本特征.
通过方法④～⑥的实验结果发现，去除任何一个多模态表示学习的损失函数都会降低模型的性能，这是因为样本内的协同损失函数{L_{{\text{intra}}}}保证了共享特征的相似性和特有特征的差异性；样本间的协同损失函数{L_{{\text{inter}}}}保证了同类别样本的特征具有相似性，不同类别样本的特征具有差异性；样本重构损失函数{L_{{\text{recon}}}}使得共享特征和特有特征保留了初始特征空间的相关性质，避免学习到不相干的特征表示. 通过方法⑦的实验结果发现，如果去除多模态表示学习模块，会对CoAdMu的性能造成较大的影响. 这是因为多模态数据存在互补性和一致性，对其共享特征和特有特征分开学习，能提供更加全面的视图. 通过方法⑧的实验结果发现，采用分段训练的方式会降低CoAdMu的性能，因为相比端到端的训练方式，分段训练缺乏灵活性和领域适配能力.
通过方法⑨～⑪的实验结果发现，去除多模态融合中的视觉门控神经网络、语音门控神经网络或者整个融合模块都会影响CoAdMu的性能，因为语音和视频可能在不同时刻表现出不同的作用类型和不同级别的噪声，门控神经网络可以根据特征对预测结果的作用大小自动分配融合权重，能有效降低噪声的干扰. 相比于语音门控神经网络，视觉门控神经网络起到了更大的作用，这是因为视觉特征相比于语音特征对预测结果起到了更大的作用，方法②③也印证了这一点. 从总体实验结果看，本文设计的每个模块都发挥着各自的作用，去除任何一个模块都会影响方法的性能，证明了CoAdMu设计的合理性.
3.2.4 误差分析
为了对预测结果的误差进行详细分析，本文对多模态意图识别的测试结果混淆矩阵进行可视化，如图6所示. 横坐标为预测标签，纵坐标为真实标签，颜色深浅代表预测概率的大小，对角线位置的亮度越高，说明CoAdMu在该类别的精准率越高. 总体上，CoAdMu在大部分意图类别上获得了较高的精准率，例如，在Praise，Apologize，Thank，Agree，Care等类别上获得了90%以上的精准率. 然而，在Taunt，Joke，Oppose这3个类别上表现不佳，因为这些意图需要结合语言、语气、表情、动作和情景等做深层次的推理，有时候连人也无法准确地判断. 从图6也发现，CoAdMu容易把Complain误判成Criticize或Oppose，Criticize误判成 Taunt，Taunt误判成Joke，Joke误判成 Flaunt，Inform误判成 Arrange.这也是容易理解的，因为这些意图类别具有很高的相似性，有时人也会误判. 虽然我们通过样本间的协同，保证同类别样本的特征具有相似性，不同类样本的特征具有差异性，但这些类别的语义十分相似，还是不能很好地将其区分开.
3.2.5 融合权重分析
为了进一步验证本文提出的多模态特征融合方法的有效性，对MIntRec测试集上每个类别的语音和视觉特征的融合权重计算平均值，结果如表9所示. 从表9中可以看出，几乎所有类别的视觉特征都获得了很高的权重值，因为视觉特征可以很好地辅助文本特征，在消融实验的方法②中也印证了这一点. 而对于语音特征，不同的类别具有不同的融合权重值，例如Apologize，Complain，Criticize，Praise，Thank获得了较高的权重值，而Advise，Arrange，Ask for help，Care的权重值比较低. 这是因为相比于后者，前者具有明显的语气特征，能为意图的判断提供帮助. 从这些结果中可以看出，CoAdMu实现了自适应的多模态特征融合，当特征能为决策提供有效信息时则增加融合权重，反之则减少.
表 9 不同意图类别下的语音和视觉特征融合权重Table 9. Speech and Visual Feature Fusion Weights under Different Intent Categories类别 语音特征融合权重 视觉特征融合权重 Advise 0.17 0.97 Agree 0.40 0.98 Apologize 0.93 0.98 Arrange 0.24 0.99 Ask for help 0.15 0.99 Care 0.24 0.97 Comfort 0.80 0.99 Complain 0.92 0.94 Criticize 0.93 0.98 Flaunt 0.88 0.92 Greet 0.47 0.97 Inform 0.73 0.95 Introduce 0.72 0.96 Joke 0.85 0.98 Leave 0.78 0.96 Oppose 0.50 0.99 Praise 0.96 0.68 Prevent 0.52 0.98 Taunt 0.87 0.96 Thank 0.98 0.92 3.2.6 可视化特征分布
本文从MIntRec测试集中挑选Complain和Inform这2类样本，利用PCA对样本的初始模态特征、共享和特有特征进行降维并可视化，如图7所示.
图7（a）是经过Transformer预处理后的文本初始特征{{\boldsymbol{u}}^t}、语音初始特征{{\boldsymbol{u}}^a}和视频初始特征{{\boldsymbol{u}}^v}的分布；图7（b）是只考虑样本内多模态协同的共享特征{\boldsymbol{h}}_{\text{c}}^t，{\boldsymbol{h}}_{\text{c}}^a，{\boldsymbol{h}}_{\text{c}}^v和特有特征{\boldsymbol{h}}_{\text{p}}^t，{\boldsymbol{h}}_{\text{p}}^a，{\boldsymbol{h}}_{\text{p}}^v的分布；图7（c）是同时考虑样本内和样本间多模态协同的共享特征{\boldsymbol{h}}_{\text{c}}^t，{\boldsymbol{h}}_{\text{c}}^a，{\boldsymbol{h}}_{\text{c}}^v和特有特征{\boldsymbol{h}}_{\text{p}}^t，{\boldsymbol{h}}_{\text{p}}^a，{\boldsymbol{h}}_{\text{p}}^v的分布；图7（d）（e）分别是对图7（c）（b）中视频特有特征{\boldsymbol{h}}_{\text{p}}^v的放大视图.
从图7（a）中可以看出，由于文本、语音和视频的异构性，它们的初始特征空间的分布具有很大的差异性. 从图7（b）（e）中可以看出，只考虑样本内多模态协同，所有样本的共享特征的分布具有相似性，特有特征具有差异性，但不同类别样本的特征没有很好地被区分. 从图7（c）（d）中可以看出，同时考虑样本内和样本间的多模态协同，不仅保证了共享特征的相似性和特有特征的差异性，而且实现了不同类别样本的特征具有一定的差异性.
4. 总 结
多模态表示和融合是多模态机器学习的2个关键任务，针对多模态协同表示时没有考虑样本间协同和多模态融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 通过构建模态共用和模态特定编码器，基于样本内和样本间的多模态协同约束，学习模态的共享特征和特有特征. 通过注意力机制和门控神经网络实现多模态特征的自适应融合，有效降低了噪声数据的干扰. 在多模态意图识别和多模态情感分析任务上的实验结果表明，本文方法在多个评价指标上优于基线方法，大量的消融实验分析、误差分析、融合权重分析和特征可视化分析也证明了本文方法的有效性. 然而，在实验中也发现本文方法和目前已有方法在多模态联合的深层次推理任务上还有很大的提升空间，例如讽刺和暗喻识别任务. 在下一步的研究计划中，将设计融合知识的多模态学习方法，提升模型在深层次推理任务上的性能.
作者贡献声明：黄学坚负责研究方案的构建，并完成实验和撰写论文；马廷淮提出了算法思路和实验方案；王根生提出了指导意见并修改论文.
-
![]()
图 9 不同多样性指标时的帕累托解数量
Figure 9. Pareto solution numbers of different diversity indicators
表 1 预测结果列联表
Table 1 Contingency Table of Prediction Results
bj预测结果 bi预测结果 bi（xk）= yk bi（xk）≠ yk bj（xk）= yk c p bj（xk）≠ yk q d 
下载: 导出CSV
表 2 实验数据集信息
Table 2 Information of Experimental Datasets
序号 数据集 属性数 实例数 类数 序号 数据集 属性数 实例数 类数 序号 数据集 属性数 实例数 类数 1 abalone 8 4177 29 88 divorce 54 170 2 175 online-shoppers 17 12330 2 2 absenteeism 20 740 18 89 dna 180 3186 3 176 optdigits 64 3823 10 3 ada-agnostic 48 4562 2 90 dry-bean 16 13611 7 177 ozone-1hr 72 2536 2 4 advertisement 1558 3279 2 91 echocardiogram 11 75 3 178 ozone-8hr 72 2534 2 5 aids 4 50 2 92 ecoli 7 336 8 179 page-blocks 10 5473 5 6 allrep 29 3772 4 93 eeg-eyestate 14 14980 2 180 parkinson-speech 26 1040 2 7 amazon-employ 9 32769 94 electricity 8 45132 2 181 pc1 21 1109 2 8 acd-assessment 15 13 4 95 energy-eff 9 768 37 182 pc3 37 1563 2 9 acd-authorship 70 841 4 96 engine1 5 383 3 183 pc4 37 1458 2 10 acd-bankruptcy 6 50 2 97 eucalyptus 19 736 5 184 penbased 16 10992 10 11 acd-birthday 3 365 7 98 fabert 800 8237 7 185 phishing-websites 30 2456 2 12 acd-bondrate 11 57 5 99 first-order 51 6118 6 186 phoneme 5 5404 2 13 acd-boxing1 3 120 2 100 flag 28 194 8 187 pima 8 768 2 14 acd-boxing2 3 132 2 101 flare 11 1066 6 188 polish-bankruptcy1 64 7027 2 15 acd-braziltour 8 412 7 102 gas-drift 128 13910 6 189 polish-bankruptcy5 64 5500 2 16 acd-broadway 9 95 5 103 german 20 1000 2 190 popularkids 10 478 3 17 acd-broadwaym 7 285 7 104 gesture-phase 32 9873 5 191 post-operative 8 90 3 18 acd-chall101 2 138 2 105 gina-prior2 784 3468 10 192 primary-tumor 17 339 22 19 acd-creditscore 6 100 2 106 glass 9 214 7 193 prnn-fglass 9 214 6 20 acd-currency 3 31 7 107 haberman 3 306 2 194 ring 20 7400 2 21 acd-cyyoung8 10 97 2 108 hayes-roth-test 4 28 4 195 risk-factors 35 858 26 22 acd-cyyoung9 10 92 2 109 hayes-roth-train 4 132 4 196 rmftsa-sleep 2 1024 4 23 acd-dmft 4 797 6 110 hcv-egyptian 28 1385 4 197 robot-failures-lp4 90 117 3 24 acd-draft 4 365 12 111 heart-statlog 13 270 2 198 saheart 9 462 2 25 acd-esr 2 32 2 112 helena 27 65196 100 199 sat11-hand-runtime 115 296 14 26 acd-germangss 5 400 4 113 hepatitis 19 155 2 200 satimage 36 6435 7 27 acd-halloffame 17 1340 3 114 hill-valley 100 1212 2 201 sat-test 36 2000 6 28 acd-homerun 26 162 2 115 horse-colic-test 27 68 2 202 sat-train 36 4435 6 29 acd-lawsuit 4 264 2 116 horse-colic-train 27 300 2 203 seeds 7 210 3 30 acd-mapleleafs 1 84 3 117 house-votes 16 232 2 204 semeion 256 1593 10 31 acd-marketing 32 310 5 118 ilpd 10 583 2 205 sensor-readings-24 24 5456 4 32 acd-supreme 7 4052 10 119 image-seg-test 19 210 7 206 sensor-readings-4 4 5456 4 33 acd-votesurvey 4 48 4 120 image-seg-train 19 2100 7 207 servo 4 167 2 34 anneal 38 798 6 121 indian-pines 220 9144 8 208 shuttle 9 58000 7 35 anomalydata-5 4 1050 2 122 internet-usage 70 10108 46 209 shuttle-landing 6 15 2 36 anomalydata-5h 10 1050 2 123 ionosphere 34 351 2 210 smartphone-har 66 180 6 37 appendicitis 7 106 2 124 iris 4 150 3 211 socmob 5 1156 2 38 arrhythmia 279 452 16 125 isolet1234 617 6238 26 212 sonar 60 208 2 39 artificial-charac 7 10218 10 126 isolet5 617 1559 26 213 soybean-large 35 307 19 40 asp-potassco 140 1294 11 127 japanese-vowels 14 9961 9 214 soybean-small 35 47 4 41 audiology 69 226 24 128 jungle-chess-l-e 46 4704 3 215 spambase 57 4597 2 42 australian 14 690 2 129 jungle-chess-p-l 46 4704 3 216 spect-test 22 187 2 43 autism-adult 20 704 2 130 jungle-chess-r-e 46 5880 3 217 spect-train 22 80 2 44 autohorse-fixed 68 201 186 131 kc1 21 2109 2 218 spectf-test 44 269 2 45 automobile 25 205 7 132 kc2 21 522 2 219 spectf-train 44 80 2 46 autouniv1-1000 20 1000 2 133 kr-vs-kp 36 3196 2 220 spectrometer 101 531 48 47 autouniv4-2500 100 2500 3 134 kropt 6 28056 18 221 speech 400 3686 2 48 autouniv6-1000 40 1000 8 135 leaf 15 340 30 222 splice 60 3190 3 49 autouniv6-750 40 750 8 136 leaves-margin 64 1600 100 223 steel-plates-faults 27 1941 7 50 autouniv7-1100 12 1100 5 137 leaves-shape 64 1600 100 224 student-mat 30 395 21 51 autouniv7-500 12 500 5 138 leaves-texture 64 1600 100 225 student-por 30 649 21 52 bach-choral 16 5665 102 139 led24 24 3200 10 226 surveillance 7 15 3 53 balance-scale 4 625 3 140 led7digit 7 500 10 227 synthetic-control 60 600 6 54 ballon 4 16 2 141 lense 5 24 3 228 tae 5 151 3 55 banana 2 5300 2 142 letter 16 20000 26 229 tamilnadu 3 45781 20 56 bank-marketing 16 45211 2 143 libras-move 90 360 15 230 texture 40 5000 11 57 banknote 4 1372 2 144 lung-cancer 56 32 3 231 thyroid 21 7200 3 58 biodeg 41 1055 2 145 lupus 3 87 2 232 thyroid-allbp 26 2800 5 59 blood-trans 4 748 2 146 lymphography 18 148 4 233 thyroid-allhyper 26 2800 5 60 breast-cancer 9 286 2 147 madelon 500 2600 2 234 tic-tac-toe 9 958 2 61 breast-cancer-w 9 699 2 148 magic 10 19020 2 235 titanic 3 2201 2 62 bupa 6 345 2 149 marketing 13 8993 9 236 toronto-apartment 6 1124 188 63 cacao 8 1795 42 150 mc1 38 9466 2 237 touch2 10 265 8 64 calendar-dow 32 399 5 151 meta-all 62 71 6 238 trains 32 10 2 65 car 6 1728 4 152 meta-stream 74 45164 13 239 twonorm 20 7400 2 66 car-evaluation 21 1728 4 153 mfeat-fac 216 2000 10 240 unix-user 2 9100 9 67 cardiotocograph 35 2126 3 154 mfeat-fou 76 2000 10 241 user-knowledge 5 403 5 68 castmetal1 37 327 2 155 mfeat-kar 64 2000 10 242 usps 256 9298 10 69 chess 36 3196 2 156 mfeat-mor 6 2000 10 243 vehicle 18 846 4 70 churn 20 5000 2 157 mfeat-pix 240 2000 10 244 vehicle-reproduced 18 846 4 71 clean2 165 6598 2 158 mfeat-zer 47 2000 10 245 volcanoes-a1 3 3252 4 72 cleveland 13 297 5 159 miceprotein 76 1080 8 246 volcanoes-d2 3 9172 4 73 click-prediction 9 39948 2 160 micro-a2 20 20000 5 247 volcanoes-e2 3 1080 4 74 climate-model 20 540 2 161 micro-mass 1300 571 20 248 vowel 13 990 11 75 cmc 9 1473 3 162 monks1-test 6 122 2 249 walking-activity 4 149332 22 76 cnae9 856 1080 9 163 monks1-train 6 124 2 250 waveform 21 5000 3 77 coil2000 85 9822 2 164 monks2-test 6 432 2 251 waveform-noise 40 5000 3 78 colleges-aaup 14 1161 4 165 monks2-train 6 169 2 252 wdbc 30 569 2 79 collins 19 1000 30 166 monks3-test 6 432 2 253 wifi-localization 7 2000 4 80 contraceptive 9 1473 3 167 monks3-train 6 122 2 254 wilt 5 4339 2 81 cpmp-2015 24 527 4 168 mozilla4 5 15545 2 255 wine 13 178 3 82 credit-card 23 30000 2 169 mushroom 22 8124 2 256 winequality-r 11 1599 10 83 crx 15 653 2 170 newthyroid 5 215 3 257 winequality-w 11 4898 10 84 cylinder-bands 19 539 2 171 nursery 8 12960 5 258 wpbc 32 198 2 85 dbworld-bodies 64 3721 2 172 obs-network 20 1075 4 259 yeast 8 1484 13 86 dermatology 34 366 6 173 oil-spill 49 937 2 260 zoo 16 101 7 87 diggle-table-a2 8 310 9 174 olivetti-faces 4096 400 40
下载: 导出CSV
表 3 元特征信息
Table 3 Information of Meta-Features
元特征类型 元特征名称 基于统计和信
息论的元特征attr_conc.mean，attr_conc.sd，attr_ent.mean，attr_ent.sd，attr_to_inst，can_cor.mean，can_cor.sd，cat_to_num，class_conc.mean，class_conc.sd，class_ent，cor.mean，cor.sd，cov.mean，cov.sd，eigenvalues.mean，eigenvalues.sd，eq_num_attr，freq_class.mean，freq_class.sd，g_mean.mean，g_mean.sd，gravity，h_mean.mean，h_mean.sd，inst_to_attr，iq_range.mean，iq_range.sd，joint_ent.mean，joint_ent.sd，kurtosis.mean，kurtosis.sd，lh_trace，mad.mean，mad.sd，max.mean，max.sd，mean.mean，mean.sd，median.mean，median.sd，min.mean，min.sd，mut_inf.mean，mut_inf.sd，nr_attr，nr_bin，nr_cat，nr_class，nr_cor_attr，nr_disc，nr_inst，nr_norm，nr_num，nr_outliers，ns_ratio，num_to_cat，one_itemset.mean，one_itemset.sd，p_trace，range.mean，range.sd，roy_root，sd.mean，sd.sd，sd_ratio，skewness.mean，skewness.sd，sparsity.mean，sparsity.sd，t_mean.mean，t_mean.sd，two_itemset.mean，two_itemset.sd，var.mean，var.sd，w_lambda 基于决策树的
元特征leaves，leaves_branch.mean，leaves_branch.sd，leaves_corrob.mean，leaves_corrob.sd，leaves_homo.mean，leaves_homo.sd，leaves_per_class.mean，leaves_per_class.sd，nodes，nodes_per_attr，nodes_per_inst，nodes_per_level.mean，nodes_per_level.sd，nodes_repeated.mean，nodes_repeated.sd，tree_depth.mean，tree_depth.sd，tree_imbalance.mean，tree_imbalance.sd，tree_shape.mean，tree_shape.sd，var_importance.mean，var_importance.sd 基于基准的
元特征best_node.mean，best_node.sd，elite_nn.mean，elite_nn.sd，linear_discr.mean，linear_discr.sd，naive_bayes.mean，naive_bayes.sd，one_nn.mean，one_nn.sd，random_node.mean，random_node.sd，worst_node.mean，worst_node.sd 基于问题复杂
度的元特征c1，c2，cls_coef，density，f1.mean，f1.sd，f1v.mean，f1v.sd，f2.mean，f2.sd，f3.mean，f3.sd，f4.mean，f4.sd，hubs.mean，hubs.sd，l1.mean，l1.sd，l2.mean，l2.sd，l3.mean，l3.sd，lsc，n1，n2.mean，n2.sd，n3.mean，n3.sd，n4.mean，n4.sd，t1.mean，t1.sd，t2，t3，t4
下载: 导出CSV
表 4 候选算法胜出次数
Table 4 Win Times of the Candidate Algorithms
候选算法 元数据集 D_{Acc} D_{Pre } D_{Rec } D_{F{\rm{1}} } D_{AR{R_{{1}}}} D_{AR{R_{ {2} } } } D_{AR{R_{ {3} } } } kNN 10 15 13 16 45 21 8 RF 106 100 84 94 10 66 98 SVM 37 28 20 21 21 32 32 LR 27 26 25 22 2 21 26 NB 11 13 21 13 51 17 14 LDA 20 24 26 25 66 40 22 ID3 21 27 38 38 65 46 34 MLP 23 18 23 24 0 14 21 CNN 5 9 10 7 0 3 5 注：黑体数值表示最多胜出次数.
下载: 导出CSV
表 5 各算法错误率结果
Table 5 Error Rate Results of the Algorithms
% 元数据集 本文算法 MALO NSGA2 SMPSO SPEA2 DAcc 50.3 52.4 54.0 54.4 53.8 DPre 54.1 56.7 57.1 57.7 57.2 DRec 56.3 58.2 60.1 61.2 59.8 DF1 51.7 54.4 55.5 56.3 55.8 D_{AR{R_{ {1} } } } 51.6 54.3 57.8 59.2 58.9 D_{AR{R_{ {2} } } } 55.7 57.9 60.5 60.9 60.8 D_{AR{R_{ {3} } } } 50.9 52.2 53.9 54.2 53.8 注：黑体数值表示最优结果.
下载: 导出CSV
表 6 各算法多样性指标结果
Table 6 Diversity Indicator Results of the Algorithms
元数据集 本文算法 MALO NSGA2 SMPSO SPEA2 DAcc 0.561 0.590 0.654 0.64 0.651 DPre 0.592 0.628 0.668 0.665 0.662 DRec 0.560 0.601 0.636 0.631 0.639 DF1 0.549 0.582 0.634 0.627 0.637 D_{AR{R_{ {1} } } } 0.501 0.521 0.587 0.584 0.579 D_{AR{R_{ {2} } } } 0.568 0.601 0.646 0.646 0.657 D_{AR{R_{ {3} } } } 0.561 0.598 0.647 0.642 0.638 注：黑体数值表示最优结果.
下载: 导出CSV
表 7 各算法帕累托解数量结果
Table 7 Pareto Solution Number Results of the Algorithms
元数据集 本文算法 MALO NSGA2 SMPSO SPEA2 DAcc 12.6 5.9 6.2 7.2 6.6 DPre 9.3 5.5 5.8 7.2 5.8 DRec 10.4 5.4 6.1 5.9 6.2 DF1 12.2 5.6 6.1 5.9 5.7 D_{AR{R_{ {1} } } } 9.0 5.2 4.9 5.1 4.8 D_{AR{R_{ {2} } } } 10.2 5.7 5.5 6.0 5.1 D_{AR{R_{ {3} } } } 11.0 6.0 6.6 6.8 6.3 注：黑体数值表示最优结果.
下载: 导出CSV
表 8 各算法NR结果
Table 8 NR Results of the Algorithms
元数据集 本文算法 MALO NSGA2 SMPSO SPEA2 DAcc 0.743 0.252 0 0.010 0 DPre 0.834 0.166 0 0 0 DRec 0.713 0.297 0 0 0 DF1 0.778 0.225 0 0 0 D_{AR{R_{ {1} } } } 0.711 0.289 0 0 0 D_{AR{R_{ {2} } } } 0.764 0.229 0.010 0 0 D_{AR{R_{ {3} } } } 0.757 0.229 0.010 0 0 注：黑体数值表示最优结果.
下载: 导出CSV
表 9 各算法HV结果
Table 9 HV Results of the Algorithms
元数据集 本文算法 MALO NSGA2 SMPSO SPEA2 DAcc 0.209 0.190 0.157 0.160 0.158 DPre 0.181 0.158 0.140 0.139 0.142 DRec 0.184 0.164 0.141 0.139 0.141 DF1 0.208 0.186 0.159 0.158 0.157 D_{AR{R_{ {1} } } } 0.235 0.215 0.171 0.167 0.170 D_{AR{R_{ {2} } } } 0.184 0.164 0.137 0.135 0.132 D_{AR{R_{ {3} } } } 0.206 0.186 0.159 0.160 0.162 注：黑体数值表示最优结果.
下载: 导出CSV
表 10 各算法SP结果
Table 10 SP Results of the Algorithms
元数据集 本文算法 MALO NSGA2 SMPSO SPEA2 DAcc 0.013 0.019 0.017 0.024 0.021 DPre 0.018 0.014 0.020 0.016 0.018 DRec 0.012 0.011 0.019 0.018 0.014 DF1 0.013 0.021 0.015 0.016 0.022 D_{AR{R_{ {1} } } } 0.015 0.016 0.017 0.017 0.022 D_{AR{R_{ {2} } } } 0.013 0.011 0.018 0.014 0.018 D_{AR{R_{ {3} } } } 0.016 0.023 0.019 0.017 0.018 注：黑体数值表示最优结果.
下载: 导出CSV
表 11 各方法ER结果
Table 11 ER Results of the Methods
% 方法 元数据集 排名 D_{Acc } D_{Pre} D_{Rec} D_{F{\rm{1} } } D_{AR{R_{ {1} } } } D_{AR{R_{ {2} } } } D_{AR{R_{ {3} } } } SAMO 50.3 54.1 56.3 51.7 51.6 55.7 50.9 1 kNN 59.2 66.5 68.5 63.8 74.6 73.5 59.6 7 SVM 59.6 61.9 66.9 63.1 78.1 75.4 63.1 8 CART 69.6 71.9 76.2 69.6 64.6 73.1 69.2 9 SVR 59.2 61.5 67.3 63.8 75.0 75.0 62.7 6 RF 55.8 55.4 58.8 54.2 54.2 57.7 54.6 2 RFR 60.0 62.3 63.8 60.8 66.5 71.2 66.9 5 XGB 59.6 57.7 56.9 54.2 54.2 58.1 56.5 4 LGBM 57.7 53.8 60 55.8 53.5 58.8 56.5 3 注：黑体数值表示最优结果.
下载: 导出CSV
表 12 各方法查准率结果
Table 12 Precision Results of the Methods
% 方法 元数据集 排名 D_{Acc } D_{Pre} D_{Rec} D_{F{\rm{1}} } D_{AR{R_{ {1} } } } D_{AR{R_{ {2} } } } D_{AR{R_{ {3} } } } SAMO 35.7 35.9 38.5 37.7 38.6 32.8 32.8 1 kNN 16.1 14.2 18.6 21.3 17.4 16.7 18.3 7 SVM 5.0 4.4 7.0 7.5 5.1 2.9 4.4 8 CART 19.9 18.0 17.3 19.7 30.1 21.4 22.3 6 SVR 5.0 4.4 4.7 5.3 7.3 3.0 4.4 9 RF 27.1 42.4 35.9 36.1 34.8 28.8 29.5 2 RFR 27.9 21.0 25.7 23.6 22.9 15.9 12.7 5 XGB 26.7 26.6 40.6 36.3 36.2 30.2 31.1 4 LGBM 27.7 37.3 36.9 37.3 38.1 27.0 29.1 3 注：黑体数值表示最优结果.
下载: 导出CSV
表 13 各方法查全率结果
Table 13 Recall Results of the Methods
% 方法 元数据集 排名 D_{Acc } D_{Pre} D_{Rec} D_{F{\rm{1} } } D_{AR{R_{ {1} } } } D_{AR{R_{ {2} } } } D_{AR{R_{ {3} } } } SAMO 28.0 29.7 30.9 31.6 38.9 31.2 27.4 1 kNN 18.8 16.1 17.8 18.9 17.7 17.0 20.8 7 SVM 11.9 11.3 11.9 12.1 15.8 11.3 11.4 8 CART 19.9 20.6 20.5 26.1 31.2 23.1 22.2 6 SVR 12.0 11.4 11.4 11.6 15.8 11.5 11.6 9 RF 22.8 28.9 31.2 29.4 33.4 28.7 25.7 4 RFR 29.4 25.7 25.7 26.5 24.9 17.7 13.9 5 XGB 23.7 27.4 36.3 34.0 34.7 31.2 27.0 2 LGBM 24.4 31.9 31.6 30.6 34.8 29.2 25.9 3 注：黑体数值表示最优结果.
下载: 导出CSV
表 14 各方法F1得分结果
Table 14 F1 Score Results of the Methods
% 方法 元数据集 排名 D_{Acc } D_{Pre} D_{Rec} D_{F{\rm{1} } } D_{AR{R_{ {1} } } } D_{AR{R_{ {2} } } } D_{AR{R_{ {3} } } } SAMO 28.0 28.8 29.5 30.4 36.6 29.5 26.4 1 kNN 16.3 13.8 15.0 16.5 16.4 15.0 18.4 7 SVM 7.0 6.2 6.7 7.2 6.1 4.6 6.3 8 CART 18.7 17.8 17.2 20.7 27.9 21.1 20.6 5 SVR 7.0 6.3 5.9 6.4 6.9 4.7 6.4 9 RF 22.5 30 29.6 27.5 32.1 26.5 24.5 4 RFR 25.0 20.9 22.7 22.1 22.0 14.8 11.5 6 XGB 23.3 25.4 34.8 31.6 33.1 29.3 26.6 2 LGBM 24.4 30.7 30.8 29.9 33.6 27.0 25.4 3 注：黑体数值表示最优结果.
下载: 导出CSV
-
[1] Adam S P, Alexandropoulos S-A N, Pardalos P M, et al. No free lunch theorem: A review[M]//Approximation and Optimization. Cham, Switzerland: Springer, 2019: 57−82
[2] Kerschke P, Hoos H H, Neumann F, et al. Automated algorithm selection: Survey and perspectives[J]. Evolutionary Computation, 2019, 27(1): 3−45 doi: 10.1162/evco_a_00242
[3] Brazdil P, Giraud-Carrier C. Metalearning and algorithm selection: Progress, state of the art and introduction to the 2018 special issue[J]. Machine Learning, 2018, 107(1): 1−14 doi: 10.1007/s10994-017-5692-y
[4] Yang Chengrun, Akimoto Y, Kim D W, et al. OBOE: Collaborative filtering for AutoML model selection[C]//Proc of the 25th ACM SIGKDD Int Conf on Knowledge Discovery & Data Mining. New York: ACM, 2019: 1173−1183
[5] Dias L V, Miranda P B C, Nascimento A C A, et al. ImageDataset2Vec: An image dataset embedding for algorithm selection[J]. Expert Systems with Applications, 2021, 180: 115053 doi: 10.1016/j.eswa.2021.115053
[6] Shahoud S, Winter M, Khalloof H, et al. An extended meta learning approach for automating model selection in big data environments using microservice and container virtualizationz technologies[J]. Internet of Things, 2021, 16: 100432 doi: 10.1016/j.iot.2021.100432
[7] Aguiar G J, Santana E J, De Carvalho A C P F L, et al. Using meta-learning for multi-target regression[J]. Information Sciences, 2022, 584: 665−684 doi: 10.1016/j.ins.2021.11.003
[8] Arjmand A, Samizadeh R, Dehghani Saryazdi M. Meta-learning in multivariate load demand forecasting with exogenous meta-features[J]. Energy Efficiency, 2020, 13(5): 871−887 doi: 10.1007/s12053-020-09851-x
[9] Li Li, Wang Yong, Xu Ying, et al. Meta-learning based industrial intelligence of feature nearest algorithm selection framework for classification problems[J]. Journal of Manufacturing Systems, 2022, 62: 767−776 doi: 10.1016/j.jmsy.2021.03.007
[10] Chalé M, Bastian N D, Weir J. Algorithm selection framework for cyber attack detection[C]//Proc of the 2nd ACM Workshop on Wireless Security and Machine Learning. New York: ACM, 2020: 37−42
[11] Mu Tianyu, Wang Hongzhi, Zheng Shenghe, et al. Assassin: An automatic classification system based on algorithm selection[J]. Proceedings of the VLDB Endowment, 2021, 14(12): 2751−2754 doi: 10.14778/3476311.3476336
[12] Garcia L P F, Lorena A C, De Souto M C P, et al. Classifier recommendation using data complexity measures[C]//Proc of the 24th Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2018: 874−879
[13] Aguiar G J, Mantovani R G, Mastelini S M, et al. A meta-learning approach for selecting image segmentation algorithm[J]. Pattern Recognition Letters, 2019, 128: 480−487 doi: 10.1016/j.patrec.2019.10.018
[14] Aduviri R, Matos D, Villanueva E. Feature selection algorithm recommendation for gene expression data through gradient boosting and neural network metamodels[C]//Proc of the 12th IEEE Int Conf on Bioinformatics and Biomedicine. Los Alamitos, CA: IEEE Computer Society, 2018: 2726−2728
[15] 孟军,张晶,姜丁菱,等. 结合近邻传播聚类的选择性集成分类方法[J]. 计算机研究与发展,2018,55(5):986−993 doi: 10.7544/issn1000-1239.2018.20170077 Meng Jun, Zhang Jing, Jiang Dingling, et al. Selective ensemble classification integrated with affinity propagation clustering[J]. Journal of Computer Research and Development, 2018, 55(5): 986−993 (in Chinese) doi: 10.7544/issn1000-1239.2018.20170077
[16] Jan Z, Munos J C, Ali A. A novel method for creating an optimized ensemble classifier by introducing cluster size reduction and diversity[J]. IEEE Transactions on Knowledge and Data Engineering, 2020, 34(7): 3072−3081
[17] Xu Yuhong, Yu Zhiwen, Cao Wenming, et al. Adaptive classifier ensemble method based on spatial perception for high-dimensional data classification[J]. IEEE Transactions on Knowledge and Data Engineering, 2021, 33(7): 2847−2862 doi: 10.1109/TKDE.2019.2961076
[18] Mohammed A M, Onieva E, Woźniak M, et al. An analysis of heuristic metrics for classifier ensemble pruning based on ordered aggregation[J]. Pattern Recognition, 2022, 124: 108493 doi: 10.1016/j.patcog.2021.108493
[19] 胡毅,瞿博阳,梁静,等. 进化集成学习算法综述[J]. 智能科学与技术学报,2021,3(1):18−33 doi: 10.11959/j.issn.2096-6652.202103 Hu Yi, Qu Boyang, Liang Jing, et al. A survey on evolutionary ensemble learning algorithm[J]. Chinese Journal of Intelligent Science and Technology, 2021, 3(1): 18−33 (in Chinese) doi: 10.11959/j.issn.2096-6652.202103
[20] 刘艺,刁兴春,曹建军,等. 基于集成分类的高维数据实体分辨[J]. 计算机应用研究,2018,35(3):689−693 Liu Yi, Diao Xingchun, Cao Jianjun, et al. High-dimensional data entity resolution based on ensemble classifying[J]. Application Research of Computers, 2018, 35(3): 689−693 (in Chinese)
[21] Qasem A, Sheikh Abdullah S N H, Sahran S, et al. An improved ensemble pruning for mammogram classification using modified bees algorithm[J]. Neural Computing and Applications, 2022, 34: 10093−10116 doi: 10.1007/s00521-022-06995-y
[22] Zhu Xuhui, Ni Zhiwei, Ni Liping, et al. Ensemble pruning of ELM via migratory binary glowworm swarm optimization and margin distance minimization[J]. Neural Processing Letters, 2020, 52(3): 2043−2067 doi: 10.1007/s11063-020-10336-2
[23] Mirjalili S. The ant lion optimizer[J]. Advances in Engineering Software, 2015, 83(C): 80−98
[24] Niu Guoqiang, Li Xiaoyong, Wan Xin, et al. Dynamic optimization of wastewater treatment process based on novel multi-objective ant lion optimization and deep learning algorithm[J]. Journal of Cleaner Production, 2022, 345: 131140 doi: 10.1016/j.jclepro.2022.131140
[25] Abualigah L, Shehab M, Alshinwan M, et al. Ant lion optimizer: A comprehensive survey of its variants and applications[J]. Archives of Computational Methods in Engineering, 2021, 28(3): 1397−1416 doi: 10.1007/s11831-020-09420-6
[26] Liu Yi, Qin Wei, Zhang Jinhui, et al. Multi-objective ant lion optimizer based on time weight[J]. IEICE Transactions on Information and Systems, 2021, E104.D(6): 901−904 doi: 10.1587/transinf.2021EDL8009
[27] Khan I, Zhang Xianchao, Mobashar R, et al. A literature survey and empirical study of meta-learning for classifier selection[J]. IEEE Access, 2020, 8: 10262−10281 doi: 10.1109/ACCESS.2020.2964726
[28] 曾子林,张宏军,张睿,等. 基于元学习思想的算法选择问题综述[J]. 控制与决策,2014,29(6):961−968 doi: 10.13195/j.kzyjc.2013.1297 Zeng Zilin, Zhang Hongjun, Zhang Rui, et al. Summary of algorithm selection problem based on meta-learning[J]. Control and Decision, 2014, 29(6): 961−968 (in Chinese) doi: 10.13195/j.kzyjc.2013.1297
[29] Rivolli A, Garcia L P F, Soares C, et al. Meta-features for meta-learning[J]. Knowledge-Based Systems, 2022, 240: 108101 doi: 10.1016/j.knosys.2021.108101
[30] Lorena A C, Garcia L P F, Lehmann J, et al. How complex is your classification problem: A survey on measuring classification complexity[J]. ACM Computing Surveys, 2019, 52(5): 1−34
[31] 刁兴春,刘艺,曹建军,等. 多目标蚁群优化研究综述[J]. 计算机科学,2017,44(10):7−13,25 doi: 10.11896/j.issn.1002-137X.2017.10.002 Diao Xingchun, Liu Yi, Cao Jianjun, et al. Reviews of multiobjective ant colony optimization[J]. Computer Science, 2017, 44(10): 7−13,25 (in Chinese) doi: 10.11896/j.issn.1002-137X.2017.10.002
[32] Dua D, Graff C. UCI machine learning repository[EB/OL]. 2017[2022-03-19].https://archive.ics.uci.edu/ml/index.php
[33] Alcalá-Fdez J, Fernández A, Luengo J, et al. Keel data-mining software tool: Data set repository, integration of algorithms and experimental analysis framework[J]. Journal of Multiple-Valued Logic & Soft Computing, 2011, 17: 255−287
[34] Kooperberg C. StatLib: An archive for statistical software, datasets, and information[J]. The American Statistician, 1997, 51(1): 98−98 doi: 10.2307/2684710
[35] Vanschoren J, Van Rijn J N, Bischl B, et al. OpenML: Networked science in machine learning[J]. ACM SIGKDD Explorations Newsletter, 2014, 15(2): 49−60 doi: 10.1145/2641190.2641198
[36] Alcobaça E, Siqueira F, Rivolli A, et al. MFE: Towards reproducible meta-feature extraction[J]. Journal of Machine Learning Research, 2020, 21: 1−5
[37] Pedregosa F, Varoquaux G, Gramfort A, et al. Scikit-learn: Machine learning in Python[J]. Journal of Machine Learning Research, 2011, 12: 2825−2830
[38] Chollet F. Keras[EB/OL]. 2015[2022-07-16].https://keras.io
[39] Brazdil P B, Soares C. Ranking learning algorithms: Using IBL and meta-learning on accuracy and time results[J]. Machine Learning, 2003, 50(3): 251−277 doi: 10.1023/A:1021713901879
[40] 李洪奇,徐青松,朱丽萍,等. 基于数据集相似性的分类算法推荐[J]. 计算机应用与软件,2016,33(8):62−66 doi: 10.3969/j.issn.1000-386x.2016.08.014 Li Hongqi, Xu Qingsong, Zhu Liping, et al. Classification algorithms recommendation based on dataset similarity[J]. Computer Applications and Software, 2016, 33(8): 62−66 (in Chinese) doi: 10.3969/j.issn.1000-386x.2016.08.014
[41] Mirjalili S, Jangir P, Saremi S. Multi-objective ant lion optimizer: A multi-objective optimization algorithm for solving engineering problems[J]. Applied Intelligence, 2017, 46(1): 79−95 doi: 10.1007/s10489-016-0825-8
[42] Deb K, Pratap A, Agarwal S, et al. A fast and elitist multiobjective genetic algorithm: NSGA2[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(2): 182−197 doi: 10.1109/4235.996017
[43] Nebro A J, Durillo J J, Garcia-Nieto J, et al. SMPSO: A new PSO-based metaheuristic for multi-objective optimization[C]//Proc of the 2009 IEEE Symp on Computational Intelligence in Milti-Criteria Decision-Making. Piscataway, NJ: IEEE, 2009: 66−73
[44] Zitzler E, Laumanns M, Thiele L. SPEA2: Improving the strength pareto evolutionary algorithm, 103[R]. Zurich: Swiss Federal Institute of Technology, 2001
[45] Benítez-Hidalgo A, Nebro A J, García-Nieto J, et al. jMetalPy: A Python framework for multi-objective optimization with metaheuristics[J]. Swarm and Evolutionary Computation, 2019, 51: 100598 doi: 10.1016/j.swevo.2019.100598
[46] Goh C-K, Tan K C. A competitive-cooperative coevolutionary paradigm for dynamic multiobjective optimization[J]. IEEE Transactions on Evolutionary Computation, 2009, 13(1): 103−127 doi: 10.1109/TEVC.2008.920671
[47] Zitzler E, Thiele L. Multiobjective evolutionary algorithms: A comparative case study and the strength Pareto approach[J]. IEEE Transactions on Evolutionary Computation, 1999, 3(4): 257−271 doi: 10.1109/4235.797969
[48] Schott J R. Fault tolerant design using single and multicriteria genetic algorithm optimization[D]. Cambridge, MA: Department of Aeronautics and Astronautics, Massachusetts Institute of Technology, 1995
-
期刊类型引用(2)
1. 王全新，刘音. Android应用中的Java题库系统的设计与优化. 信息记录材料. 2024(01): 142-144 . 
百度学术
2. 杜厚勤. 档案一体化平台中的分布式数据库优化研究. 信息与电脑(理论版). 2024(17): 10-13 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 218
- HTML全文浏览量: 26
- PDF下载量: 108
- 被引次数: 4
