Exploiting Hybrid Kernel-Based Fuzzy Complementary Mutual Information for Selecting Features
-
摘要:
模糊粗糙集理论目前在数据挖掘和机器学习等领域受到了广泛的关注. 该理论提供了一种能克服离散化问题的有效工具，并能直接应用于数值或混合属性数据. 在模糊粗糙集模型中，定义模糊关系来测量对象之间的相似性，数值属性值不再需要离散化. 模糊粗糙集理论已经被成功应用于许多领域，如属性约简、规则提取、聚类分析和离群点检测. 信息熵被引入到模糊粗糙集理论进行模糊和不确定信息的表示，产生了不同形式的模糊不确定性度量，如模糊信息熵、模糊补熵和模糊互信息等. 然而，大部分所提关于决策的模糊互信息都是非单调的，这可能导致一个不收敛的学习算法. 为此，基于混杂核模糊补熵，定义了关于决策的模糊补互信息，证明了其随特征呈单调性变化. 进而，利用混杂核模糊补互信息探索特征选择方法并且设计了相关的算法. 实验结果展示了在大多数情况下所提算法可以选取更少的特征且能保持或提高分类准确率.
Abstract:Fuzzy rough set theory is currently receiving a lot of attention in the fields of data mining and machine learning. The theory provides an effective tool to overcome the discretization problem and can be applied directly to numerical or mixed attribute data. In the fuzzy rough set model, fuzzy relations are defined to measure the similarity between objects and numerical attribute values no longer need to be discretized. The theory has been successfully applied to many fields such as attribute reduction, rule extraction, cluster analysis and outlier detection. Information entropy has been introduced into fuzzy rough set theory for the representation of fuzzy and uncertainty information, resulting in different forms of fuzzy uncertainty measures such as fuzzy information entropy, fuzzy complementary entropy, and fuzzy mutual information. However, most of the proposed fuzzy mutual information on decisions is non-monotonic, which may lead to a non-convergent learning algorithm. To this end, the fuzzy complementary mutual information on decisions is defined based on the hybrid kernel fuzzy complementary entropy, which is shown to vary monotonically with features. Then, the feature selection method is explored by using the hybrid kernel-based fuzzy complementary mutual information and a corresponding algorithm is designed. Experimental results show that the proposed algorithm can select fewer features and maintain or improve the classification accuracy in most cases.
-
多模态机器学习旨在建立能够处理和关联来自多种模式信息的模型，近年来成为研究的热点. 多模态表示和多模态融合是多模态机器学习的2个关键任务[1]. 由于模态间的异构性，多模态表示学习一直是个难点问题. 目前，基于神经网络的联合表示学习模型把所有的模态数据映射到统一的特征空间，得到联合特征表示，容易实现端到端的学习，但需要大量的标注数据[2]. 在一些应用领域，多模态数据具有共享和特有的特征，例如在多模态情感识别任务中，说话人的动作、语音和语言具有共同的动机和目标，同时它们又分别具有特有的情感、语气和语义. 为了有效学习不同模态的共享特征和特有特征，Hazarika等人[3]提出了一种多模态协同表示模型MISA，将每个模态映射到2个不同的子空间中，分别学习共享特征和特有特征，但该模型只考虑了单个样本内的多模态协同，没有考虑样本间的多模态协同，导致不同类别样本的特征空间具有一定程度的重合，特征表示缺乏鲁棒性.
多模态融合根据融合阶段的不同，可以分为早期融合、晚期融合和混合融合[4]. 早期融合是特征层的融合，在融合后的特征上训练分类器；晚期融合是决策层的融合，每个模态数据单独训练一个分类器，然后根据投票、加权和学习等方式对分类器的结果进行融合；混合融合联合了早期融合和晚期融合2种方式，试图同时利用2种融合方式的优点. 晚期融合允许不同的模态采用不用的预测模型，使得模型具有灵活性，但忽视了不同模态特征的交互. 早期融合使用单一模型进行训练，实现了不同模态特征的交互. 研究表明[5-6]，在多模态语言分析任务中，文本特征占据了主要地位，语音和视频常为辅助特征，在某些情况下语音和视频可能包含噪声，对结果的判断起到干扰作用. 目前大部分多模态融合方法，把所有的模态特征同等对待，导致对噪声数据敏感.
因此，针对多模态协同表示没有考虑样本间的协同和多模态特征融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 在多模态表示方面，构建模态特定和模态共用的2类编码器分别学习文本、视频和语音的特有特征和共享特征的表示，通过样本重构误差、样本内协同误差和样本间协同误差设计表示学习损失函数. 在多模态特征融合方面，设计一种基于注意力机制和门控神经网络的自适应的融合方法，利用注意力机制学习模态间的依赖关系，通过门控神经网络得出融合权重. 在多模态意图识别数据集MIntRec和多模态情感数据集CMU-MOSI，CMU-MOSEI上的实验结果表明，本文提出的多模态学习方法在多个指标上优于基线方法，证明了该方法的有效性.
本文的主要贡献包括3个方面：
1） 提出了一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.
2） 设计了一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法，降低噪声数据对多模态融合过程的干扰.
3） 在多模态意图识别数据集和情感数据集上对本文提出的方法进行了大量的实验分析，本文方法在多个指标上优于基线方法.
1. 相关工作
1.1 多模态表示
特征表示一直是机器学习关注的重要问题. 随着深度学习的发展，单模态的特征表示学习取得了很多进展，但由于数据的异构性，多模态表示学习一直是个难点问题[7]. 目前，多模态表示学习主要分为联合表示（joint representations）和协同表示（coordinated representations）. 联合表示通过神经网络将各模态数据映射到同一个特征空间中，得到统一的特征表示，使得多模态表示学习和多模态融合之间没有明显的界限. 例如，Pham等人[8]利用机器翻译的思想，通过Seq2Seq模型实现不同模态之间的来回转换，把Seq2Seq中间隐含层的输出作为多模态的联合表示；Wang等人[9]提出一种通过门控模态混合网络实现文本和非文本特征联合表示的方法. 协同表示分别映射每种模态的数据到各自的特征空间，但要保证每种模态的特征空间之间存在一定的约束. 例如，Mai等人[10]提出一种基于混合对比学习的多模态协同表示方法，首先通过Transformer提取语音和视觉特征，通过BERT提取文本特征，然后通过模态内对比学习、模态间对比学习和半对比学习对语音特征、视觉特征和文本特征的相似性进行约束；Hazarika等人[3]提出一种多模态协同表示方法MISA，将每种模态投射到2个不同的子空间，第1个子空间是模态不变的，通过相似性进行约束，第2个子空间是模态特有的，通过正交结构进行约束；Huang等人[11]在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束.MISA是一种有效的多模态协同表示方法，能够很好地学习不同模态的共享特征和特有特征. 然而，MISA仅考虑了样本内的多模态协同约束，未考虑样本间的多模态协同，导致特征表示缺乏鲁棒性，从而影响模型的泛化能力. 因此，在MISA的基础上，本文提出一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.
1.2 多模态融合
多模态融合关注于如何将多模态数据以一定的架构和方法进行融合，共同贡献于解决目标任务[12-13]，多模态融合主要分为模型无关和基于模型2类方法[14]. 模型无关的方法主要分为特征层融合和决策层融合. 特征层融合实现了不同模态间的底层交互，常用的融合方式有拼接、相加和基于张量的方法[15-16]；决策层融合可以视为考虑不同模态置信度的集成学习，其优点是能够很好地适应模态缺失的问题[17]，但缺乏多模态数据的底层交互，常用的融合机制有加权、投票和学习等方式. 基于模型的融合方法主要有基于内核的方法、基于概率图模型的方法和基于神经网络的方法[18-20]. 目前，基于神经网络的多模态融合方法已经成为主流[21]，例如：Liang等人[22]提出一种循环多级融合网络RMFN，将融合问题分解为多个阶段，每个阶段专注于多模态数据的一个子集；Tsai等人[23]提出一种多模态Transformer架构，通过跨模态注意力机制融合多模态信息；Mou等人[24]提出一种基于注意力的卷积神经网络（convolutional neural networks，CNN）和长短期记忆网络（long short-term memory，LSTM）联合的多模态融合方法；Rahman等人[25]为了在大规模预训练语言模型中融合其他模态信息，在BERT 和 XLNet网络中设计了一个多模态适应门，允许BERT和XLNet在微调期间接受多模态非语言数据. 通过研究发现，目前大部分多模态融合方法没有区分模态间可能存在的主次关系，并且没有考虑数据中可能存在的噪声，导致模型对噪声数据敏感. 因此，鉴于每种模态在不同时刻可能呈现不同作用类型和噪声级别的特性，本文设计一种基于注意力机制和门控神经网络的融合方法，以实现对多模态特征的自适应融合.
2. 方法构建
本文方法主要面向于文本特征为主、语音和视觉特征为辅的多模态自然语言理解任务，例如多模态情感分类和多模态意图识别. 给定一个数据集D={s1,s2,…,sn}，其中包含n个样本. 每个样本si都包含一段视频v、语音a、文本t和标签y. 我们的任务是学习一个模型f(t,v,a)→y，输入样本si的文本信息t、视频信息v和语音信息a，正确输出样本si的标签信息y. 本文提出的基于样本内外协同表示和自适应融合的多模态学习方法CoAdMu，其架构如图1所示，主要包括初始特征提取、多模态表示、多模态融合和结果预测4个部分.
2.1 初始特征提取
2.1.1 文本初始特征提取
预训练语言模型能够很好地提取文本语义特征，已经成为自然语言处理任务的标配模块. 预训练语言模型BERT 基于Transformer的双向Encoder结构，采用Self-attention提高了模型的学习能力和并行计算效率. 为了获取句子级别的语义特征，BERT联合了Masked LM（masked language model）和 NSP（next sentence prediction）这2类任务进行训练.BERT 相比于 Word2vec，一方面考虑了上下文语境，解决了一词多义的问题；另一方面，通过分层学习得到不同层次的语义特征，为下游任务提供了丰富的特征选择. 基于BERT预训练模型，下游任务可以进行微调，在少量训练样本的情况下就能实现不错的分类效果. 所以，本文利用BERT最后隐藏层的输出 {{\boldsymbol{z}}^t} \in {\mathbb{R}^{{l_t} \times {F_t}}} 作为文本初始特征表示，{l_t}为文本序列长度，{F_t}为特征维度.
2.1.2 语音初始特征提取
近年来，受大规模预训练语言模型在自然语言理解任务上大获成功的影响，语音预训练模型成为研究的热点，出现了许多经典的模型. 例如Wav2vec 2.0 [26]，HuBERT [27] 和 WavLM[28]等，通过在上万小时的无标注语音数据上进行自监督学习，显著提升了自动语音识别（automatic speech recognition，ASR）、语音合成（text-to-speech，TTS）和语音转换（voice conversation，VC）等下游任务的性能.Wav2vec 2.0 是 Meta 在 2020 年发布的无监督语音预训练模型，核心思想是通过向量量化（vector quantization，VQ）构建自监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练，得到的表征可以代替传统的声学特征. 所以，本文利用预训练的Wav2vec 2.0模型提取语音初始特征，把模型最后隐藏层的输出{{\boldsymbol{z}}^a} \in {\mathbb{R}^{{l_a} \times {F_a}}}作为语音初始特征表示，{l_a}为语音序列长度，{F_a}为特征维度.
2.1.3 视频初始特征提取
在视频画面中，关键信息是说话人（识别对象）的表情和动作，如果直接从整个画面中抽取特征，可能会因为背景噪声影响效果. 所以本文借鉴文献[29]的思路，对说话人进行检测. 具体流程如图2所示.
首先利用场景检测工具scenedetect
1 区分不同的视觉场景，从而得到关键帧；然后，利用基于MS-COCO数据集预训练的Faster R-CNN模型检测每个关键帧中的人物，得到人物边界框；最后，考虑到画面中可能存在多个人物的情况，使用预训练的TalkNet[30]识别说话人，得到说话人边界框. 本文结合说话人边界框B和由Faster R-CNN提取的特征表示f，得到视频初始特征{{\boldsymbol{z}}^v} \in {\mathbb{R}^{{l_v} \times {F_v}}}，{l_v} 为关键帧的序列长度，{F_v}为每帧的特征维度，{{\boldsymbol{z}}^v}计算为：{{\boldsymbol{z}}^v} = AvgPool(RoIAlign({\boldsymbol{f}},B))\text{，} (1) 其中RoIAlign表示根据边界框B抽取固定大小的特征图，AvgPool用来固定长宽到统一的大小.
2.2 多模态表示
大部分多模态数据存在互补性和一致性. 例如，人在表达情感或意图时，表情、语音和语言具有共同的动机和目标，说明模态间具有一致性的共享特征. 同时，表情、语音和语言又分别具备特有的情感、语气和语义，说明模态间具有互补性的特有特征. 所以，本文设计模态特定和模态共用的2类编码器，分别学习文本、语音、视频的特有特征和共享特征，为多模态学习提供一个全面的表征视图. 文本、语音和视频的初始特征{{\boldsymbol{z}}^t}，{{\boldsymbol{z}}^a}，{{\boldsymbol{z}}^v}输入编码器之前，先进行L2归一化，再通过不同的Transformer进行预处理，然后对Transformer的输出序列进行累加求平均，分别得到{{\boldsymbol{u}}^t} \in {\mathbb{R}^{{d_{\text{t}}}}}，{{\boldsymbol{u}}^a} \in {\mathbb{R}^{{d_{\text{t}}}}}，{{\boldsymbol{u}}^v} \in {\mathbb{R}^{{d_{\text{t}}}}}，{d_{\text{t}}}为Transformer的最后一层前馈神经网络的输出维度.
2.2.1 共享特征和特有特征表示
1）共享特征表示. 为了学习不同模态的共享特征表示，构建一个模态共用的编码器{E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})，把文本特征 {{\boldsymbol{u}}^t} 、视觉特征{{\boldsymbol{u}}^v}和语音特征{{\boldsymbol{u}}^a}映射到同一个特征空间，分别得到文本、视频和语音的共享特征{\boldsymbol{h}}_{\text{c}}^t \in {\mathbb{R}^{{d_{\text{c}}}}}，{\boldsymbol{h}}_{\text{c}}^v \in {\mathbb{R}^{{d_{\text{c}}}}}，{\boldsymbol{h}}_{\text{c}}^a \in {\mathbb{R}^{{d_{\text{c}}}}}，如式（2）～（4）所示，其中{\theta _{\text{c}}}和 {d_{\text{c}}} 分别为共用编码器的参数和输出维度.
{\boldsymbol{h}}_{\text{c}}^t = {E_{\text{c}}}({{\boldsymbol{u}}^t};{\theta _{\text{c}}})\text{，} (2) {\boldsymbol{h}}_{\text{c}}^v = {E_{\text{c}}}({{\boldsymbol{u}}^v};{\theta _{\text{c}}})\text{，} (3) {\boldsymbol{h}}_{\text{c}}^a = {E_{\text{c}}}({{\boldsymbol{u}}^a};{\theta _{\text{c}}}) . (4) 2）特有特征表示. 为了学习不同模态的特有特征表示，分别为文本、语音、视频构建一个特定的编码器 {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t) ， {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a) ， {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v) ，把文本特征 {{\boldsymbol{u}}^t} 、语音特征{{\boldsymbol{u}}^a}和视觉特征{{\boldsymbol{u}}^v}映射到不同的特征空间，分别得到文本、语音和视频的特有特征{\boldsymbol{h}}_{\text{p}}^t \in {\mathbb{R}^{{d_{\text{p}}}}}，{\boldsymbol{h}}_{\text{p}}^a \in {\mathbb{R}^{{d_{\text{p}}}}}，{\boldsymbol{h}}_{\text{p}}^v \in {\mathbb{R}^{{d_{\text{p}}}}}，如式（5）～（7）所示，其中\theta _{\text{p}}^t，\theta _{\text{p}}^a，\theta _{\text{p}}^v为特定编码器的参数，{d_{\text{p}}}为特定编码器的输出维度，输出维度和共用编码器的一致.
{\boldsymbol{h}}_{\text{p}}^t = {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t)\text{，} (5) {\boldsymbol{h}}_{\text{p}}^a = {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a)\text{，} (6) {\boldsymbol{h}}_{\text{p}}^v = {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v). (7) 2.2.2 特征表示学习损失函数
1）样本内协同损失函数
在同一个样本内，需要保证不同模态的共享特征具有相似性和特有特征具有差异性，同一模态的共享特征和特有特征具有差异性. 本文利用中心矩差异（central moment discrepancy，CMD）和正交性衡量特征之间的相似性和差异性. CMD通过匹配2个表示的顺序矩差来计算它们之间的差异，相比于KL散度包含了高阶矩信息，相比于最大平均差异（maximum mean discrepancy，MMD）则减少了计算量，因为不需要计算核矩阵. 令 \tilde X 和 \tilde Y 为区间[a, b]N上分别具有概率分布 p 和 q 的有界随机样本，中心矩差异正则化项CMDK被定义为CMD的经验估计，其计算如式（8）所示：
\begin{split} CM{D}_{K}(\tilde X,\tilde Y)=&\frac{1}{\left|b-a\right|}{\Vert E(\tilde X)-E(\tilde Y)\Vert }_{2}+\\ &{\displaystyle \sum _{k=2}^{K}\frac{1}{{\left|b-a\right|}^{k}}{\Vert {C}_{k}(\tilde X)-{C}_{k}(\tilde Y)\Vert }_{2}}\text{，}\end{split} (8) 其中E(\tilde X) = \dfrac{1}{{\left| \tilde X \right|}}\displaystyle\sum\limits_{x \in X} x 表示样本\tilde X 的经验期望向量， {C_k}(\tilde X) = E\left( {\prod\limits_{i = 1}^N {{{({x_i} - E(\tilde X))}^k}} } \right) 表示\tilde X 的k阶样本中心距向量. 直观上理解，如果样本\tilde X 和\tilde Y 的概率分布越相似，那么它们的每阶中心距也越相近，CMD值越小. 利用CMD构建共享特征相似度损失函数，如式（9）所示；利用正交性约束构建特有特征差异性损失函数，如式（10）所示；样本内多模态协同的总损失函数如式（11）所示.
\begin{split} L_{{{\rm{intra}}}}^{{\rm{sim}}} = \dfrac{1}{3}\displaystyle\sum\limits_{\scriptstyle({m_1},{m_2}) \in \atop {\scriptstyle\{ (t,a),(t,v),\atop \scriptstyle(a,v)\} }} {CM{D_K}({\boldsymbol{h}}_{\rm{c}}^{{m_1}},{\boldsymbol{h}}_{\rm{c}}^{{m_2}})} \end{split} , (9) \begin{split} L_{{\rm{intra}}}^{{\rm{diff}}} = \frac{1}{6}\left(\sum\limits_{m \in \{ t,a,v\} } {\cos ({\boldsymbol{h}}_{\rm{p}}^m,{\boldsymbol{h}}_{\rm{c}}^m)} + \sum\limits_{\scriptstyle({m_1},{m_2}) \in \atop {\scriptstyle\{ (t,a),(t,v),\atop \scriptstyle(a,v)\} }} {\cos ({\boldsymbol{h}}_{\rm{p}}^{{m_1}},{\boldsymbol{h}}_{\rm{p}}^{{m_2}})} \right) \end{split}, (10) {L_{{\text{intra}}}} = L_{{\text{intra}}}^{{\text{sim}}} + L_{{\text{intra}}}^{{\text{diff}}} \text{，} (11) 其中t，a，v分别表示文本、语音和视频， {\boldsymbol{h}}_{\text{c}}^m 和 {\boldsymbol{h}}_{\text{p}}^m 分别表示模态m的共享特征和特有特征. {\boldsymbol{h}}_{\text{c}}^{{m_1}} 和 {\boldsymbol{h}}_{\text{c}}^{{m_2}} 越相似 L_{{{\rm{intra}}}}^{{\rm{sim}}} 值越小，{\boldsymbol{h}}_{\text{p}}^m和{\boldsymbol{h}}_{\text{c}}^m、{\boldsymbol{h}}_{\text{p}}^{{m_1}}和{\boldsymbol{h}}_{\text{p}}^{{m_2}}相差越大 L_{{\text{intra}}}^{{\text{diff}}} 值越小.
2）样本间协同损失函数
在不同样本间，需要保证同类别样本的特征具有相似性和不同类别样本的特征具有差异性. 借鉴对比学习的思路，在一组样本中随机选择一个样本作为锚点样本s，与s类别相同的N个样本作为正样本pos，与s类别不同的M个样本作为负样本neg. 基于CMD，构建如式（12）所示的样本间多模态协同的损失函数：
\begin{split}{L}_{\text{inter}}=&\frac{1}{6}{\displaystyle \sum _{n\in \{\text{c},\text{p}\}}{\displaystyle \sum _{m\in \{t,a,v\}}(\frac{1}{N}{\displaystyle \sum _{i=1}^{N}CM{D}_{K}(s({{\boldsymbol{h}}}_{n}^{m}),po{s}_{i}({{\boldsymbol{h}}}_{n}^{m}))}}} -\\ &\frac{1}{M}{\displaystyle \sum _{j=1}^{M}CM{D}_{K}(s({{\boldsymbol{h}}}_{n}^{m}),ne{g}_{j}({{\boldsymbol{h}}}_{n}^{m}))}),\end{split} (12) 其中c和p分别为共享和特有特征的标识，t，a，v分别表示文本、语音和视频， s({\boldsymbol{h}}_n^m) ， po{s_i}({\boldsymbol{h}}_n^m) ， ne{g_j}({\boldsymbol{h}}_n^m) 分别表示锚点样本s、正样本i、负样本j的m（文本、语音和视频）模态的 n （共享、特有）特征的表示. 正样本i和锚点样本s越相似、负样本j和锚点样本s差异性越大，损失函数 {L_{{{\text{inter}}}}} 值越小.
3）样本重构损失函数
为了保证由编码器得到的共享特征和特有特征保留了初始特征空间的相关性质，设计一个解码器 D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}}) ，输入模态m的共享特征 {\boldsymbol{h}}_{\text{c}}^m 和特有特征 {\boldsymbol{h}}_{\text{p}}^m ，希望输出能够重构该模态的初始特征. 本文使用均方误差（mean squared error, MSE）衡量重构误差，计算如式（13）所示：
{L}_{\text{recon}}=\frac{1}{3}{\displaystyle \sum _{m\in \{t,a,v\}}{\Vert {{\boldsymbol{u}}}^{m}-D（{{\boldsymbol{h}}}_{\text{c}}^{m},{{\boldsymbol{h}}}_{\text{p}}^{m}）\Vert }_{2}}+\frac{\lambda }{2}{\Vert {\theta }_{\text{d}}\Vert }_{2} \text{，} (13) 其中{{\boldsymbol{u}}^m}表示模态m的初始特征表示， D（{{\boldsymbol{h}}}_{\text{c}}^{m},{{\boldsymbol{h}}}_{\text{p}}^{m}） 为解码器的输出， {\theta _{\text{d}}} 为解码器的参数， \dfrac{\lambda }{2}{\left\| {{\theta _{\text{d}}}} \right\|_2} 为正则化项，用于防止过拟合.
2.3 多模态融合
在多模态自然语言分析任务中，文本为主要特征，语音和视频为辅助特征，并且在某些时刻语音和视频包含噪声数据，对结果的判断起到干扰作用. 因此，本文设计一种基于注意力机制和门控神经网络的自适应融合方法.
2.3.1 模态内共享特征和特有特征融合
对每个模态的共享特征和特有特征进行拼接，输入Self-attention中，捕获共享特征和特有特征的相关性，得到单模态融合特征. Self-attention是Transformer的核心组件，相比 RNN 网络结构，其最大的优点是可以实现并行计算和长距离依赖. 其计算流程如图3所示.
计算形式如式（14）所示：
SA({\boldsymbol{X}}) = {softmax} \left(\frac{{({{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}}){{({{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{X}})}^{\text{T}}}}}{{\sqrt {{d_{\text{k}}}} }}\right)\left({{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{X}}\right) \text{，} (14) 其中 {\boldsymbol{Q}} = {{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}} ， {\boldsymbol{K}} = {{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{X}} ， {\boldsymbol{V}} = {{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{X}} 分别为Query，Key，Value矩阵， {{\boldsymbol{W}}^{\text{q}}} ， {{\boldsymbol{W}}^{\text{k}}} ， {{\boldsymbol{W}}^{\text{v}}} 为需要学习的权重矩阵. {d_{\text{k}}} 为 Key的维度，除以 \sqrt {{d_{\text{k}}}} 的目的是在反向传播时梯度更加稳定.Self-attention的 Query，Key，Value来自于同一个输入序列X. 分别对文本、语音和视频的共享特征和特有特征进行拼接{\boldsymbol{X}} = Concat({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m)，输入Self-attention中得到单模态融合特征 {{\boldsymbol{h}}^t} \in {\mathbb{R}^{{d_{\text{v}}}}} ， {{\boldsymbol{h}}^a} \in {\mathbb{R}^{{d_{\text{v}}}}} ， {{\boldsymbol{h}}^v} \in {\mathbb{R}^{{d_{\text{v}}}}} ，{d_{\text{v}}}为Value的维度.
2.3.2 样本内多模态特征融合
得到单模态的融合特征后，基于Cross-attention分别计算文本与视频的关联特征 CA（t,v） 和文本与语音的关联特征 CA（t,a） . 不同于Self-attention，Cross-attention的Query，Key，Value的输入来自于2个不同的序列X和Y，X作为Query的输入，而Y作为Key和Value的输入.Cross-attention的计算流程如图4所示.
计算形式如式（15）所示：
CA({\boldsymbol{X}},{\boldsymbol{Y}}) = {softmax} \left(\frac{{({{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}}){{({{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{Y}})}^{\text{T}}}}}{{\sqrt {{d_{\text{k}}}} }}\right)({{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{Y}}) . (15) 然后，把 CA（t,v） 和 CA（t,a） 分别输入视觉门控神经单元和语音门控神经单元，得到视觉特征融合权重 {w^v} 和语音特征融合权重 {w^a} . 最后，根据权重融合视觉特征{{\boldsymbol{h}}^v}、语音特征{{\boldsymbol{h}}^a}和文本特征{{\boldsymbol{h}}^t}，得到最终的多模态融合特征h，如式（16）所示：
{\boldsymbol{h}} = {{\boldsymbol{h}}^t} + {w^v}{{\boldsymbol{h}}^v} + {w^a}{{\boldsymbol{h}}^a}. (16) 直观上理解， {w^v} 和 {w^a} 根据模态间的深层关系得到，当视觉特征和语音特征能辅助文本特征做决策时，则增加融合权重，反之则减少. 这种融合方式，一方面体现了文本特征为主、语音和视觉特征为辅的先验；另一方面，实现了自适应的融合，有效降低了语音和视频中可能存在的噪声干扰.
2.4 结果预测
把多模态融合特征h输入多层全连接神经网络中进行分类或回归任务. 分类任务使用交叉熵损失，回归任务使用均方误差损失，如式（17）所示：
{L}_{\text{task}}=\left\{\begin{aligned} &-\frac{1}{N}{\displaystyle \sum _{i=1}^{N}{y}_{i}\mathrm{ln}({\widehat{y}}_{i})}+\frac{\lambda }{2}{\Vert {\boldsymbol{W}}\Vert }_{2}\text{，}\quad 分类\text{，}\\ &-\frac{1}{N}{\displaystyle \sum _{i=1}^{N}{\Vert {y}_{i}-{\widehat{y}}_{i}\Vert }_{2}}+\frac{\lambda }{2}{\Vert {\boldsymbol{W}}\Vert }_{2}\text{，}\quad 回归\text{，}\end{aligned}\right. (17) 其中N是训练样本数量，{y_i}和{\widehat y_i}分别代表样本i的真实值和预测值，\dfrac{\lambda }{2}{\left\| {\boldsymbol{W}} \right\|_2}为L2正则化，以降低模型的过拟合程度. 为了实现多模态表示、融合和预测端到端的训练，本文对多模态表示学习损失 {L_{{\text{intra}}}} 、 {L_{{\text{inter}}}} 、{L_{{\text{recon}}}}和预测结果损失{L_{{\text{task}}}}进行联合优化，最终优化目标如式（18）所示，其中\alpha ，\beta ，\gamma 是权重.
L = {L_{{\text{task}}}} + \frac{1}{N}\sum\limits_{i = 1}^N {(\alpha L_{{\text{intra}}}^i + \beta L_{{\text{inter}}}^i + \gamma L_{{\text{recon}}}^i)} . (18) 3. 实验与分析
3.1 实验设置
3.1.1 实验数据
本文选取多模态意图识别数据集MIntRec
2 和多模态情感数据集CMU-MOSI，CMU-MOSEI3 作为实验数据，这3个数据集都包含文本、语音和视频3种模态.MIntRec数据集由清华大学智能技术与系统国家重点实验室提供，原始数据来源于美剧“Superstore”，包含2 224条实例.MIntRec数据集包含“表达情绪或态度”和“实现目标”2个粗粒度类别. “表达情绪或态度”细分为11个意图类别：Complain，Praise，Apologize，Thank，Criticize，Care，Agree，Taunt，Flaunt，Oppose，Joke. “实现目标”细分为9个意图类别：Inform，Advise，Arrange，Introduce，Comfort，Leave，Prevent，Greet，Ask for help. CMU-MOSI和CMU-MOSEI数据集由卡梅隆大学提供，原始数据集来源于YouTube，包含强烈积极（+3）、积极（+2）、弱积极（+1）、中性（0）、弱消极（–1）、消极（–2）、强烈消极（–3）这7种情感类别. CMU-MOSI数据集收录了89位YouTube用户的2 199条视频片段，CMU-MOSEI数据集是CMU-MOSI的扩展版，收录了1 000位YouTube用户的3 228条视频，包括250个主题，共23 453个句子. 训练集、验证集和测试集的划分结果如表1所示.表 1 数据集划分结果Table 1. Division Results of Datasets数据集 训练集 验证集 测试集 MIntRec 1344 455 455 CMU-MOSI 1319 440 440 CMU-MOSEI 16265 1869 4643 3.1.2 评价指标
在MIntRec数据集上执行20-class分类任务，利用准确率（accuracy，Acc）、宏平均精确度（macro precision，MP）、宏平均召回率（macro recall，MR）和宏平均F1-score（macro F1-score，MF1）作为算法性能评价指标. 在CMU-MOSI和CMU-MOSEI数据集上执行回归和分类任务，回归任务利用平均绝对误差（mean absolute error，MAE）和皮尔逊相关系数（Pearson correlation coefficient，PCC）作为评价指标，分类任务利用二分类准确率（Acc-2）、F1-score和七分类准确率（Acc-7）作为评价指标.Acc，MP，MR，MF1，PCC，F1-score值越大越好，MAE值越低越好. 在以往的研究中，CMU-MOSI和CMU-MOSEI数据集根据情感分数有（负，非负）和（负，正）2种二分类做法.
3.1.3 实现细节
在初始特征提取中，分别基于预训练的BERT-base-uncased，Wav2vec 2.0，Faster R-CNN分别提取文本、语音和视觉特征. 在多模态表示中，使用层数为1、多头个数为1的Transformer分别对文本、语音和视觉特征进行预处理，编码器{E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})， {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t) ， {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v) ， {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a) 和解码器 D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}}) 都采用单层全连接神经网络. 在多模态融合中，Self-attention和Cross-attention采用的层数和多头个数都为1.在结果预测中，采用2层的全连接神经网络. 整体来说，考虑到实验数据集相对较小，没有采用较为深层的网络架构. 其他超参数如表2所示. 为了减少式（18）中超参数\alpha ，\beta ，\gamma 的搜索时间，本文采用了一种次优网格搜索方法，具体内容见3.2.1节.
表 2 超参数设置Table 2. Hyperparameters Setting参数类型 参数 参数值 模型参数 文本的最大序列长度{l_t} 30 语音的最大序列长度 {l_a} 230 视频的最大序列长度{l_v} 480 文本特征维度{F_t} 768 语音特征维度{F_a} 256 视觉特征维度{F_v} 768 {L_{{\text{intra}}}}的权重α 0.7 {L_{{\text{inter}}}}的权重β 0.7 {L_{{\text{recon}}}}的权重γ 0.6 中心矩差异CMDK 的阶数K 5 全连接神经网络的隐藏层大小 256 训练参数 学习率 3E–5 正则化参数 1E–6 最大训练轮次 20 停止训练的等待次数 6 批量训练的batch size 8 Dropout比例 0.1 优化器Optimizer Adam 3.2 结果和分析
3.2.1 联合优化的超参数分析
{L_{{\text{intra}}}}， {L_{{\text{inter}}}} ，{L_{{\text{recon}}}}的权重值\alpha ，\beta ，\gamma 是重要的超参数. 我们设定这些参数的搜索空间为{0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0}. 然而，我们没有对\alpha ，\beta ，\gamma 同时建立网格，而是先固定其中2个参数，只对其中1个参数进行搜索，虽然这种网格搜索方式可能得不到最佳的参数组合，但可以极大地减少搜索的时间消耗. 为了提升模型的泛化能力，我们并没有针对不同的数据集选择不同的参数组合. 相反，我们选择了在MIntRec，CMU-MOSI，CMU-MOSEI这3个数据上平均准确率最高的参数组合. 这样的做法旨在确保模型在不同数据集上都能取得较好的性能，而不仅仅局限于某个特定数据集. 实验结果如图5所示.
首先，我们将\beta 和\gamma 固定为0.5，\alpha =0.7时模型表现最佳；然后，我们将\alpha 固定为0.7，\gamma 固定为0.5，\beta =0.7时模型表现最佳；最后，我们将\alpha 和\beta 固定为0.7，\gamma =0.6时模型的性能最佳. 所以，最终选择\alpha =0.7，\beta =0.7，\gamma =0.6.从图5看出，模型对重构误差{L_{{\text{recon}}}}的权重\gamma 更加敏感.
3.2.2 方法对比分析
1）多模态情感分析任务的实验对比
为了验证本文提出的CoAdMu方法的有效性，选择以下多模态学习方法作为基线，对比其在多模态情感分析任务中的性能.
①TFN[15]. 一种基于张量的多模态融合方法，对提取的语言特征、视觉特征和语音特征做外积，得到融合的向量.
②LMF[16]. 通过将张量和权重并行分解，利用模态特定的低阶因子来执行多模态融合，避免计算高维的张量.
③MFM[7]. 通过模态分解将多模态表征分解为多模态判别因子和特定模态生成因子，多模态判别因子在所有模态之间共享，特定模态生成因子对于每个模态都是唯一的.
④RMFN[22]. 一种基于循环多阶段融合网络的多模态融合方法，将融合分解成前后关联的多个阶段.
⑤CIA[31]. 采用自编码器学习模态之间的交互关系，并利用上下文感知注意力学习相邻话语间的关系.
⑥MCTN[8]. 通过Seq2Seq模型实现不同模态之间的来回转换，得到多模态间的联合表示.
⑦RAVEN[9]. 通过视觉特征和语音特征动态调整文本中词嵌入，实现文本和非文本特征的联合表示.
⑧MulT[23]. 利用跨模态 Transformer 将源模态转换为目标模态来学习多模态表示.
⑨ICCN[6]. 使用语音-文本和视频-文本的特征外积和深度典型相关分析来生成多模态特征表示.
⑩MISA[3]. 将每个模态投射到2个不同的子空间中，分别学习共享特征和特有特征，但该方法只考虑了单个样本内的多模态协同.
⑪MAG-BERT[25]. 通过多模态适应门，允许 BERT 在微调期间接受多模态非语言数据，使得语言模型BERT有效利用了语音和视觉模态的信息.
⑫QMF[32]. 利用量子理论中的叠加和纠缠来表述单模态和跨模态的相互作用，提高多模态融合的可解释性.
⑬HyCon[10]. 通过联合模态内对比学习、模态间对比学习和半对比学习实现多模态表示.
⑭EMFRM[11]. 在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束，但该方法也只考虑了单个样本内的多模态协同.
表3和表4分别是在多模态情感数据集CMU-MOSI和CMU-MOSEI上的对比结果. 大部分基于表示学习的多模态方法的性能优于基于张量融合的多模态方法，因为基于张量融合的方法计算维度呈指数级增长，导致计算效率差，需要大量的训练数据才能学到模态间的交互. 表示学习方法一般基于对多模态数据的先验知识，例如多模态数据的一致性和互补性，构建表示学习模型，降低了学习的复杂度. 在表示学习方法中，基于协同表示的多模态方法的性能优于大部分基于联合表示的方法，因为协同表示方法把多模态信息映射到不同的特征空间，相比于映射到同一个空间的联合表示更好地保留了模态的特有特征. 联合表示方法MAG-BERT能获得相对较好的性能，主要是因为其借助了预训练语言模型BERT强大的语义学习能力，巧妙地把语音和视觉信息集成到了BERT之中.QMF方法利用量子理论中的叠加和纠缠来表述单模态和跨模态的交互，虽然方法性能没有得到很大的提升，但提高了多模态融合的可解释性. 本文提出的CoAdMu方法在CMU-MOSI和CMU-MOSEI这2个数据集上，比最先进的基线方法在所有的评价指标都有一定程度的提升，证明了本文方法的有效性.
表 3 在CMU-MOSI数据集上与基线的对比Table 3. Comparison with Baselines on CMU-MOSI Dataset方法 MAE PCC Acc-2/% F1-score/% Acc-7/% TFN 0.970 0.633 73.9/– 73.4/– 32.1 LMF 0.912 0.668 76.4/– 75.7/– 32.8 MFM 0.951 0.662 78.1/– 78.1/– 36.2 RMFN 0.922 0.681 78.4/– 78.0/– 38.3 CIA 0.914 0.689 79.9/– 79.5/– 38.9 MCTN 0.909 0.676 79.3/– 79.1/– 35.6 RAVEN 0.915 0.691 78.0/– 76.6/– 33.2 MulT 0.871 0.698 –/83.0 –/82.8 40.0 ICCN 0.862 0.714 –/83.0 –/83.0 39.0 MISA 0.783 0.761 81.8/83.4 81.7/83.6 42.3 MAG-BERT 0.790 0.769 82.2/83.5 82.6/83.5 42.9 QMF 0.915 0.696 –/79.7 –/79.6 33.5 HyCon 0.713 0.790 –/85.2 –/85.1 46.6 EMRFM 0.722 0.785 –/84.7 –/84.8 46.1 CoAdMu（本文） 0.711 0.798 84.1/86.1 84.0/86.1 47.2 △SOTA ↓0.002 ↑0.008 ↑1.9/↑0.9 ↑1.4/↑1.0 ↑0.6 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值. 表 4 在CMU-MOSEI数据集上与基线的对比Table 4. Comparison with Baselines on CMU-MOSEI Dataset方法 MAE PCC Acc-2/% F1-score/% Acc-7/% TFN 0.610 0.671 79.4/– 79.7/– 49.8 LMF 0.608 0.677 80.6/– 81.0/– 50.0 MFM 0.602 0.692 81.1/– 81.6/– 50.7 RMFN 0.604 0.685 80.9/– 81.2/– 50.5 CIA 0.680 0.590 80.4/– 78.2/– 50.1 MCTN 0.609 0.670 79.8/– 80.6/– 49.6 RAVEN 0.614 0.662 79.1/– 79.5/– 50.0 MulT 0.580 0.703 –/82.5 –/82.3 51.8 ICCN 0.565 0.713 –/84.2 –/84.2 51.6 MISA 0.555 0.756 83.6/85.5 83.8/85.3 52.2 MAG-BERT 0.602 0.778 83.1/85.0 83.2/85.0 51.9 QMF 0.640 0.658 –/80.7 –/79.8 47.9 HyCon 0.601 0.776 –/85.4 –/85.6 52.8 EMRFM 0.600 0.775 –/85.2 –/85.3 52.3 CoAdMu（本文） 0.550 0.791 84.2/86.5 84.6/86.7 53.6 △SOTA ↓0.005 ↑0.013 ↑0.6/↑1.0 ↑0.8/↑1.1 ↑0.8 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值. 2）多模态意图识别任务的实验对比
为了验证CoAdMu方法在复杂多模态场景下的学习能力，本文在真实世界多模态意图识别的基准数据集MIntRec上，实施进一步的实验对比. 一方面，MIntRec原始数据来源于真实世界的影视片段，具有丰富的人物角色和故事情节，以及复杂的场景画面；另一方面，MIntRec包含了更为细粒度的20个意图类别，囊括了表达情绪和态度、实现目标. 本文挑选MulT，MISA，MAG-BERT，HyCon这4个先进的多模态学习方法作为基线. 整体实验结果对比如表5所示，每个类别的F1-score如表6和表7所示.
表 5 在MIntRec数据集上与基线的对比Table 5. Comparison with Baselines on MIntRec Dataset% 方法 Acc MP MR MF1 MulT 71.24 67.53 68.15 67.58 MISA 71.91 69.98 68.91 68.92 MAG-BERT 71.01 68.15 65.83 66.09 HyCon 71.33 68.93 65.21 66.37 CoAdMu（本文） 73.26 72.45 71.26 71.14 △SOTA ↑1.35 ↑2.47 ↑2.35 ↑2.22 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升. 黑体数值表示最优值. 表 6 “表达情绪或态度”中每个细粒度意图类别的F1-scoreTable 6. F1-score for Each Fine-grained Intent Category in “Express Emotions and Attitudes”% 方法 Complain Praise Apologize Thank Criticize Care Agree Taunt Flaunt Joke Oppose MulT 67.26 87.36 98.11 95.83 48.00 86.49 91.67 9.52 36.36 50.00 35.29 MISA 62.14 86.67 98.11 98.04 47.06 81.82 100.00 25.00 50.00 37.50 27.27 MAG-BERT 66.09 90.24 98.18 98.04 40.00 85.71 95.65 9.09 15.38 40.00 40.00 HyCon 66.67 93.83 98.11 98.11 48.89 94.74 95.65 10.00 23.53 28.57 38.10 CoAdMu（本文） 64.08 90.24 96.30 94.34 60.87 91.89 96.00 28.57 44.44 40.00 34.78 注：黑体数值表示最优值. 表 7 “实现目标”中每个细粒度意图类别的F1-scoreTable 7. F1-score for Each Fine-grained Intent Category in “Achieve Goals”% 方法 Comfort Inform Advise Arrange Introduce Leave Prevent Greet Ask for help MulT 68.57 69.72 72.00 64.00 60.00 70.27 80.00 91.67 69.57 MISA 78.79 69.57 70.59 65.00 72.00 75.00 85.71 90.91 57.14 MAG-BERT 70.00 70.23 60.47 62.22 61.90 75.00 80.00 90.91 72.73 HyCon 74.29 65.67 72.73 62.50 59.46 68.97 69.23 85.71 72.73 CoAdMu（本文） 83.33 69.64 77.19 57.78 71.79 83.87 82.76 85.71 70.59 注：黑体数值表示最优值. 从表5中可以发现，CoAdMu方法在所有的评价指标上获得了最好的效果，比最先进的基线方法在Acc，MP，MR，MF1上分别提高了1.35个百分点、2.47个百分点、2.35个百分点、2.22个百分点，提升效果比在多模态情感分析任务上更加明显. 一方面，MIntRec数据集在真实场景下采集，可能存在不同级别的噪声；另一方面，MIntRec数据集中的每种模态在不同时刻可能表现出不同的作用类型. 例如，在表达Agree和Thank这2种意图时的文本具有相对固定的表达方式，语音和视觉特征的作用并不明显. 然而，在表达Taunt和Joke意图时，语音和视频中的语气和表情是很好的补充特征. 基线方法基本上都是“重表示，轻融合”，在表示学习上设计了复杂的方式，而在特征融合上采用简单的拼接方式，没有突出不同特征的作用大小，导致模型对噪声数据敏感.CoAdMu采用协同表示和自适应融合的方式，不仅很好地学习了多模态表示，而且可以根据不同的类别类型、作用大小自动调整特征的融合权重，有效降低了噪声数据的干扰，所以获得了相对较好的效果.
从表6和表7发现，同一个方法在不同的意图分类上具有不同的性能，没有哪个方法能够在所有的类别上获得最好的性能.MulT在Complain，Joke，Greet这3个类别上获得了最高评分；MISA在Agree，Flaunt，Arrange，Introduce，Prevent这5个类别上获得了最高评分；MAG-BERT在Apologize，Oppose，Inform，Ask for help这4个类别上获得了最高评分；
HyCon在Praise，Thank，Care，Advise这4个类别上获得了最高评分；CoAdMu在Criticize，Taunt，Comfort，Leave这4个类别上获得了最高评分. 虽然CoAdMu获得的最高评分总个数不是最多，但平均的F1-score值最大. 通过最高分的分布发现，HyCon擅长于情感表达类的意图识别，MISA擅长于表达态度和实现目标类的意图识别，MulT，MAG-BERT，CoAdMu在不同的任务上表现比较均衡. 所有方法在大部分意图类别上都能获得较好的分类效果，但在Taunt，Flaunt，Joke，Oppose这4个类别上的分类效果不佳，因为这些意图的识别需要结合语言、语气、表情、动作和情景等做深层次的推理，这也说明CoAdMu和基线方法在多模态深层推理任务上还存在不足.
3.2.3 消融实验分析
为了进一步分析不同模块对CoAdMu的贡献，我们设计了11组消融实验方法. 方法①～③是对不同模态的消融；方法④～⑥是对多模态表示模块中相关损失函数的消融；方法⑦去除多模态表示模块，直接把{{\boldsymbol{u}}^t}，{{\boldsymbol{u}}^a}，{{\boldsymbol{u}}^v}输入多模态融合层；方法⑧采用分段训练方式，首先根据损失函数L = {L_{{\text{intra}}}} + {L_{{\text{inter}}}} + {L_{{\text{recon}}}}对多模态表示模块进行预训练，然后，再根据损失函数{L_{{\text{task}}}}对多模态融合模块和结果预测模块进行训练；方法⑨⑩分别去除多模态特征融合中的视觉门控神经单元和语音门控神经单元；方法⑪去除整个多模态融合模块，采用简单相加的方式进行融合. 实验结果如表8所示.
表 8 消融实验结果Table 8. Ablation Experiment Results方法 CMU-MOSI CMU-MOSEI MIntRec MAE Acc-7/% MAE Acc-7/% Acc/% MF1/% CoAdMu（本文） 0.711 47.2 0.550 53.6 73.3 71.1 ①（–）Text 1.372 22.6 0.790 24.6 29.9 22.8 ②（–）Video 0.786 44.7 0.561 50.9 71.5 67.4 ③（–）Audio 0.730 46.1 0.557 52.0 73.1 70.8 ④（–）Lintra 0.791 43.9 0.568 49.4 71.4 68.9 ⑤（–）Linter 0.734 45.8 0.559 51.6 72.6 70.5 ⑥（–）Lrecon 0.798 43.2 0.570 49.1 69.5 67.6 ⑦（–）MultRe 0.803 42.6 0.575 48.4 70.6 68.5 ⑧（*）MultRe 0.784 44.9 0.562 50.9 71.6 69.4 ⑨（–）Gate_V 0.805 42.3 0.572 48.7 69.6 66.7 ⑩（–）Gate_A 0.728 46.6 0.555 52.5 72.6 70.1 ⑪（–）MultFu 0.807 42.0 0.578 48.0 69.1 66.3 通过方法①～③的实验结果发现，去除文本对模型性能的影响最大，一方面的原因是文本相比于语音和视频包含了更多的信息量；另一方面得益于大规模预训练语言模型的应用，提取的文本特征的质量远高于语音和视觉特征. 去除视频比去除语音对方法的性能影响更大，这是因为相比于语音，视觉特征和文本特征的冗余性相对较小，可以更好地补充文本特征.
通过方法④～⑥的实验结果发现，去除任何一个多模态表示学习的损失函数都会降低模型的性能，这是因为样本内的协同损失函数{L_{{\text{intra}}}}保证了共享特征的相似性和特有特征的差异性；样本间的协同损失函数{L_{{\text{inter}}}}保证了同类别样本的特征具有相似性，不同类别样本的特征具有差异性；样本重构损失函数{L_{{\text{recon}}}}使得共享特征和特有特征保留了初始特征空间的相关性质，避免学习到不相干的特征表示. 通过方法⑦的实验结果发现，如果去除多模态表示学习模块，会对CoAdMu的性能造成较大的影响. 这是因为多模态数据存在互补性和一致性，对其共享特征和特有特征分开学习，能提供更加全面的视图. 通过方法⑧的实验结果发现，采用分段训练的方式会降低CoAdMu的性能，因为相比端到端的训练方式，分段训练缺乏灵活性和领域适配能力.
通过方法⑨～⑪的实验结果发现，去除多模态融合中的视觉门控神经网络、语音门控神经网络或者整个融合模块都会影响CoAdMu的性能，因为语音和视频可能在不同时刻表现出不同的作用类型和不同级别的噪声，门控神经网络可以根据特征对预测结果的作用大小自动分配融合权重，能有效降低噪声的干扰. 相比于语音门控神经网络，视觉门控神经网络起到了更大的作用，这是因为视觉特征相比于语音特征对预测结果起到了更大的作用，方法②③也印证了这一点. 从总体实验结果看，本文设计的每个模块都发挥着各自的作用，去除任何一个模块都会影响方法的性能，证明了CoAdMu设计的合理性.
3.2.4 误差分析
为了对预测结果的误差进行详细分析，本文对多模态意图识别的测试结果混淆矩阵进行可视化，如图6所示. 横坐标为预测标签，纵坐标为真实标签，颜色深浅代表预测概率的大小，对角线位置的亮度越高，说明CoAdMu在该类别的精准率越高. 总体上，CoAdMu在大部分意图类别上获得了较高的精准率，例如，在Praise，Apologize，Thank，Agree，Care等类别上获得了90%以上的精准率. 然而，在Taunt，Joke，Oppose这3个类别上表现不佳，因为这些意图需要结合语言、语气、表情、动作和情景等做深层次的推理，有时候连人也无法准确地判断. 从图6也发现，CoAdMu容易把Complain误判成Criticize或Oppose，Criticize误判成 Taunt，Taunt误判成Joke，Joke误判成 Flaunt，Inform误判成 Arrange.这也是容易理解的，因为这些意图类别具有很高的相似性，有时人也会误判. 虽然我们通过样本间的协同，保证同类别样本的特征具有相似性，不同类样本的特征具有差异性，但这些类别的语义十分相似，还是不能很好地将其区分开.
3.2.5 融合权重分析
为了进一步验证本文提出的多模态特征融合方法的有效性，对MIntRec测试集上每个类别的语音和视觉特征的融合权重计算平均值，结果如表9所示. 从表9中可以看出，几乎所有类别的视觉特征都获得了很高的权重值，因为视觉特征可以很好地辅助文本特征，在消融实验的方法②中也印证了这一点. 而对于语音特征，不同的类别具有不同的融合权重值，例如Apologize，Complain，Criticize，Praise，Thank获得了较高的权重值，而Advise，Arrange，Ask for help，Care的权重值比较低. 这是因为相比于后者，前者具有明显的语气特征，能为意图的判断提供帮助. 从这些结果中可以看出，CoAdMu实现了自适应的多模态特征融合，当特征能为决策提供有效信息时则增加融合权重，反之则减少.
表 9 不同意图类别下的语音和视觉特征融合权重Table 9. Speech and Visual Feature Fusion Weights under Different Intent Categories类别 语音特征融合权重 视觉特征融合权重 Advise 0.17 0.97 Agree 0.40 0.98 Apologize 0.93 0.98 Arrange 0.24 0.99 Ask for help 0.15 0.99 Care 0.24 0.97 Comfort 0.80 0.99 Complain 0.92 0.94 Criticize 0.93 0.98 Flaunt 0.88 0.92 Greet 0.47 0.97 Inform 0.73 0.95 Introduce 0.72 0.96 Joke 0.85 0.98 Leave 0.78 0.96 Oppose 0.50 0.99 Praise 0.96 0.68 Prevent 0.52 0.98 Taunt 0.87 0.96 Thank 0.98 0.92 3.2.6 可视化特征分布
本文从MIntRec测试集中挑选Complain和Inform这2类样本，利用PCA对样本的初始模态特征、共享和特有特征进行降维并可视化，如图7所示.
图7（a）是经过Transformer预处理后的文本初始特征{{\boldsymbol{u}}^t}、语音初始特征{{\boldsymbol{u}}^a}和视频初始特征{{\boldsymbol{u}}^v}的分布；图7（b）是只考虑样本内多模态协同的共享特征{\boldsymbol{h}}_{\text{c}}^t，{\boldsymbol{h}}_{\text{c}}^a，{\boldsymbol{h}}_{\text{c}}^v和特有特征{\boldsymbol{h}}_{\text{p}}^t，{\boldsymbol{h}}_{\text{p}}^a，{\boldsymbol{h}}_{\text{p}}^v的分布；图7（c）是同时考虑样本内和样本间多模态协同的共享特征{\boldsymbol{h}}_{\text{c}}^t，{\boldsymbol{h}}_{\text{c}}^a，{\boldsymbol{h}}_{\text{c}}^v和特有特征{\boldsymbol{h}}_{\text{p}}^t，{\boldsymbol{h}}_{\text{p}}^a，{\boldsymbol{h}}_{\text{p}}^v的分布；图7（d）（e）分别是对图7（c）（b）中视频特有特征{\boldsymbol{h}}_{\text{p}}^v的放大视图.
从图7（a）中可以看出，由于文本、语音和视频的异构性，它们的初始特征空间的分布具有很大的差异性. 从图7（b）（e）中可以看出，只考虑样本内多模态协同，所有样本的共享特征的分布具有相似性，特有特征具有差异性，但不同类别样本的特征没有很好地被区分. 从图7（c）（d）中可以看出，同时考虑样本内和样本间的多模态协同，不仅保证了共享特征的相似性和特有特征的差异性，而且实现了不同类别样本的特征具有一定的差异性.
4. 总 结
多模态表示和融合是多模态机器学习的2个关键任务，针对多模态协同表示时没有考虑样本间协同和多模态融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 通过构建模态共用和模态特定编码器，基于样本内和样本间的多模态协同约束，学习模态的共享特征和特有特征. 通过注意力机制和门控神经网络实现多模态特征的自适应融合，有效降低了噪声数据的干扰. 在多模态意图识别和多模态情感分析任务上的实验结果表明，本文方法在多个评价指标上优于基线方法，大量的消融实验分析、误差分析、融合权重分析和特征可视化分析也证明了本文方法的有效性. 然而，在实验中也发现本文方法和目前已有方法在多模态联合的深层次推理任务上还有很大的提升空间，例如讽刺和暗喻识别任务. 在下一步的研究计划中，将设计融合知识的多模态学习方法，提升模型在深层次推理任务上的性能.
作者贡献声明：黄学坚负责研究方案的构建，并完成实验和撰写论文；马廷淮提出了算法思路和实验方案；王根生提出了指导意见并修改论文.
-
表 1 数据集的基本信息
Table 1 Basic Information of Datasets
数据集 对象数 特征数 决策类 数据类型 Ann （Annealing） 798 38 5 混杂 Arrh （Arrhythmia） 452 279 13 混杂 Autos 205 25 6 混杂 Credit （Credit approval） 690 15 2 混杂 Ecoli 336 7 8 数值 Glass 214 10 6 数值 Heart 270 13 2 混杂 Move （Movement libras） 360 90 15 数值 Park （Parkinsons） 195 22 2 数值 Sick 3772 29 2 混杂 Spam （Spambase） 4601 57 2 数值 Wave （Waveform） 5000 21 3 数值 WDBC （Wisconsin Diagnostic Breast Cancer） 569 31 2 数值 Wine 178 13 3 数值 WPBC （Wisconsin Prognostic Breast Cancer） 198 34 2 数值 
下载: 导出CSV
表 2 不同算法所选特征的平均数
Table 2 Average Number of Features Selected by Different Algorithms
数据集 原始特征数 FIE FRFS FDMAR FFRS DNCFS KFCMI Ann 38 15 1 17 11.7 15.7 11.7 Arrh 279 40 1 142 36.3 122.7 125.3 Autos 25 17 14 20 4.0 10.7 9.7 Credit 15 14 14 14 8.0 8.7 7.3 Ecoli 7 7 7 7 7.0 5.3 6.0 Glass 10 10 9 10 8.7 2.0 3.7 Heart 13 13 11 13 6.0 9.7 7.0 Move 90 69 39 72 66.3 71.7 64.3 Park 22 14 13 20 13.7 4.7 8.0 Sick 29 26 1 26 16.0 11.7 10.0 Spam 57 53 56 57 55.0 52.0 48.7 Wave 21 21 21 21 21.0 18.3 19.3 WDBC 31 22 25 31 22.7 13.0 5.7 Wine 13 13 11 13 11.7 5.0 5.0 WPBC 34 28 20 34 28.3 7.0 6.3 平均值 45.6 24.1 16.2 33.1 21.1 23.9 22.5 注：黑体数值表示没有去除任何冗余特征.
下载: 导出CSV
表 3 基于CART算法的不同算法分类准确率
Table 3 Classification Accuracy of Different Algorithms Based on CART Algorithm
% 数据集 原始数据 FIE FRFS FDMAR FFRS DNCFS KFCMI Ann 92.08±0.33 92.19±0.41 76.19±0.00 92.23±0.51 91.25±0.60 92.63±0.50 92.42±0.50 Arrh 65.15±1.56 64.98±0.79 54.20±0.00 64.31±1.77 53.34±0.93 66.02±1.27 66.06±1.82 Autos 74.00±3.98 75.76±1.83 75.32±1.78 75.90±2.63 51.02±2.58 76.54±1.74 77.90±1.90 Credit 80.43±0.80 81.25±1.25 81.30±1.05 81.14±0.86 69.93±1.36 85.36±0.66 85.43±0.90 Ecoli 80.68±1.53 81.88±1.09 80.45±1.68 80.51±1.52 81.88±1.86 81.73±1.17 81.88±1.36 Glass 98.50±0.43 98.69±0.37 98.50±0.30 98.55±0.41 98.32±0.33 98.83±0.33 98.88±0.39 Heart 76.89±2.38 76.22±1.65 75.26±1.59 76.26±1.68 82.44±1.04 79.11±2.30 81.07±1.12 Move 66.11±2.90 66.69±2.00 67.17±2.62 65.22±1.41 64.19±1.60 66.67±2.36 67.64±2.44 Park 85.59±1.67 86.72±1.99 86.82±2.20 86.10±2.20 88.31±1.51 87.33±1.64 87.79±1.41 Sick 98.83±0.12 98.49±0.11 93.88±0.00 98.79±0.10 98.34±0.08 98.86±0.08 98.87±0.08 Spam 91.80±0.36 91.62±0.49 91.71±0.18 91.83±0.27 91.98±0.27 91.92±0.28 92.16±0.28 Wave 75.23±0.45 75.36±0.38 75.27±0.48 75.11±0.62 75.63±0.49 75.06±0.60 75.60±0.37 WDBC 92.46±0.76 93.06±0.70 92.86±0.65 92.02±0.53 93.30±0.74 93.90±0.79 94.22±0.63 Wine 89.61±1.57 90.51±1.11 91.57±1.91 89.66±1.48 90.90±1.09 93.03±1.22 94.04±0.66 WPBC 66.21±3.25 67.63±2.83 67.58±1.87 68.79±2.18 69.55±2.43 73.08±3.88 73.69±2.23 平均值 82.24±1.47 82.74±1.13 80.54±1.09 82.43±1.21 80..03±1.13 84.00±1.25 84.51±1.07 注：黑体值为最高的分类准确率.
下载: 导出CSV
表 4 基于NB算法的不同算法分类准确率
Table 4 Classification Accuracy of Different Algorithms Based on NB Algorithm
% 数据集 原始数据 FIE FRFS FDMAR FFRS DNCFS KFCMI Ann 75.98±0.26 76.02±0.41 76.19±0.00 76.10±0.12 76.29±0.23 76.22±0.10 76.19±0.31 Arrh 62.83±0.59 66.55±0.93 54.20±0.00 60.69±0.76 62.43±0.62 66.97±0.80 68.14±0.42 Autos 60.20±2.08 65.32±1.67 68.34±0.96 63.22±1.32 43.61±1.28 68.73±1.83 70.83±1.07 Credit 66.74±0.39 67.73±0.46 67.56±0.45 67.65±0.69 72.14±0.34 84.86±0.24 86.26±0.34 Ecoli 84.46±0.61 84.38±0.86 84.85±0.45 84.26±0.68 85.00±0.68 84.76±0.44 84.91±0.37 Glass 90.70±0.87 90.47±0.55 92.20±1.15 90.61±0.64 91.54±0.60 98.55±0.46 98.41±0.45 Heart 79.63±0.78 80.04±0.54 79.63±1.00 79.70±0.46 82.41±0.53 82.22±0.43 82.30±0.55 Move 68.03±1.47 67.25±1.12 64.50±1.29 67.17±1.60 66.58±1.14 68.17±1.23 68.42±1.78 Park 74.56±0.65 78.87±0.90 81.38±0.87 74.41±0.61 82.51±1.20 85.74±0.83 85.95±0.36 Sick 93.75±0.03 93.72±0.05 93.88±0.00 93.71±0.04 93.85±0.04 96.70±0.06 96.78±0.04 Spam 54.21±0.12 53.81±0.13 54.33±0.16 54.36±0.19 54.33±0.17 54.17±0.22 56.04±0.17 Wave 80.71±0.10 80.68±0.08 80.73±0.06 80.69±0.06 80.76±0.06 81.50±0.08 81.57±0.09 WDBC 93.71±0.55 94.07±0.17 92.63±0.32 93.74±0.37 92.29±0.31 95.13±0.22 96.80±0.22 Wine 97.98±0.60 97.70±0.41 97.87±0.24 97.47±0.48 96.74±0.36 98.03±0.30 98.03±0.30 WPBC 65.71±2.29 67.22±1.36 68.18±2.01 66.06±2.10 67.88±1.85 78.99±0.90 78.99±1.07 平均值 76.61±0.76 77.59±0.64 77.10±0.60 76.65±0.67 76.56±0.63 81.38±0.54 81.97±0.50 注：黑体值为最高的分类准确率.
下载: 导出CSV
表 5 基于kNN算法的不同算法分类准确率
Table 5 Classification Accuracy of Different Algorithms Based on kNN Algorithm
% 数据集 原始数据 FIE FRFS FDMAR FFRS DNCFS KFCMI Ann 90.53±0.62 90.78±0.64 76.19±0.00 90.71±0.46 90.24±0.52 91.29±0.36 90.79±0.65 Arrh 54.29±0.66 54.60±0.88 0.66±0.00 52.94±0.84 51.35±0.78 55.44±0.84 56.66±0.65 Autos 74.20±0.90 70.83±1.56 75.37±1.08 72.98±1.15 51.80±1.07 82.93±0.92 82.49±1.44 Credit 80.51±0.54 80.26±0.94 80.67±0.57 80.51±0.49 68.23±0.78 81.35±0.40 81.33±0.67 Ecoli 80.60±0.48 80.89±0.86 80.89±0.52 81.16±0.44 81.28±0.89 80.95±0.61 81.19±0.50 Glass 90.89±0.67 91.31±0.59 91.64±0.60 91.26±0.99 91.12±0.66 98.27±0.44 98.50±0.48 Heart 75.41±0.84 75.74±1.25 78.96±0.94 75.89±0.83 74.04±0.85 79.59±0.79 80.26±1.00 Move 85.97±0.82 86.25±0.77 84.92±0.94 85.97±0.53 86.72±0.58 87.08±0.79 87.00±0.67 Park 95.74±0.59 95.28±0.68 95.08±0.60 95.74±0.73 96.46±0.38 96.87±0.78 97.03±0.47 Sick 96.17±0.08 96.43±0.12 93.88±0.00 96.19±0.14 96.28±0.14 96.69±0.14 96.99±0.12 Spam 90.93±0.09 90.80±0.19 90.84±0.25 90.90±0.09 90.99±0.16 90.69±0.23 91.04±0.14 Wave 77.29±0.24 77.22±0.11 77.34±0.20 77.25±0.20 77.47±0.27 77.12±0.28 77.50±0.17 WDBC 95.40±0.41 95.99±0.26 95.45±0.23 95.76±0.46 95.85±0.24 95.62±0.31 95.98±0.17 Wine 95.11±0.46 94.94±0.00 95.84±0.39 95.28±0.39 96.69±0.32 98.65±0.47 98.88±0.26 WPBC 69.24±0.97 71.52±1.70 73.13±1.54 70.20±1.47 72.88±1.31 74.85±0.92 75.10±1.22 平均值 83.48±0.56 83.52±0.70 79.39±0.52 83.52±0.61 81.43±0.60 85.83±0.55 86.05±0.58 注：黑体值为最高的分类准确率.
下载: 导出CSV
-
[1] Liang Jiye, Wang Feng, Dang Chuangyin, et al. A group incremental approach to feature selection applying rough set technique[J]. IEEE Transactions on Knowledge and Data Engineering, 2012, 26(2): 294−308
[2] An Shuang, Hu Qinghua, Pedrycz W, et al. Data-distribution-aware fuzzy rough set model and its application to robust classification[J]. IEEE Transactions on Cybernetics, 2015, 46(12): 3073−3085
[3] Dai Jianhua, Chen Jiaolong. Feature selection via normative fuzzy information weight with application in biological data classification[J]. Applied Soft Computing, 2020, 92(7): 106299
[4] Sun Lin, Wang Lanying, Ding Weiping, et al. Feature selection using fuzzy neighborhood entropy-based uncertainty measures for fuzzy neighborhood multigranulation rough sets[J]. IEEE Transactions on Fuzzy Systems, 2021, 29(1): 19−33 doi: 10.1109/TFUZZ.2020.2989098
[5] Wang Chongzhong, Huang Yang, Ding Weiping, et al. Attribute reduction with fuzzy rough self-information measures[J]. Information Sciences, 2021, 49(5): 68−86
[6] 姚晟,徐风,赵鹏,等. 基于自适应邻域空间粗糙集模型的直觉模糊熵特征选择[J]. 计算机研究与发展,2018,55(4):802−814 doi: 10.7544/issn1000-1239.2018.20160919 Yao Sheng, Xu Feng, Zhao Peng, et al. Intuitionistic fuzzy entropy Feature selection algorithm based on adaptive neighborhood space rough set model[J]. Journal of Computer Research and Development, 2018, 55(4): 802−814 (in Chinese) doi: 10.7544/issn1000-1239.2018.20160919
[7] Wang Chongzhong, Huang Yang, Shao Mingwen, et al. Feature selection based on neighborhood self-information[J]. IEEE Transactions on Cybernetics, 2020, 50(9): 4031−4042 doi: 10.1109/TCYB.2019.2923430
[8] Dash M, Liu Huan. Consistency-based search in feature selection[J]. Artificial Intelligence, 2003, 151(1/2): 155−176
[9] Hu Qinghua, Xie Zongxia, Yu Daren. Hybrid attribute reduction based on a novel fuzzy-rough model and information granulation[J]. Pattern Recognition, 2007, 40(12): 3509−3521 doi: 10.1016/j.patcog.2007.03.017
[10] Wang Chongzhong, Huang Yang, Shao Mingwen, et al. Uncertainty measures for general fuzzy relations[J]. Fuzzy Sets and Systems, 2019, 360(4): 82−96
[11] Dubois D, Prade H. Rough fuzzy sets and fuzzy rough sets[J]. International Journal of General System, 1990, 17(2/3): 191−209
[12] Mi Jusheng, Zhang Wenxiu. An axiomatic characterization of a fuzzy generalization of rough sets[J]. Information Sciences, 2004, 160(1/4): 235−249
[13] 王金波,吴伟志. 双论域上的直觉模糊粗糙集[J]. 模糊系统与数学,2021,35(6):1−13 Wang Jinbo, Wu Weizhi. Intuitionistic fuzzy rough sets over two universes[J]. Fuzzy Systems and Mathematics, 2021, 35(6): 1−13 (in Chinese)
[14] Yeung D S, Chen Degang, Tsang E C C, et al. On the generalization of fuzzy rough sets[J]. IEEE Transactions on Fuzzy Systems, 2005, 13(3): 343−361 doi: 10.1109/TFUZZ.2004.841734
[15] Jensen R, Shen Qiang. Fuzzy-rough attribute reduction with application to Web categorization[J]. Fuzzy Sets and Systems, 2004, 141(3): 469−485 doi: 10.1016/S0165-0114(03)00021-6
[16] Hu Qinghua, Yu Daren, Xie Zongxia. Information-preserving hybrid data reduction based on fuzzy-rough techniques[J]. Pattern Recognition Letters, 2006, 27(5): 414−423 doi: 10.1016/j.patrec.2005.09.004
[17] Chen Degang, Hu Qinghua, Yang Yongping. Parameterized attribute reduction with Gaussian kernel based fuzzy rough sets[J]. Information Sciences, 2011, 181(23): 5169−5179 doi: 10.1016/j.ins.2011.07.025
[18] Wang Chongzhong, Qi Yali, Shao Mingwen, et al. A fitting model for feature selection with fuzzy rough sets[J]. IEEE Transactions on Fuzzy Systems, 2017, 25(4): 741−753 doi: 10.1109/TFUZZ.2016.2574918
[19] Yager R R. Entropy measures under similarity relations[J]. International Journal of General System, 1992, 20(4): 341−358 doi: 10.1080/03081079208945039
[20] Hu Qinghua, Yu Daren, Xie Zongxia, et al. Fuzzy probabilistic approximation spaces and their information measures[J]. IEEE Transactions on Fuzzy Systems, 2006, 14(2): 191−201 doi: 10.1109/TFUZZ.2005.864086
[21] Qian Yuhua, Liang Jiye, Wu Weizhi, et al. Information granularity in fuzzy binary GrC model[J]. IEEE Transactions on Fuzzy Systems, 2010, 19(2): 253−264
[22] Xu Jiucheng, Wang Yun, Xu Keqiang, et al. Feature genes selection using fuzzy rough uncertainty metric for tumor diagnosis[J]. Computational and Mathematical Methods in Medicine, 2019, 27(1): 1−9
[23] 樊雲瑞,张贤勇,杨霁琳. 模糊邻域粗糙集的决策熵不确定性度量[J]. 计算机工程与设计,2021,42(5):1300−1306 doi: 10.16208/j.issn1000-7024.2021.05.015 Fan Yunrui, Zhang Xianyong, Yang Jilin. Uncertainty measurement of decision-entropies based on fuzzy neighborhood rough sets[J]. Computer Engineering and Design, 2021, 42(5): 1300−1306 (in Chinese) doi: 10.16208/j.issn1000-7024.2021.05.015
[24] Zhang Xiao, Mei Changlin, Chen Degang, et al. Feature selection in mixed data: A method using a novel fuzzy rough set-based information entropy[J]. Pattern Recognition, 2016, 56(8): 1−15
[25] Lin Yaojin, Hu Qinghua, Liu Jinghua, et al. Streaming feature selection for multilabel learning based on fuzzy mutual information[J]. IEEE Transactions on Fuzzy Systems, 2017, 25(6): 1491−1507 doi: 10.1109/TFUZZ.2017.2735947
[26] Zhao Junyang, Zhang Zhili, Han Chongzhao, et al. Complement information entropy for uncertainty measure in fuzzy rough set and its applications[J]. Soft Computing, 2015, 19(7): 1997−2010 doi: 10.1007/s00500-014-1387-5
[27] Wang Chongzhong, Huang Yang, Shao Mingwen, et al. Fuzzy rough set-based attribute reduction using distance measures[J]. Knowledge-Based Systems, 2019, 164(1): 205−212
[28] Hu Qinghua, Zhang Lei, Chen Degang, et al. Gaussian kernel based fuzzy rough sets: Model, uncertainty measures and applications[J]. International Journal of Approximate Reasoning, 2010, 51(4): 453−471 doi: 10.1016/j.ijar.2010.01.004
[29] Hu Qinghua, Yu Daren, Pedrycz W, et al. Kernelized fuzzy rough sets and their applications[J]. IEEE Transactions on Knowledge & Data Engineering, 2010, 23(11): 1649−1667
[30] Hu Qinghua, Zhang Lingjun, Zhou YuCan, et al. Large-scale multimodality attribute reduction with multi-kernel fuzzy rough sets[J]. IEEE Transactions on Fuzzy Systems, 2017, 26(1): 226−238
[31] Yuan Zhong, Chen Hongmei, Yang Xiaoling, et al. Fuzzy complementary entropy using hybrid-kernel function and its unsupervised attribute reduction[J]. Knowledge-Based Systems, 2021, 231(11): 107398
[32] Liang Jiye, Chin K S, Dang Chuangyin, et al. A new method for measuring uncertainty and fuzziness in rough set theory[J]. International Journal of General Systems, 2002, 31(4): 331−342 doi: 10.1080/0308107021000013635
[33] Jensen R, Shen Qiang. New approaches to fuzzy-rough feature selection[J]. IEEE Transactions on Fuzzy Systems, 2009, 17(4): 824−838 doi: 10.1109/TFUZZ.2008.924209
[34] Chen Degang, Zhao Suyun. Local reduction of decision system with fuzzy rough sets[J]. Fuzzy Sets and Systems, 2010, 161(13): 1871−1883 doi: 10.1016/j.fss.2009.12.010
[35] Yang Yanyan Song Shiji, Chen Degang, et al. Discernible neighborhood counting based incremental feature selection for heterogeneous data[J]. International Journal of Machine Learning and Cybernetics, 2019, 11(8): 1115−1127
-
期刊类型引用(2)
1. 王全新，刘音. Android应用中的Java题库系统的设计与优化. 信息记录材料. 2024(01): 142-144 . 
百度学术
2. 杜厚勤. 档案一体化平台中的分布式数据库优化研究. 信息与电脑(理论版). 2024(17): 10-13 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 113
- HTML全文浏览量: 20
- PDF下载量: 81
- 被引次数: 4
