-
摘要:
依靠机器学习，传统产业的数字化转型带来了海量数据增长，而产品服务的智能化提升则刺激了算力需求. 云计算的灵活资源调配可以为资源有限的企业和用户提供便宜便捷的外包计算服务，实现机器学习的模型训练和模型托管，加快产品和服务的智能化建设，促进数字经济增长. 然而，数据和模型外包伴随控制权转移，可能带来数据泄露风险和计算安全问题. 近年来，机器学习的外包安全问题受到越来越多研究者的关注，并取得了一些显著成果. 通过对2018—2022年这5年国内外机器学习安全外包研究工作调研，首先对现有主流的外包模型进行分类和特征归纳，依据任务阶段将外包模型划分为模型训练和模型托管模式，以及依据云服务商数量将外包模式划分为单云模式和多云模式. 其次重点从逻辑回归、朴素贝叶斯分类、支持向量机、决策树和神经网络等典型机器学习算法角度对机器学习安全外包计算相关研究进展进行了深入阐述和分析. 最后从不同角度分析和讨论了目前机器学习安全外包研究存在的不足，并展望未来面临的挑战和机遇.
Abstract:Based on machine learning, the digital transformation of traditional industries brings a massive data growth, while the intelligent enhancement of products services raises the demand for computing power. Cloud computing, relying on flexible resource deployment, can provide inexpensive and convenient outsourced computing services for users with limited resources, enabling them to complete model training and model hosting for machine learning. It also contributes to the intelligent improvement of products and services and promotes the growth of the digital economy. However, data and model outsourcing come with a transfer of control, which may pose data leakage risk and computational security issues. In recent years, the security issues of machine learning outsourcing have received increasing public attentions and academic concerns. In this paper, we systematically reviewed the research work on machine learning security outsourcing in the year of 2018−2022 the past five years. We first present different outsourced modes, including model training and model hosting modes classified by the task phase, single-cloud and multi-cloud modes classified by the number of cloud service providers. Then we summarize the characteristics of outsourced models under different modes. Next, we focus on the research progress related to machine learning secure outsourced computing from the perspective of typical machine learning algorithms such as logistic regression, Bayesian classification, support vector machine, decision tree and neural network, and provide an in-depth description and analysis. Finally, we analyze and discuss the limitations from different perspectives, as well as potential challenges and opportunities.
-
Keywords:
- cloud computing /
- outsourced computing /
- machine learning /
- transfer learning /
- privacy preserving
-
多模态机器学习旨在建立能够处理和关联来自多种模式信息的模型，近年来成为研究的热点. 多模态表示和多模态融合是多模态机器学习的2个关键任务[1]. 由于模态间的异构性，多模态表示学习一直是个难点问题. 目前，基于神经网络的联合表示学习模型把所有的模态数据映射到统一的特征空间，得到联合特征表示，容易实现端到端的学习，但需要大量的标注数据[2]. 在一些应用领域，多模态数据具有共享和特有的特征，例如在多模态情感识别任务中，说话人的动作、语音和语言具有共同的动机和目标，同时它们又分别具有特有的情感、语气和语义. 为了有效学习不同模态的共享特征和特有特征，Hazarika等人[3]提出了一种多模态协同表示模型MISA，将每个模态映射到2个不同的子空间中，分别学习共享特征和特有特征，但该模型只考虑了单个样本内的多模态协同，没有考虑样本间的多模态协同，导致不同类别样本的特征空间具有一定程度的重合，特征表示缺乏鲁棒性.
多模态融合根据融合阶段的不同，可以分为早期融合、晚期融合和混合融合[4]. 早期融合是特征层的融合，在融合后的特征上训练分类器；晚期融合是决策层的融合，每个模态数据单独训练一个分类器，然后根据投票、加权和学习等方式对分类器的结果进行融合；混合融合联合了早期融合和晚期融合2种方式，试图同时利用2种融合方式的优点. 晚期融合允许不同的模态采用不用的预测模型，使得模型具有灵活性，但忽视了不同模态特征的交互. 早期融合使用单一模型进行训练，实现了不同模态特征的交互. 研究表明[5-6]，在多模态语言分析任务中，文本特征占据了主要地位，语音和视频常为辅助特征，在某些情况下语音和视频可能包含噪声，对结果的判断起到干扰作用. 目前大部分多模态融合方法，把所有的模态特征同等对待，导致对噪声数据敏感.
因此，针对多模态协同表示没有考虑样本间的协同和多模态特征融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 在多模态表示方面，构建模态特定和模态共用的2类编码器分别学习文本、视频和语音的特有特征和共享特征的表示，通过样本重构误差、样本内协同误差和样本间协同误差设计表示学习损失函数. 在多模态特征融合方面，设计一种基于注意力机制和门控神经网络的自适应的融合方法，利用注意力机制学习模态间的依赖关系，通过门控神经网络得出融合权重. 在多模态意图识别数据集MIntRec和多模态情感数据集CMU-MOSI，CMU-MOSEI上的实验结果表明，本文提出的多模态学习方法在多个指标上优于基线方法，证明了该方法的有效性.
本文的主要贡献包括3个方面：
1） 提出了一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.
2） 设计了一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法，降低噪声数据对多模态融合过程的干扰.
3） 在多模态意图识别数据集和情感数据集上对本文提出的方法进行了大量的实验分析，本文方法在多个指标上优于基线方法.
1. 相关工作
1.1 多模态表示
特征表示一直是机器学习关注的重要问题. 随着深度学习的发展，单模态的特征表示学习取得了很多进展，但由于数据的异构性，多模态表示学习一直是个难点问题[7]. 目前，多模态表示学习主要分为联合表示（joint representations）和协同表示（coordinated representations）. 联合表示通过神经网络将各模态数据映射到同一个特征空间中，得到统一的特征表示，使得多模态表示学习和多模态融合之间没有明显的界限. 例如，Pham等人[8]利用机器翻译的思想，通过Seq2Seq模型实现不同模态之间的来回转换，把Seq2Seq中间隐含层的输出作为多模态的联合表示；Wang等人[9]提出一种通过门控模态混合网络实现文本和非文本特征联合表示的方法. 协同表示分别映射每种模态的数据到各自的特征空间，但要保证每种模态的特征空间之间存在一定的约束. 例如，Mai等人[10]提出一种基于混合对比学习的多模态协同表示方法，首先通过Transformer提取语音和视觉特征，通过BERT提取文本特征，然后通过模态内对比学习、模态间对比学习和半对比学习对语音特征、视觉特征和文本特征的相似性进行约束；Hazarika等人[3]提出一种多模态协同表示方法MISA，将每种模态投射到2个不同的子空间，第1个子空间是模态不变的，通过相似性进行约束，第2个子空间是模态特有的，通过正交结构进行约束；Huang等人[11]在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束.MISA是一种有效的多模态协同表示方法，能够很好地学习不同模态的共享特征和特有特征. 然而，MISA仅考虑了样本内的多模态协同约束，未考虑样本间的多模态协同，导致特征表示缺乏鲁棒性，从而影响模型的泛化能力. 因此，在MISA的基础上，本文提出一种基于样本内和样本间多模态协同的表示方法，充分学习模态内和模态间的交互，提升多模态特征表示的鲁棒性.
1.2 多模态融合
多模态融合关注于如何将多模态数据以一定的架构和方法进行融合，共同贡献于解决目标任务[12-13]，多模态融合主要分为模型无关和基于模型2类方法[14]. 模型无关的方法主要分为特征层融合和决策层融合. 特征层融合实现了不同模态间的底层交互，常用的融合方式有拼接、相加和基于张量的方法[15-16]；决策层融合可以视为考虑不同模态置信度的集成学习，其优点是能够很好地适应模态缺失的问题[17]，但缺乏多模态数据的底层交互，常用的融合机制有加权、投票和学习等方式. 基于模型的融合方法主要有基于内核的方法、基于概率图模型的方法和基于神经网络的方法[18-20]. 目前，基于神经网络的多模态融合方法已经成为主流[21]，例如：Liang等人[22]提出一种循环多级融合网络RMFN，将融合问题分解为多个阶段，每个阶段专注于多模态数据的一个子集；Tsai等人[23]提出一种多模态Transformer架构，通过跨模态注意力机制融合多模态信息；Mou等人[24]提出一种基于注意力的卷积神经网络（convolutional neural networks，CNN）和长短期记忆网络（long short-term memory，LSTM）联合的多模态融合方法；Rahman等人[25]为了在大规模预训练语言模型中融合其他模态信息，在BERT 和 XLNet网络中设计了一个多模态适应门，允许BERT和XLNet在微调期间接受多模态非语言数据. 通过研究发现，目前大部分多模态融合方法没有区分模态间可能存在的主次关系，并且没有考虑数据中可能存在的噪声，导致模型对噪声数据敏感. 因此，鉴于每种模态在不同时刻可能呈现不同作用类型和噪声级别的特性，本文设计一种基于注意力机制和门控神经网络的融合方法，以实现对多模态特征的自适应融合.
2. 方法构建
本文方法主要面向于文本特征为主、语音和视觉特征为辅的多模态自然语言理解任务，例如多模态情感分类和多模态意图识别. 给定一个数据集D={s1,s2,…,sn}，其中包含n个样本. 每个样本si都包含一段视频v、语音a、文本t和标签y. 我们的任务是学习一个模型f(t,v,a)→y，输入样本si的文本信息t、视频信息v和语音信息a，正确输出样本si的标签信息y. 本文提出的基于样本内外协同表示和自适应融合的多模态学习方法CoAdMu，其架构如图1所示，主要包括初始特征提取、多模态表示、多模态融合和结果预测4个部分.
2.1 初始特征提取
2.1.1 文本初始特征提取
预训练语言模型能够很好地提取文本语义特征，已经成为自然语言处理任务的标配模块. 预训练语言模型BERT 基于Transformer的双向Encoder结构，采用Self-attention提高了模型的学习能力和并行计算效率. 为了获取句子级别的语义特征，BERT联合了Masked LM（masked language model）和 NSP（next sentence prediction）这2类任务进行训练.BERT 相比于 Word2vec，一方面考虑了上下文语境，解决了一词多义的问题；另一方面，通过分层学习得到不同层次的语义特征，为下游任务提供了丰富的特征选择. 基于BERT预训练模型，下游任务可以进行微调，在少量训练样本的情况下就能实现不错的分类效果. 所以，本文利用BERT最后隐藏层的输出 {{\boldsymbol{z}}^t} \in {\mathbb{R}^{{l_t} \times {F_t}}} 作为文本初始特征表示，{l_t}为文本序列长度，{F_t}为特征维度.
2.1.2 语音初始特征提取
近年来，受大规模预训练语言模型在自然语言理解任务上大获成功的影响，语音预训练模型成为研究的热点，出现了许多经典的模型. 例如Wav2vec 2.0 [26]，HuBERT [27] 和 WavLM[28]等，通过在上万小时的无标注语音数据上进行自监督学习，显著提升了自动语音识别（automatic speech recognition，ASR）、语音合成（text-to-speech，TTS）和语音转换（voice conversation，VC）等下游任务的性能.Wav2vec 2.0 是 Meta 在 2020 年发布的无监督语音预训练模型，核心思想是通过向量量化（vector quantization，VQ）构建自监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练，得到的表征可以代替传统的声学特征. 所以，本文利用预训练的Wav2vec 2.0模型提取语音初始特征，把模型最后隐藏层的输出{{\boldsymbol{z}}^a} \in {\mathbb{R}^{{l_a} \times {F_a}}}作为语音初始特征表示，{l_a}为语音序列长度，{F_a}为特征维度.
2.1.3 视频初始特征提取
在视频画面中，关键信息是说话人（识别对象）的表情和动作，如果直接从整个画面中抽取特征，可能会因为背景噪声影响效果. 所以本文借鉴文献[29]的思路，对说话人进行检测. 具体流程如图2所示.
首先利用场景检测工具scenedetect
1 区分不同的视觉场景，从而得到关键帧；然后，利用基于MS-COCO数据集预训练的Faster R-CNN模型检测每个关键帧中的人物，得到人物边界框；最后，考虑到画面中可能存在多个人物的情况，使用预训练的TalkNet[30]识别说话人，得到说话人边界框. 本文结合说话人边界框B和由Faster R-CNN提取的特征表示f，得到视频初始特征{{\boldsymbol{z}}^v} \in {\mathbb{R}^{{l_v} \times {F_v}}}，{l_v} 为关键帧的序列长度，{F_v}为每帧的特征维度，{{\boldsymbol{z}}^v}计算为：{{\boldsymbol{z}}^v} = AvgPool(RoIAlign({\boldsymbol{f}},B))\text{，} (1) 其中RoIAlign表示根据边界框B抽取固定大小的特征图，AvgPool用来固定长宽到统一的大小.
2.2 多模态表示
大部分多模态数据存在互补性和一致性. 例如，人在表达情感或意图时，表情、语音和语言具有共同的动机和目标，说明模态间具有一致性的共享特征. 同时，表情、语音和语言又分别具备特有的情感、语气和语义，说明模态间具有互补性的特有特征. 所以，本文设计模态特定和模态共用的2类编码器，分别学习文本、语音、视频的特有特征和共享特征，为多模态学习提供一个全面的表征视图. 文本、语音和视频的初始特征{{\boldsymbol{z}}^t}，{{\boldsymbol{z}}^a}，{{\boldsymbol{z}}^v}输入编码器之前，先进行L2归一化，再通过不同的Transformer进行预处理，然后对Transformer的输出序列进行累加求平均，分别得到{{\boldsymbol{u}}^t} \in {\mathbb{R}^{{d_{\text{t}}}}}，{{\boldsymbol{u}}^a} \in {\mathbb{R}^{{d_{\text{t}}}}}，{{\boldsymbol{u}}^v} \in {\mathbb{R}^{{d_{\text{t}}}}}，{d_{\text{t}}}为Transformer的最后一层前馈神经网络的输出维度.
2.2.1 共享特征和特有特征表示
1）共享特征表示. 为了学习不同模态的共享特征表示，构建一个模态共用的编码器{E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})，把文本特征 {{\boldsymbol{u}}^t} 、视觉特征{{\boldsymbol{u}}^v}和语音特征{{\boldsymbol{u}}^a}映射到同一个特征空间，分别得到文本、视频和语音的共享特征{\boldsymbol{h}}_{\text{c}}^t \in {\mathbb{R}^{{d_{\text{c}}}}}，{\boldsymbol{h}}_{\text{c}}^v \in {\mathbb{R}^{{d_{\text{c}}}}}，{\boldsymbol{h}}_{\text{c}}^a \in {\mathbb{R}^{{d_{\text{c}}}}}，如式（2）～（4）所示，其中{\theta _{\text{c}}}和 {d_{\text{c}}} 分别为共用编码器的参数和输出维度.
{\boldsymbol{h}}_{\text{c}}^t = {E_{\text{c}}}({{\boldsymbol{u}}^t};{\theta _{\text{c}}})\text{，} (2) {\boldsymbol{h}}_{\text{c}}^v = {E_{\text{c}}}({{\boldsymbol{u}}^v};{\theta _{\text{c}}})\text{，} (3) {\boldsymbol{h}}_{\text{c}}^a = {E_{\text{c}}}({{\boldsymbol{u}}^a};{\theta _{\text{c}}}) . (4) 2）特有特征表示. 为了学习不同模态的特有特征表示，分别为文本、语音、视频构建一个特定的编码器 {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t) ， {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a) ， {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v) ，把文本特征 {{\boldsymbol{u}}^t} 、语音特征{{\boldsymbol{u}}^a}和视觉特征{{\boldsymbol{u}}^v}映射到不同的特征空间，分别得到文本、语音和视频的特有特征{\boldsymbol{h}}_{\text{p}}^t \in {\mathbb{R}^{{d_{\text{p}}}}}，{\boldsymbol{h}}_{\text{p}}^a \in {\mathbb{R}^{{d_{\text{p}}}}}，{\boldsymbol{h}}_{\text{p}}^v \in {\mathbb{R}^{{d_{\text{p}}}}}，如式（5）～（7）所示，其中\theta _{\text{p}}^t，\theta _{\text{p}}^a，\theta _{\text{p}}^v为特定编码器的参数，{d_{\text{p}}}为特定编码器的输出维度，输出维度和共用编码器的一致.
{\boldsymbol{h}}_{\text{p}}^t = {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t)\text{，} (5) {\boldsymbol{h}}_{\text{p}}^a = {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a)\text{，} (6) {\boldsymbol{h}}_{\text{p}}^v = {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v). (7) 2.2.2 特征表示学习损失函数
1）样本内协同损失函数
在同一个样本内，需要保证不同模态的共享特征具有相似性和特有特征具有差异性，同一模态的共享特征和特有特征具有差异性. 本文利用中心矩差异（central moment discrepancy，CMD）和正交性衡量特征之间的相似性和差异性. CMD通过匹配2个表示的顺序矩差来计算它们之间的差异，相比于KL散度包含了高阶矩信息，相比于最大平均差异（maximum mean discrepancy，MMD）则减少了计算量，因为不需要计算核矩阵. 令 \tilde X 和 \tilde Y 为区间[a, b]N上分别具有概率分布 p 和 q 的有界随机样本，中心矩差异正则化项CMDK被定义为CMD的经验估计，其计算如式（8）所示：
\begin{split} CM{D}_{K}(\tilde X,\tilde Y)=&\frac{1}{\left|b-a\right|}{\Vert E(\tilde X)-E(\tilde Y)\Vert }_{2}+\\ &{\displaystyle \sum _{k=2}^{K}\frac{1}{{\left|b-a\right|}^{k}}{\Vert {C}_{k}(\tilde X)-{C}_{k}(\tilde Y)\Vert }_{2}}\text{，}\end{split} (8) 其中E(\tilde X) = \dfrac{1}{{\left| \tilde X \right|}}\displaystyle\sum\limits_{x \in X} x 表示样本\tilde X 的经验期望向量， {C_k}(\tilde X) = E\left( {\prod\limits_{i = 1}^N {{{({x_i} - E(\tilde X))}^k}} } \right) 表示\tilde X 的k阶样本中心距向量. 直观上理解，如果样本\tilde X 和\tilde Y 的概率分布越相似，那么它们的每阶中心距也越相近，CMD值越小. 利用CMD构建共享特征相似度损失函数，如式（9）所示；利用正交性约束构建特有特征差异性损失函数，如式（10）所示；样本内多模态协同的总损失函数如式（11）所示.
\begin{split} L_{{{\rm{intra}}}}^{{\rm{sim}}} = \dfrac{1}{3}\displaystyle\sum\limits_{\scriptstyle({m_1},{m_2}) \in \atop {\scriptstyle\{ (t,a),(t,v),\atop \scriptstyle(a,v)\} }} {CM{D_K}({\boldsymbol{h}}_{\rm{c}}^{{m_1}},{\boldsymbol{h}}_{\rm{c}}^{{m_2}})} \end{split} , (9) \begin{split} L_{{\rm{intra}}}^{{\rm{diff}}} = \frac{1}{6}\left(\sum\limits_{m \in \{ t,a,v\} } {\cos ({\boldsymbol{h}}_{\rm{p}}^m,{\boldsymbol{h}}_{\rm{c}}^m)} + \sum\limits_{\scriptstyle({m_1},{m_2}) \in \atop {\scriptstyle\{ (t,a),(t,v),\atop \scriptstyle(a,v)\} }} {\cos ({\boldsymbol{h}}_{\rm{p}}^{{m_1}},{\boldsymbol{h}}_{\rm{p}}^{{m_2}})} \right) \end{split}, (10) {L_{{\text{intra}}}} = L_{{\text{intra}}}^{{\text{sim}}} + L_{{\text{intra}}}^{{\text{diff}}} \text{，} (11) 其中t，a，v分别表示文本、语音和视频， {\boldsymbol{h}}_{\text{c}}^m 和 {\boldsymbol{h}}_{\text{p}}^m 分别表示模态m的共享特征和特有特征. {\boldsymbol{h}}_{\text{c}}^{{m_1}} 和 {\boldsymbol{h}}_{\text{c}}^{{m_2}} 越相似 L_{{{\rm{intra}}}}^{{\rm{sim}}} 值越小，{\boldsymbol{h}}_{\text{p}}^m和{\boldsymbol{h}}_{\text{c}}^m、{\boldsymbol{h}}_{\text{p}}^{{m_1}}和{\boldsymbol{h}}_{\text{p}}^{{m_2}}相差越大 L_{{\text{intra}}}^{{\text{diff}}} 值越小.
2）样本间协同损失函数
在不同样本间，需要保证同类别样本的特征具有相似性和不同类别样本的特征具有差异性. 借鉴对比学习的思路，在一组样本中随机选择一个样本作为锚点样本s，与s类别相同的N个样本作为正样本pos，与s类别不同的M个样本作为负样本neg. 基于CMD，构建如式（12）所示的样本间多模态协同的损失函数：
\begin{split}{L}_{\text{inter}}=&\frac{1}{6}{\displaystyle \sum _{n\in \{\text{c},\text{p}\}}{\displaystyle \sum _{m\in \{t,a,v\}}(\frac{1}{N}{\displaystyle \sum _{i=1}^{N}CM{D}_{K}(s({{\boldsymbol{h}}}_{n}^{m}),po{s}_{i}({{\boldsymbol{h}}}_{n}^{m}))}}} -\\ &\frac{1}{M}{\displaystyle \sum _{j=1}^{M}CM{D}_{K}(s({{\boldsymbol{h}}}_{n}^{m}),ne{g}_{j}({{\boldsymbol{h}}}_{n}^{m}))}),\end{split} (12) 其中c和p分别为共享和特有特征的标识，t，a，v分别表示文本、语音和视频， s({\boldsymbol{h}}_n^m) ， po{s_i}({\boldsymbol{h}}_n^m) ， ne{g_j}({\boldsymbol{h}}_n^m) 分别表示锚点样本s、正样本i、负样本j的m（文本、语音和视频）模态的 n （共享、特有）特征的表示. 正样本i和锚点样本s越相似、负样本j和锚点样本s差异性越大，损失函数 {L_{{{\text{inter}}}}} 值越小.
3）样本重构损失函数
为了保证由编码器得到的共享特征和特有特征保留了初始特征空间的相关性质，设计一个解码器 D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}}) ，输入模态m的共享特征 {\boldsymbol{h}}_{\text{c}}^m 和特有特征 {\boldsymbol{h}}_{\text{p}}^m ，希望输出能够重构该模态的初始特征. 本文使用均方误差（mean squared error, MSE）衡量重构误差，计算如式（13）所示：
{L}_{\text{recon}}=\frac{1}{3}{\displaystyle \sum _{m\in \{t,a,v\}}{\Vert {{\boldsymbol{u}}}^{m}-D（{{\boldsymbol{h}}}_{\text{c}}^{m},{{\boldsymbol{h}}}_{\text{p}}^{m}）\Vert }_{2}}+\frac{\lambda }{2}{\Vert {\theta }_{\text{d}}\Vert }_{2} \text{，} (13) 其中{{\boldsymbol{u}}^m}表示模态m的初始特征表示， D（{{\boldsymbol{h}}}_{\text{c}}^{m},{{\boldsymbol{h}}}_{\text{p}}^{m}） 为解码器的输出， {\theta _{\text{d}}} 为解码器的参数， \dfrac{\lambda }{2}{\left\| {{\theta _{\text{d}}}} \right\|_2} 为正则化项，用于防止过拟合.
2.3 多模态融合
在多模态自然语言分析任务中，文本为主要特征，语音和视频为辅助特征，并且在某些时刻语音和视频包含噪声数据，对结果的判断起到干扰作用. 因此，本文设计一种基于注意力机制和门控神经网络的自适应融合方法.
2.3.1 模态内共享特征和特有特征融合
对每个模态的共享特征和特有特征进行拼接，输入Self-attention中，捕获共享特征和特有特征的相关性，得到单模态融合特征. Self-attention是Transformer的核心组件，相比 RNN 网络结构，其最大的优点是可以实现并行计算和长距离依赖. 其计算流程如图3所示.
计算形式如式（14）所示：
SA({\boldsymbol{X}}) = {softmax} \left(\frac{{({{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}}){{({{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{X}})}^{\text{T}}}}}{{\sqrt {{d_{\text{k}}}} }}\right)\left({{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{X}}\right) \text{，} (14) 其中 {\boldsymbol{Q}} = {{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}} ， {\boldsymbol{K}} = {{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{X}} ， {\boldsymbol{V}} = {{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{X}} 分别为Query，Key，Value矩阵， {{\boldsymbol{W}}^{\text{q}}} ， {{\boldsymbol{W}}^{\text{k}}} ， {{\boldsymbol{W}}^{\text{v}}} 为需要学习的权重矩阵. {d_{\text{k}}} 为 Key的维度，除以 \sqrt {{d_{\text{k}}}} 的目的是在反向传播时梯度更加稳定.Self-attention的 Query，Key，Value来自于同一个输入序列X. 分别对文本、语音和视频的共享特征和特有特征进行拼接{\boldsymbol{X}} = Concat({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m)，输入Self-attention中得到单模态融合特征 {{\boldsymbol{h}}^t} \in {\mathbb{R}^{{d_{\text{v}}}}} ， {{\boldsymbol{h}}^a} \in {\mathbb{R}^{{d_{\text{v}}}}} ， {{\boldsymbol{h}}^v} \in {\mathbb{R}^{{d_{\text{v}}}}} ，{d_{\text{v}}}为Value的维度.
2.3.2 样本内多模态特征融合
得到单模态的融合特征后，基于Cross-attention分别计算文本与视频的关联特征 CA（t,v） 和文本与语音的关联特征 CA（t,a） . 不同于Self-attention，Cross-attention的Query，Key，Value的输入来自于2个不同的序列X和Y，X作为Query的输入，而Y作为Key和Value的输入.Cross-attention的计算流程如图4所示.
计算形式如式（15）所示：
CA({\boldsymbol{X}},{\boldsymbol{Y}}) = {softmax} \left(\frac{{({{\boldsymbol{W}}^{\text{q}}}{\boldsymbol{X}}){{({{\boldsymbol{W}}^{\text{k}}}{\boldsymbol{Y}})}^{\text{T}}}}}{{\sqrt {{d_{\text{k}}}} }}\right)({{\boldsymbol{W}}^{\text{v}}}{\boldsymbol{Y}}) . (15) 然后，把 CA（t,v） 和 CA（t,a） 分别输入视觉门控神经单元和语音门控神经单元，得到视觉特征融合权重 {w^v} 和语音特征融合权重 {w^a} . 最后，根据权重融合视觉特征{{\boldsymbol{h}}^v}、语音特征{{\boldsymbol{h}}^a}和文本特征{{\boldsymbol{h}}^t}，得到最终的多模态融合特征h，如式（16）所示：
{\boldsymbol{h}} = {{\boldsymbol{h}}^t} + {w^v}{{\boldsymbol{h}}^v} + {w^a}{{\boldsymbol{h}}^a}. (16) 直观上理解， {w^v} 和 {w^a} 根据模态间的深层关系得到，当视觉特征和语音特征能辅助文本特征做决策时，则增加融合权重，反之则减少. 这种融合方式，一方面体现了文本特征为主、语音和视觉特征为辅的先验；另一方面，实现了自适应的融合，有效降低了语音和视频中可能存在的噪声干扰.
2.4 结果预测
把多模态融合特征h输入多层全连接神经网络中进行分类或回归任务. 分类任务使用交叉熵损失，回归任务使用均方误差损失，如式（17）所示：
{L}_{\text{task}}=\left\{\begin{aligned} &-\frac{1}{N}{\displaystyle \sum _{i=1}^{N}{y}_{i}\mathrm{ln}({\widehat{y}}_{i})}+\frac{\lambda }{2}{\Vert {\boldsymbol{W}}\Vert }_{2}\text{，}\quad 分类\text{，}\\ &-\frac{1}{N}{\displaystyle \sum _{i=1}^{N}{\Vert {y}_{i}-{\widehat{y}}_{i}\Vert }_{2}}+\frac{\lambda }{2}{\Vert {\boldsymbol{W}}\Vert }_{2}\text{，}\quad 回归\text{，}\end{aligned}\right. (17) 其中N是训练样本数量，{y_i}和{\widehat y_i}分别代表样本i的真实值和预测值，\dfrac{\lambda }{2}{\left\| {\boldsymbol{W}} \right\|_2}为L2正则化，以降低模型的过拟合程度. 为了实现多模态表示、融合和预测端到端的训练，本文对多模态表示学习损失 {L_{{\text{intra}}}} 、 {L_{{\text{inter}}}} 、{L_{{\text{recon}}}}和预测结果损失{L_{{\text{task}}}}进行联合优化，最终优化目标如式（18）所示，其中\alpha ，\beta ，\gamma 是权重.
L = {L_{{\text{task}}}} + \frac{1}{N}\sum\limits_{i = 1}^N {(\alpha L_{{\text{intra}}}^i + \beta L_{{\text{inter}}}^i + \gamma L_{{\text{recon}}}^i)} . (18) 3. 实验与分析
3.1 实验设置
3.1.1 实验数据
本文选取多模态意图识别数据集MIntRec
2 和多模态情感数据集CMU-MOSI，CMU-MOSEI3 作为实验数据，这3个数据集都包含文本、语音和视频3种模态.MIntRec数据集由清华大学智能技术与系统国家重点实验室提供，原始数据来源于美剧“Superstore”，包含2 224条实例.MIntRec数据集包含“表达情绪或态度”和“实现目标”2个粗粒度类别. “表达情绪或态度”细分为11个意图类别：Complain，Praise，Apologize，Thank，Criticize，Care，Agree，Taunt，Flaunt，Oppose，Joke. “实现目标”细分为9个意图类别：Inform，Advise，Arrange，Introduce，Comfort，Leave，Prevent，Greet，Ask for help. CMU-MOSI和CMU-MOSEI数据集由卡梅隆大学提供，原始数据集来源于YouTube，包含强烈积极（+3）、积极（+2）、弱积极（+1）、中性（0）、弱消极（–1）、消极（–2）、强烈消极（–3）这7种情感类别. CMU-MOSI数据集收录了89位YouTube用户的2 199条视频片段，CMU-MOSEI数据集是CMU-MOSI的扩展版，收录了1 000位YouTube用户的3 228条视频，包括250个主题，共23 453个句子. 训练集、验证集和测试集的划分结果如表1所示.表 1 数据集划分结果Table 1. Division Results of Datasets数据集 训练集 验证集 测试集 MIntRec 1344 455 455 CMU-MOSI 1319 440 440 CMU-MOSEI 16265 1869 4643 3.1.2 评价指标
在MIntRec数据集上执行20-class分类任务，利用准确率（accuracy，Acc）、宏平均精确度（macro precision，MP）、宏平均召回率（macro recall，MR）和宏平均F1-score（macro F1-score，MF1）作为算法性能评价指标. 在CMU-MOSI和CMU-MOSEI数据集上执行回归和分类任务，回归任务利用平均绝对误差（mean absolute error，MAE）和皮尔逊相关系数（Pearson correlation coefficient，PCC）作为评价指标，分类任务利用二分类准确率（Acc-2）、F1-score和七分类准确率（Acc-7）作为评价指标.Acc，MP，MR，MF1，PCC，F1-score值越大越好，MAE值越低越好. 在以往的研究中，CMU-MOSI和CMU-MOSEI数据集根据情感分数有（负，非负）和（负，正）2种二分类做法.
3.1.3 实现细节
在初始特征提取中，分别基于预训练的BERT-base-uncased，Wav2vec 2.0，Faster R-CNN分别提取文本、语音和视觉特征. 在多模态表示中，使用层数为1、多头个数为1的Transformer分别对文本、语音和视觉特征进行预处理，编码器{E_{\text{c}}}({{\boldsymbol{u}}^{(t,v,a)}};{\theta _{\text{c}}})， {E_{\text{p}}}({{\boldsymbol{u}}^t};\theta _{\text{p}}^t) ， {E_{\text{p}}}({{\boldsymbol{u}}^v};\theta _{\text{p}}^v) ， {E_{\text{p}}}({{\boldsymbol{u}}^a};\theta _{\text{p}}^a) 和解码器 D({\boldsymbol{h}}_{\text{c}}^m,{\boldsymbol{h}}_{\text{p}}^m;{\theta _{\text{d}}}) 都采用单层全连接神经网络. 在多模态融合中，Self-attention和Cross-attention采用的层数和多头个数都为1.在结果预测中，采用2层的全连接神经网络. 整体来说，考虑到实验数据集相对较小，没有采用较为深层的网络架构. 其他超参数如表2所示. 为了减少式（18）中超参数\alpha ，\beta ，\gamma 的搜索时间，本文采用了一种次优网格搜索方法，具体内容见3.2.1节.
表 2 超参数设置Table 2. Hyperparameters Setting参数类型 参数 参数值 模型参数 文本的最大序列长度{l_t} 30 语音的最大序列长度 {l_a} 230 视频的最大序列长度{l_v} 480 文本特征维度{F_t} 768 语音特征维度{F_a} 256 视觉特征维度{F_v} 768 {L_{{\text{intra}}}}的权重α 0.7 {L_{{\text{inter}}}}的权重β 0.7 {L_{{\text{recon}}}}的权重γ 0.6 中心矩差异CMDK 的阶数K 5 全连接神经网络的隐藏层大小 256 训练参数 学习率 3E–5 正则化参数 1E–6 最大训练轮次 20 停止训练的等待次数 6 批量训练的batch size 8 Dropout比例 0.1 优化器Optimizer Adam 3.2 结果和分析
3.2.1 联合优化的超参数分析
{L_{{\text{intra}}}}， {L_{{\text{inter}}}} ，{L_{{\text{recon}}}}的权重值\alpha ，\beta ，\gamma 是重要的超参数. 我们设定这些参数的搜索空间为{0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0}. 然而，我们没有对\alpha ，\beta ，\gamma 同时建立网格，而是先固定其中2个参数，只对其中1个参数进行搜索，虽然这种网格搜索方式可能得不到最佳的参数组合，但可以极大地减少搜索的时间消耗. 为了提升模型的泛化能力，我们并没有针对不同的数据集选择不同的参数组合. 相反，我们选择了在MIntRec，CMU-MOSI，CMU-MOSEI这3个数据上平均准确率最高的参数组合. 这样的做法旨在确保模型在不同数据集上都能取得较好的性能，而不仅仅局限于某个特定数据集. 实验结果如图5所示.
首先，我们将\beta 和\gamma 固定为0.5，\alpha =0.7时模型表现最佳；然后，我们将\alpha 固定为0.7，\gamma 固定为0.5，\beta =0.7时模型表现最佳；最后，我们将\alpha 和\beta 固定为0.7，\gamma =0.6时模型的性能最佳. 所以，最终选择\alpha =0.7，\beta =0.7，\gamma =0.6.从图5看出，模型对重构误差{L_{{\text{recon}}}}的权重\gamma 更加敏感.
3.2.2 方法对比分析
1）多模态情感分析任务的实验对比
为了验证本文提出的CoAdMu方法的有效性，选择以下多模态学习方法作为基线，对比其在多模态情感分析任务中的性能.
①TFN[15]. 一种基于张量的多模态融合方法，对提取的语言特征、视觉特征和语音特征做外积，得到融合的向量.
②LMF[16]. 通过将张量和权重并行分解，利用模态特定的低阶因子来执行多模态融合，避免计算高维的张量.
③MFM[7]. 通过模态分解将多模态表征分解为多模态判别因子和特定模态生成因子，多模态判别因子在所有模态之间共享，特定模态生成因子对于每个模态都是唯一的.
④RMFN[22]. 一种基于循环多阶段融合网络的多模态融合方法，将融合分解成前后关联的多个阶段.
⑤CIA[31]. 采用自编码器学习模态之间的交互关系，并利用上下文感知注意力学习相邻话语间的关系.
⑥MCTN[8]. 通过Seq2Seq模型实现不同模态之间的来回转换，得到多模态间的联合表示.
⑦RAVEN[9]. 通过视觉特征和语音特征动态调整文本中词嵌入，实现文本和非文本特征的联合表示.
⑧MulT[23]. 利用跨模态 Transformer 将源模态转换为目标模态来学习多模态表示.
⑨ICCN[6]. 使用语音-文本和视频-文本的特征外积和深度典型相关分析来生成多模态特征表示.
⑩MISA[3]. 将每个模态投射到2个不同的子空间中，分别学习共享特征和特有特征，但该方法只考虑了单个样本内的多模态协同.
⑪MAG-BERT[25]. 通过多模态适应门，允许 BERT 在微调期间接受多模态非语言数据，使得语言模型BERT有效利用了语音和视觉模态的信息.
⑫QMF[32]. 利用量子理论中的叠加和纠缠来表述单模态和跨模态的相互作用，提高多模态融合的可解释性.
⑬HyCon[10]. 通过联合模态内对比学习、模态间对比学习和半对比学习实现多模态表示.
⑭EMFRM[11]. 在MISA方法的基础上，通过中心矩差异对模态的特征空间进行约束，但该方法也只考虑了单个样本内的多模态协同.
表3和表4分别是在多模态情感数据集CMU-MOSI和CMU-MOSEI上的对比结果. 大部分基于表示学习的多模态方法的性能优于基于张量融合的多模态方法，因为基于张量融合的方法计算维度呈指数级增长，导致计算效率差，需要大量的训练数据才能学到模态间的交互. 表示学习方法一般基于对多模态数据的先验知识，例如多模态数据的一致性和互补性，构建表示学习模型，降低了学习的复杂度. 在表示学习方法中，基于协同表示的多模态方法的性能优于大部分基于联合表示的方法，因为协同表示方法把多模态信息映射到不同的特征空间，相比于映射到同一个空间的联合表示更好地保留了模态的特有特征. 联合表示方法MAG-BERT能获得相对较好的性能，主要是因为其借助了预训练语言模型BERT强大的语义学习能力，巧妙地把语音和视觉信息集成到了BERT之中.QMF方法利用量子理论中的叠加和纠缠来表述单模态和跨模态的交互，虽然方法性能没有得到很大的提升，但提高了多模态融合的可解释性. 本文提出的CoAdMu方法在CMU-MOSI和CMU-MOSEI这2个数据集上，比最先进的基线方法在所有的评价指标都有一定程度的提升，证明了本文方法的有效性.
表 3 在CMU-MOSI数据集上与基线的对比Table 3. Comparison with Baselines on CMU-MOSI Dataset方法 MAE PCC Acc-2/% F1-score/% Acc-7/% TFN 0.970 0.633 73.9/– 73.4/– 32.1 LMF 0.912 0.668 76.4/– 75.7/– 32.8 MFM 0.951 0.662 78.1/– 78.1/– 36.2 RMFN 0.922 0.681 78.4/– 78.0/– 38.3 CIA 0.914 0.689 79.9/– 79.5/– 38.9 MCTN 0.909 0.676 79.3/– 79.1/– 35.6 RAVEN 0.915 0.691 78.0/– 76.6/– 33.2 MulT 0.871 0.698 –/83.0 –/82.8 40.0 ICCN 0.862 0.714 –/83.0 –/83.0 39.0 MISA 0.783 0.761 81.8/83.4 81.7/83.6 42.3 MAG-BERT 0.790 0.769 82.2/83.5 82.6/83.5 42.9 QMF 0.915 0.696 –/79.7 –/79.6 33.5 HyCon 0.713 0.790 –/85.2 –/85.1 46.6 EMRFM 0.722 0.785 –/84.7 –/84.8 46.1 CoAdMu（本文） 0.711 0.798 84.1/86.1 84.0/86.1 47.2 △SOTA ↓0.002 ↑0.008 ↑1.9/↑0.9 ↑1.4/↑1.0 ↑0.6 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值. 表 4 在CMU-MOSEI数据集上与基线的对比Table 4. Comparison with Baselines on CMU-MOSEI Dataset方法 MAE PCC Acc-2/% F1-score/% Acc-7/% TFN 0.610 0.671 79.4/– 79.7/– 49.8 LMF 0.608 0.677 80.6/– 81.0/– 50.0 MFM 0.602 0.692 81.1/– 81.6/– 50.7 RMFN 0.604 0.685 80.9/– 81.2/– 50.5 CIA 0.680 0.590 80.4/– 78.2/– 50.1 MCTN 0.609 0.670 79.8/– 80.6/– 49.6 RAVEN 0.614 0.662 79.1/– 79.5/– 50.0 MulT 0.580 0.703 –/82.5 –/82.3 51.8 ICCN 0.565 0.713 –/84.2 –/84.2 51.6 MISA 0.555 0.756 83.6/85.5 83.8/85.3 52.2 MAG-BERT 0.602 0.778 83.1/85.0 83.2/85.0 51.9 QMF 0.640 0.658 –/80.7 –/79.8 47.9 HyCon 0.601 0.776 –/85.4 –/85.6 52.8 EMRFM 0.600 0.775 –/85.2 –/85.3 52.3 CoAdMu（本文） 0.550 0.791 84.2/86.5 84.6/86.7 53.6 △SOTA ↓0.005 ↑0.013 ↑0.6/↑1.0 ↑0.8/↑1.1 ↑0.8 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升，–/–的左右侧分别代表（负，非负）和（负，正）的结果. 黑体数值表示最优值. 2）多模态意图识别任务的实验对比
为了验证CoAdMu方法在复杂多模态场景下的学习能力，本文在真实世界多模态意图识别的基准数据集MIntRec上，实施进一步的实验对比. 一方面，MIntRec原始数据来源于真实世界的影视片段，具有丰富的人物角色和故事情节，以及复杂的场景画面；另一方面，MIntRec包含了更为细粒度的20个意图类别，囊括了表达情绪和态度、实现目标. 本文挑选MulT，MISA，MAG-BERT，HyCon这4个先进的多模态学习方法作为基线. 整体实验结果对比如表5所示，每个类别的F1-score如表6和表7所示.
表 5 在MIntRec数据集上与基线的对比Table 5. Comparison with Baselines on MIntRec Dataset% 方法 Acc MP MR MF1 MulT 71.24 67.53 68.15 67.58 MISA 71.91 69.98 68.91 68.92 MAG-BERT 71.01 68.15 65.83 66.09 HyCon 71.33 68.93 65.21 66.37 CoAdMu（本文） 73.26 72.45 71.26 71.14 △SOTA ↑1.35 ↑2.47 ↑2.35 ↑2.22 注：△SOTA表示本文方法和最先进的方法对比，↓表示下降，↑表示提升. 黑体数值表示最优值. 表 6 “表达情绪或态度”中每个细粒度意图类别的F1-scoreTable 6. F1-score for Each Fine-grained Intent Category in “Express Emotions and Attitudes”% 方法 Complain Praise Apologize Thank Criticize Care Agree Taunt Flaunt Joke Oppose MulT 67.26 87.36 98.11 95.83 48.00 86.49 91.67 9.52 36.36 50.00 35.29 MISA 62.14 86.67 98.11 98.04 47.06 81.82 100.00 25.00 50.00 37.50 27.27 MAG-BERT 66.09 90.24 98.18 98.04 40.00 85.71 95.65 9.09 15.38 40.00 40.00 HyCon 66.67 93.83 98.11 98.11 48.89 94.74 95.65 10.00 23.53 28.57 38.10 CoAdMu（本文） 64.08 90.24 96.30 94.34 60.87 91.89 96.00 28.57 44.44 40.00 34.78 注：黑体数值表示最优值. 表 7 “实现目标”中每个细粒度意图类别的F1-scoreTable 7. F1-score for Each Fine-grained Intent Category in “Achieve Goals”% 方法 Comfort Inform Advise Arrange Introduce Leave Prevent Greet Ask for help MulT 68.57 69.72 72.00 64.00 60.00 70.27 80.00 91.67 69.57 MISA 78.79 69.57 70.59 65.00 72.00 75.00 85.71 90.91 57.14 MAG-BERT 70.00 70.23 60.47 62.22 61.90 75.00 80.00 90.91 72.73 HyCon 74.29 65.67 72.73 62.50 59.46 68.97 69.23 85.71 72.73 CoAdMu（本文） 83.33 69.64 77.19 57.78 71.79 83.87 82.76 85.71 70.59 注：黑体数值表示最优值. 从表5中可以发现，CoAdMu方法在所有的评价指标上获得了最好的效果，比最先进的基线方法在Acc，MP，MR，MF1上分别提高了1.35个百分点、2.47个百分点、2.35个百分点、2.22个百分点，提升效果比在多模态情感分析任务上更加明显. 一方面，MIntRec数据集在真实场景下采集，可能存在不同级别的噪声；另一方面，MIntRec数据集中的每种模态在不同时刻可能表现出不同的作用类型. 例如，在表达Agree和Thank这2种意图时的文本具有相对固定的表达方式，语音和视觉特征的作用并不明显. 然而，在表达Taunt和Joke意图时，语音和视频中的语气和表情是很好的补充特征. 基线方法基本上都是“重表示，轻融合”，在表示学习上设计了复杂的方式，而在特征融合上采用简单的拼接方式，没有突出不同特征的作用大小，导致模型对噪声数据敏感.CoAdMu采用协同表示和自适应融合的方式，不仅很好地学习了多模态表示，而且可以根据不同的类别类型、作用大小自动调整特征的融合权重，有效降低了噪声数据的干扰，所以获得了相对较好的效果.
从表6和表7发现，同一个方法在不同的意图分类上具有不同的性能，没有哪个方法能够在所有的类别上获得最好的性能.MulT在Complain，Joke，Greet这3个类别上获得了最高评分；MISA在Agree，Flaunt，Arrange，Introduce，Prevent这5个类别上获得了最高评分；MAG-BERT在Apologize，Oppose，Inform，Ask for help这4个类别上获得了最高评分；
HyCon在Praise，Thank，Care，Advise这4个类别上获得了最高评分；CoAdMu在Criticize，Taunt，Comfort，Leave这4个类别上获得了最高评分. 虽然CoAdMu获得的最高评分总个数不是最多，但平均的F1-score值最大. 通过最高分的分布发现，HyCon擅长于情感表达类的意图识别，MISA擅长于表达态度和实现目标类的意图识别，MulT，MAG-BERT，CoAdMu在不同的任务上表现比较均衡. 所有方法在大部分意图类别上都能获得较好的分类效果，但在Taunt，Flaunt，Joke，Oppose这4个类别上的分类效果不佳，因为这些意图的识别需要结合语言、语气、表情、动作和情景等做深层次的推理，这也说明CoAdMu和基线方法在多模态深层推理任务上还存在不足.
3.2.3 消融实验分析
为了进一步分析不同模块对CoAdMu的贡献，我们设计了11组消融实验方法. 方法①～③是对不同模态的消融；方法④～⑥是对多模态表示模块中相关损失函数的消融；方法⑦去除多模态表示模块，直接把{{\boldsymbol{u}}^t}，{{\boldsymbol{u}}^a}，{{\boldsymbol{u}}^v}输入多模态融合层；方法⑧采用分段训练方式，首先根据损失函数L = {L_{{\text{intra}}}} + {L_{{\text{inter}}}} + {L_{{\text{recon}}}}对多模态表示模块进行预训练，然后，再根据损失函数{L_{{\text{task}}}}对多模态融合模块和结果预测模块进行训练；方法⑨⑩分别去除多模态特征融合中的视觉门控神经单元和语音门控神经单元；方法⑪去除整个多模态融合模块，采用简单相加的方式进行融合. 实验结果如表8所示.
表 8 消融实验结果Table 8. Ablation Experiment Results方法 CMU-MOSI CMU-MOSEI MIntRec MAE Acc-7/% MAE Acc-7/% Acc/% MF1/% CoAdMu（本文） 0.711 47.2 0.550 53.6 73.3 71.1 ①（–）Text 1.372 22.6 0.790 24.6 29.9 22.8 ②（–）Video 0.786 44.7 0.561 50.9 71.5 67.4 ③（–）Audio 0.730 46.1 0.557 52.0 73.1 70.8 ④（–）Lintra 0.791 43.9 0.568 49.4 71.4 68.9 ⑤（–）Linter 0.734 45.8 0.559 51.6 72.6 70.5 ⑥（–）Lrecon 0.798 43.2 0.570 49.1 69.5 67.6 ⑦（–）MultRe 0.803 42.6 0.575 48.4 70.6 68.5 ⑧（*）MultRe 0.784 44.9 0.562 50.9 71.6 69.4 ⑨（–）Gate_V 0.805 42.3 0.572 48.7 69.6 66.7 ⑩（–）Gate_A 0.728 46.6 0.555 52.5 72.6 70.1 ⑪（–）MultFu 0.807 42.0 0.578 48.0 69.1 66.3 通过方法①～③的实验结果发现，去除文本对模型性能的影响最大，一方面的原因是文本相比于语音和视频包含了更多的信息量；另一方面得益于大规模预训练语言模型的应用，提取的文本特征的质量远高于语音和视觉特征. 去除视频比去除语音对方法的性能影响更大，这是因为相比于语音，视觉特征和文本特征的冗余性相对较小，可以更好地补充文本特征.
通过方法④～⑥的实验结果发现，去除任何一个多模态表示学习的损失函数都会降低模型的性能，这是因为样本内的协同损失函数{L_{{\text{intra}}}}保证了共享特征的相似性和特有特征的差异性；样本间的协同损失函数{L_{{\text{inter}}}}保证了同类别样本的特征具有相似性，不同类别样本的特征具有差异性；样本重构损失函数{L_{{\text{recon}}}}使得共享特征和特有特征保留了初始特征空间的相关性质，避免学习到不相干的特征表示. 通过方法⑦的实验结果发现，如果去除多模态表示学习模块，会对CoAdMu的性能造成较大的影响. 这是因为多模态数据存在互补性和一致性，对其共享特征和特有特征分开学习，能提供更加全面的视图. 通过方法⑧的实验结果发现，采用分段训练的方式会降低CoAdMu的性能，因为相比端到端的训练方式，分段训练缺乏灵活性和领域适配能力.
通过方法⑨～⑪的实验结果发现，去除多模态融合中的视觉门控神经网络、语音门控神经网络或者整个融合模块都会影响CoAdMu的性能，因为语音和视频可能在不同时刻表现出不同的作用类型和不同级别的噪声，门控神经网络可以根据特征对预测结果的作用大小自动分配融合权重，能有效降低噪声的干扰. 相比于语音门控神经网络，视觉门控神经网络起到了更大的作用，这是因为视觉特征相比于语音特征对预测结果起到了更大的作用，方法②③也印证了这一点. 从总体实验结果看，本文设计的每个模块都发挥着各自的作用，去除任何一个模块都会影响方法的性能，证明了CoAdMu设计的合理性.
3.2.4 误差分析
为了对预测结果的误差进行详细分析，本文对多模态意图识别的测试结果混淆矩阵进行可视化，如图6所示. 横坐标为预测标签，纵坐标为真实标签，颜色深浅代表预测概率的大小，对角线位置的亮度越高，说明CoAdMu在该类别的精准率越高. 总体上，CoAdMu在大部分意图类别上获得了较高的精准率，例如，在Praise，Apologize，Thank，Agree，Care等类别上获得了90%以上的精准率. 然而，在Taunt，Joke，Oppose这3个类别上表现不佳，因为这些意图需要结合语言、语气、表情、动作和情景等做深层次的推理，有时候连人也无法准确地判断. 从图6也发现，CoAdMu容易把Complain误判成Criticize或Oppose，Criticize误判成 Taunt，Taunt误判成Joke，Joke误判成 Flaunt，Inform误判成 Arrange.这也是容易理解的，因为这些意图类别具有很高的相似性，有时人也会误判. 虽然我们通过样本间的协同，保证同类别样本的特征具有相似性，不同类样本的特征具有差异性，但这些类别的语义十分相似，还是不能很好地将其区分开.
3.2.5 融合权重分析
为了进一步验证本文提出的多模态特征融合方法的有效性，对MIntRec测试集上每个类别的语音和视觉特征的融合权重计算平均值，结果如表9所示. 从表9中可以看出，几乎所有类别的视觉特征都获得了很高的权重值，因为视觉特征可以很好地辅助文本特征，在消融实验的方法②中也印证了这一点. 而对于语音特征，不同的类别具有不同的融合权重值，例如Apologize，Complain，Criticize，Praise，Thank获得了较高的权重值，而Advise，Arrange，Ask for help，Care的权重值比较低. 这是因为相比于后者，前者具有明显的语气特征，能为意图的判断提供帮助. 从这些结果中可以看出，CoAdMu实现了自适应的多模态特征融合，当特征能为决策提供有效信息时则增加融合权重，反之则减少.
表 9 不同意图类别下的语音和视觉特征融合权重Table 9. Speech and Visual Feature Fusion Weights under Different Intent Categories类别 语音特征融合权重 视觉特征融合权重 Advise 0.17 0.97 Agree 0.40 0.98 Apologize 0.93 0.98 Arrange 0.24 0.99 Ask for help 0.15 0.99 Care 0.24 0.97 Comfort 0.80 0.99 Complain 0.92 0.94 Criticize 0.93 0.98 Flaunt 0.88 0.92 Greet 0.47 0.97 Inform 0.73 0.95 Introduce 0.72 0.96 Joke 0.85 0.98 Leave 0.78 0.96 Oppose 0.50 0.99 Praise 0.96 0.68 Prevent 0.52 0.98 Taunt 0.87 0.96 Thank 0.98 0.92 3.2.6 可视化特征分布
本文从MIntRec测试集中挑选Complain和Inform这2类样本，利用PCA对样本的初始模态特征、共享和特有特征进行降维并可视化，如图7所示.
图7（a）是经过Transformer预处理后的文本初始特征{{\boldsymbol{u}}^t}、语音初始特征{{\boldsymbol{u}}^a}和视频初始特征{{\boldsymbol{u}}^v}的分布；图7（b）是只考虑样本内多模态协同的共享特征{\boldsymbol{h}}_{\text{c}}^t，{\boldsymbol{h}}_{\text{c}}^a，{\boldsymbol{h}}_{\text{c}}^v和特有特征{\boldsymbol{h}}_{\text{p}}^t，{\boldsymbol{h}}_{\text{p}}^a，{\boldsymbol{h}}_{\text{p}}^v的分布；图7（c）是同时考虑样本内和样本间多模态协同的共享特征{\boldsymbol{h}}_{\text{c}}^t，{\boldsymbol{h}}_{\text{c}}^a，{\boldsymbol{h}}_{\text{c}}^v和特有特征{\boldsymbol{h}}_{\text{p}}^t，{\boldsymbol{h}}_{\text{p}}^a，{\boldsymbol{h}}_{\text{p}}^v的分布；图7（d）（e）分别是对图7（c）（b）中视频特有特征{\boldsymbol{h}}_{\text{p}}^v的放大视图.
从图7（a）中可以看出，由于文本、语音和视频的异构性，它们的初始特征空间的分布具有很大的差异性. 从图7（b）（e）中可以看出，只考虑样本内多模态协同，所有样本的共享特征的分布具有相似性，特有特征具有差异性，但不同类别样本的特征没有很好地被区分. 从图7（c）（d）中可以看出，同时考虑样本内和样本间的多模态协同，不仅保证了共享特征的相似性和特有特征的差异性，而且实现了不同类别样本的特征具有一定的差异性.
4. 总 结
多模态表示和融合是多模态机器学习的2个关键任务，针对多模态协同表示时没有考虑样本间协同和多模态融合对噪声数据敏感的问题，本文提出一种基于样本内外协同表示和自适应融合的多模态学习方法. 通过构建模态共用和模态特定编码器，基于样本内和样本间的多模态协同约束，学习模态的共享特征和特有特征. 通过注意力机制和门控神经网络实现多模态特征的自适应融合，有效降低了噪声数据的干扰. 在多模态意图识别和多模态情感分析任务上的实验结果表明，本文方法在多个评价指标上优于基线方法，大量的消融实验分析、误差分析、融合权重分析和特征可视化分析也证明了本文方法的有效性. 然而，在实验中也发现本文方法和目前已有方法在多模态联合的深层次推理任务上还有很大的提升空间，例如讽刺和暗喻识别任务. 在下一步的研究计划中，将设计融合知识的多模态学习方法，提升模型在深层次推理任务上的性能.
作者贡献声明：黄学坚负责研究方案的构建，并完成实验和撰写论文；马廷淮提出了算法思路和实验方案；王根生提出了指导意见并修改论文.
-
![]()
图 1 2018—2022年调研文献来源统计分析
Figure 1. Statistics analysis of research literature source from 2018 to 2022
![]()
图 5 按云服务商数量分类的2种模式
Figure 5. Two modes classified by the number of cloud service providers
![]()
图 6 机器学习安全外包研究模型统计
Figure 6. Model statistics of machine learning security outsourced research
表 1 机器学习外包计算模型的特点
Table 1 Features of Machine Learning Outsourced Computing Modes
模式应用趋势 特点 由模型训练到模型托管 支持多用户 减少用户与云服务商交互 支持密文托管 支持用户离线 支持模型机密性保护 考虑半可信云服务器威胁 由单云到多云 分摊计算，支持MPC协议 减少用户与云服务商交互 支持用户离线 增加恶意云服务器的威胁 
下载: 导出CSV
表 5 决策树外包方案对比
Table 5 Comparison of Decision Tree Outsourced Schemes
来源 单云/多云 加密模型 外包阶段 加密工具 威胁模型 支持随机森林 离线 文献[46] 单云 × 推理 HE+ GC+OT 半可信 × × 文献[47] 单云 × 推理 GC, OT, ORAM 半可信 × × 文献[49] 多云 √ 推理 秘密共享 半可信 × √ 文献[50] 多云 √ 训练+推理 FHE 半可信 √ √ 文献[51] 多云 √ 推理 GC+秘密共享 恶意用户 × √ 文献[52] 单云 √ 推理 对称加密 半可信 × √ 文献[53] 单云 √ 推理 HE 恶意用户 × × 文献[54] 多云 √ 推理 HE+秘密共享 半可信 × √ 文献[55] 多云 × 训练+推理 DT-PKC+秘密共享 半可信 × √ 文献[56] 单云 √ 推理 多密钥HE+OT 半可信 √ × 文献[57] 单云 √ 训练+推理 矩阵盲化 半可信 × √ 文献[58] 单云 √ 推理 HE 半可信 × √
下载: 导出CSV
表 6 神经网络外包方案对比
Table 6 Comparison of Neural Network Outsourced Schemes
来源 算法 单云/多云 外包阶段 加密工具 威胁模型 可验证 模型隐私 文献[60] SLP 单云 训练+推理 矩阵盲化 半可信 × √ 文献[61] SLP 单云 训练+推理 矩阵盲化 恶意云 √ √ 文献[62] DNN 单云 训练+推理 DT-PKC 半可信 × √ 文献[63] R-CNN 多云 训练 秘密共享 半可信 × √ 文献[64] DNN 单云 训练 加噪 半可信 × × 文献[65] CNN 多云 训练 秘密共享 半可信 × × 文献[66] DNN 单云 训练 矩阵盲化 半可信 × √ 文献[67] DNN 多云 推理 秘密共享 半可信 × √ 文献[68] DNN 多云 推理 秘密共享 半可信 × × 文献[69] CNN 多云 推理 秘密共享 半可信 × × 文献[70] DNN 多云 推理 秘密共享 半可信 × √ 文献[71] CNN 单云 推理 加性HE 半可信 × × 文献[72] DNN 单云 推理 HE+ GC+秘密共享 半可信 × √ 文献[73] CNN 单云 推理 HE+秘密共享 半可信 × √ 文献[74] CNN 单云 推理 HE+ GC+秘密共享 恶意用户 × √ 文献[75] CNN 多云 推理 GC+秘密共享 半可信 × √ 文献[76] DNN 多云 推理 GC 恶意云 × √ 文献[77] DNN 多云 推理 HE+秘密共享 半可信 × √ 文献[78] DNN 多云 训练+推理 GC+秘密共享 半可信 × √ 文献[79−80] DNN 多云 推理 秘密共享 半可信 × √ 文献[81−84] CNN 多云 推理 GC+秘密共享 恶意云 × √
下载: 导出CSV
-
[1] 李印,陈勇,赵景欣,等. 泛在计算安全综述[J]. 计算机研究与发展,2022,59(5):1054−1081 doi: 10.7544/issn1000-1239.20211248 Li Yin, Chen Yong, Zhao Jingxin, et al. Survey of ubiquitous computing security[J]. Journal of Computer Research and Development, 2022, 59(5): 1054−1081 (in Chinese) doi: 10.7544/issn1000-1239.20211248
[2] 周俊,沈华杰,林中允,等. 边缘计算隐私保护研究进展[J]. 计算机研究与发展,2020,57(10):2027−2051 doi: 10.7544/issn1000-1239.2020.20200614 Zhou Jun, Shen Huajie, Lin Zhongyun, et al. Research advances on privacy preserving in edge computing[J]. Journal of Computer Research and Development, 2020, 57(10): 2027−2051 (in Chinese) doi: 10.7544/issn1000-1239.2020.20200614
[3] Statista. Public cloud services end-user spending worldwide from 2017 to 2023[EB/OL]. [2022-08-15]. https://www.statista.com/statistics/273818/global-revenue-generated-with-cloud-computing-since-2009/
[4] Shan Zihao, Ren Kui, Blanton M, et al. Practical secure computation outsourcing: A survey[J]. ACM Computing Surveys, 2019, 51(2): 1−40
[5] Zhou Lei, Fu Anmin, Yang Guomin, et al. Efficient certificateless multi-copy integrity auditing scheme supporting data dynamics[J]. IEEE Transactions on Dependable and Secure Computing, 2022, 19(2): 1118−1132
[6] Liu Bo, Ding Ming, Shaham S, et al. When machine learning meets privacy: A survey and outlook[J]. ACM Computing Surveys, 2022, 54(2): 1−36
[7] 李帅,付安民,苏铓,等. 基于单服务器的群上幂指数安全外包计算方案[J]. 计算机研究与发展,2018,55(11):2482−2489 doi: 10.7544/issn1000-1239.2018.20170420 Li Shuai, Fu Anmin, Su Mang, et al. Secure and verifiable protocol for outsourcing group power exponent to a single server[J]. Journal of Computer Research and Development, 2018, 55(11): 2482−2489 (in Chinese) doi: 10.7544/issn1000-1239.2018.20170420
[8] 聂恒太,王少辉. 云环境下矩阵乘法外包计算方案[J]. 计算机技术与发展,2018,28(8):119−123 doi: 10.3969/j.issn.1673-629X.2018.08.025 Nie Hengtai, Wang Shaohui. A matrix multiplication outsourcing calculation scheme in cloud environment[J]. Computer Technology and Development, 2018, 28(8): 119−123 (in Chinese) doi: 10.3969/j.issn.1673-629X.2018.08.025
[9] Fu Anmin, Chen Zhenzhu, Mu Yi, et al. Cloud-based outsourcing for enabling privacy-preserving large-scale non-negative matrix factorization[J]. IEEE Transactions on Services Computing, 2022, 15(1): 266−278 doi: 10.1109/TSC.2019.2937484
[10] 李晓伟,陈本辉,杨邓奇,等. 边缘计算环境下安全协议综述[J]. 计算机研究与发展,2022,59(4):765−780 doi: 10.7544/issn1000-1239.20210644 Li Xiaowei, Chen Benhui, Yang Dengqi, et al. Review of security protocols in edge computing environments[J]. Journal of Computer Research and Development, 2022, 59(4): 765−780 (in Chinese) doi: 10.7544/issn1000-1239.20210644
[11] Kumar M, Sharma S C, Goel A, et al. A comprehensive survey for scheduling techniques in cloud computing[J]. Journal of Network and Computer Applications, 2019, 143: 1−33 doi: 10.1016/j.jnca.2019.06.006
[12] Domingo-Ferrer J, Farras O, Ribes-González J, et al. Privacy-preserving cloud computing on sensitive data: A survey of methods, products and challenges[J]. Computer Communications, 2019, 140: 38−60
[13] Shama T, Wang Tian, Giulio C D, et al. Towards inclusive privacy protections in the cloud[C]//Prof of the 18th Int Conf on Applied Cryptography and Network Security. Berlin: Springer, 2020: 337−359
[14] 周纯毅,陈大卫,王尚,等. 分布式深度学习隐私与安全攻击研究进展与挑战[J]. 计算机研究与发展,2021,58(5):927−943 doi: 10.7544/issn1000-1239.2021.20200966 Zhou Chunyi, Chen Dawei, Wang Shang, et al. Research and challenge of distributed deep learning privacy and security attack[J]. Journal of Computer Research and Development, 2021, 58(5): 927−943 (in Chinese) doi: 10.7544/issn1000-1239.2021.20200966
[15] Kleinbaum D G, Klein M. Logistic Regression: A Self-learning Text[M]. Berlin: Springer, 2010
[16] Han K, Hong S, Cheon J H, et al. Logistic regression on homomorphic encrypted data at scale[C]//Proc of the 31st AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 9466−9471
[17] Bos J W, Lauter K, Naehrig M. Private predictive analysis on encrypted medical data[J]. Journal of Biomedical Informatics, 2014, 50: 234−243 doi: 10.1016/j.jbi.2014.04.003
[18] Aono Y, Hayashi T, Trieu P L, et al. Scalable and secure logistic regression via homomorphic encryption[C]//Proc of the 6th ACM Conf on Data and Application Security and Privacy. New York: ACM, 2016: 142−144
[19] Jiang Yichen, Hamer J, Wang Chenghong, et al. SecureLR: Secure logistic regression model via a hybrid cryptographic protocol[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2018, 16(1): 113−123
[20] Fan Yongkai, Bai Jianrong, Lei Xia, et al. Privacy preserving based logistic regression on big data[J]. Journal of Network and Computer Applications, 2020, 171: 1−10
[21] Yu Xiaopeng, Zhao Wei, Huang Yunfan, et al. Privacy-preserving outsourced logistic regression on encrypted data from homomorphic encryption[J]. Security and Communication Networks, 2022, 2022: 1−17
[22] Byun J, Lee W, Lee J. Parameter-free HE-friendly logistic regression[J]. Advances in Neural Information Processing Systems, 2021, 34: 8457−8468
[23] Murphy K P. Naive Bayes classifiers[EB/OL]. [2022-08-15]. https://www.cs.ubc.ca/~murphyk/Teaching/CS340-Fall06/reading/NB.pdf
[24] Li Tong, Huang Zhengan, Li Ping, et al. Outsourced privacy-preserving classification service over encrypted data[J]. Journal of Network and Computer Applications, 2018, 106: 100−110 doi: 10.1016/j.jnca.2017.12.021
[25] Li Tong, Li Xuan, Zhong Xingyi, et al. Communication-efficient outsourced privacy-preserving classification service using trusted processor[J]. Information Sciences, 2019, 505: 473−486 doi: 10.1016/j.ins.2019.07.047
[26] Chai Yanting, Zhan Yu, Wang Baocang, et al. Improvement on a privacy-preserving outsourced classification protocol over encrypted data[J]. Wireless Networks, 2020, 26(6): 4363−4374 doi: 10.1007/s11276-020-02329-9
[27] Okamoto T, Uchiyama S. A new public-key cryptosystem as secure as factoring[C]//Proc of the 17th Int Conf on the Theory and Applications of Cryptographic Techniques. Berlin: Springer, 1998: 308−318
[28] Li Tong, Li Jin, Liu Zheli, et al. Differentially private naive Bayes learning over multiple data sources[J]. Information Sciences, 2018, 444: 89−104 doi: 10.1016/j.ins.2018.02.056
[29] Vaidya J, Shafiq B, Basu A, et al. Differentially private naive Bayes classification[C]//Proc of 2013 IEEE/WIC/ACM Int Joint Conf on Web Intelligence and Intelligent Agent Technologies. Piscataway, NJ: IEEE, 2013: 571−576
[30] Huai Mengdi, Huang Liusheng, Yang Wei, et al. Privacy-preserving naive Bayes classification[C]//Proc of the 8th Int Conf on Knowledge Science, Engineering and Management. Berlin: Springer, 2015: 627−638
[31] Wang Fengwei, Zhu Hui, Lu Rongxing, et al. Achieve efficient and privacy-preserving disease risk assessment over multi-outsourced vertical datasets[J]. IEEE Transactions on Dependable and Secure Computing, 2020, 19(33): 1492−1504
[32] Pisner D A, Schnyer D M. Support Vector Machine[M]. New York: Academic Press, 2020
[33] Lin K P, Chen M S. Privacy-preserving outsourcing support vector machines with random transformation[C]//Proc of the 16th ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining. New York: ACM, 2010: 363−372
[34] Rahulamathavan Y, Phan R C W, Veluru S, et al. Privacy-preserving multi-class support vector machine for outsourcing the data classification in cloud[J]. IEEE Transactions on Dependable and Secure Computing, 2014, 11(5): 467−479 doi: 10.1109/TDSC.2013.51
[35] Li Xingxin, Zhu Youwen, Wang Jian, et al. On the soundness and security of privacy-preserving SVM for outsourcing data classification[J]. IEEE Transactions on Dependable and Secure Computing, 2017, 15(5): 906−912
[36] Liu Ximeng, Deng R H, Choo K K R, et al. Privacy-preserving outsourced support vector machine design for secure drug discovery[J]. IEEE Transactions on Cloud Computing, 2018, 8(2): 610−622
[37] Wang Jing, Wu Libing, Wang Huaqun, et al. An efficient and privacy-preserving outsourced support vector machine training for Internet of medical things[J]. IEEE Internet of Things Journal, 2020, 8(1): 458−473
[38] Huang Hai, Wang Yongjian, Zong Haoren. Support vector machine classification over encrypted data[J]. Applied Intelligence, 2022, 52(6): 5938−5948 doi: 10.1007/s10489-021-02727-2
[39] Barnett A, Santokhi J, Simpson M, et al. Image classification using non-linear support vector machines on encrypted data[EB/OL]. [2022-08-15].https://eprint.iacr.org/2017/857.pdf
[40] Shao Yuhang, Tian Chengliang, Han Lidong, et al. Privacy-preserving and verifiable cloud-aided disease diagnosis and prediction with hyperplane decision-based classifier[J]. IEEE Internet of Things Journal, 2022, 9(21): 21648−21661 doi: 10.1109/JIOT.2022.3181734
[41] Chen Yange, Mao Qinyu, Wang Baocang, et al. Privacy-preserving multi-class support vector machine model on medical diagnosis[J]. IEEE Journal of Biomedical and Health Informatics, 2022, 26(7): 3342−3353 doi: 10.1109/JBHI.2022.3157592
[42] Charbuty B, Abdulazeez A. Classification based on decision tree algorithm for machine learning[J]. Journal of Applied Science and Technology Trends, 2021, 2(1): 20−28 doi: 10.38094/jastt20165
[43] Bost R, Popa R A, Tu S, et al. Machine learning classification over encrypted data[C/OL]//Proc of the 22nd Symp on Network and Distributed System Security. Piscataway, NJ: IEEE, 2015[2022-08-15]. https://www.ndss-symposium.org/wp-content/uploads/2017/09/04_1_2.pdf
[44] Wu D J, Feng T, Naehrig M, et al. Privately evaluating decision trees and random forests[C]//Proc of Privacy Enhancing Technologies Symp. Berlin: Springer, 2016: 335−355
[45] Tai R K H, Ma J P K, Zhao Yongjun, et al. Privacy-preserving decision trees evaluation via linear functions[C]//Proc of European Symp on Research in Computer Security. Berlin: Springer, 2017: 494−512
[46] Kiss Á, Naderpour M, Liu Jian, et al. Sok: Modular and efficient private decision tree evaluation[C]//Proc of Privacy Enhancing Technologies Symp. Berlin: Springer, 2019: 187−208
[47] Tueno A, Kerschbaum F, Katzenbeisser S. Private evaluation of decision trees using sublinear cost[C]//Proc of Privacy Enhancing Technologies Symp. Berlin: Springer, 2019: 266−286
[48] Zheng Yifeng, Duan Huayi, Wang Cong. Towards secure and efficient outsourcing of machine learning classification[C]//Proc of the 24th European Symp on Research in Computer Security. Berlin: Springer, 2019: 22−40
[49] Zheng Yifeng, Duan Huayi, Wang Cong, et al. Securely and efficiently outsourcing decision tree inference[J]. IEEE Transactions on Dependable and Secure Computing, 2022, 19(3): 1841−1855 doi: 10.1109/TDSC.2020.3040012
[50] Akavia A, Leibovich M, Resheff Y S, et al. Privacy-preserving decision trees training and prediction[J]. ACM Transactions on Privacy and Security, 2022, 25(3): 1−30
[51] Ma J P K, Zhao Yongjun, Tai R K H. Let's stride blindfolded in a forest: Sublinear multi-client decision trees evaluation[C/OL]//Proc of the 28th Symp on Network and Distributed System Security. Piscataway, NJ: IEEE, 2021[2022-08-15]. https://www.ndss-symposium.org/wp-content/uploads/ndss2021_5C-1_23166_paper.pdf
[52] Liang Jinwen, Qin Zheng, Xiao Sheng, et al. Efficient and secure decision tree classification for cloud-assisted online diagnosis services[J]. IEEE Transactions on Dependable and Secure Computing, 2021, 18(4): 1632−1644 doi: 10.1109/TDSC.2019.2922958
[53] Wang Chen, Wang Andi, Xu Jian, et al. Outsourced privacy-preserving decision tree classification service over encrypted data[J]. Journal of Information Security and Applications, 2020, 53: 1−13
[54] Liu Liu, Su Jinshu, Zhao Baokang, et al. Towards an efficient privacy-preserving decision tree evaluation service in the Internet of things[J]. Symmetry, 2020, 12(1): 1−16
[55] Liu Liu, Chen Rongmao, Liu Ximeng, et al. Towards practical privacy-preserving decision tree training and evaluation in the cloud[J]. IEEE Transactions on Information Forensics and Security, 2020, 15: 2914−2929 doi: 10.1109/TIFS.2020.2980192
[56] Aloufi A, Hu Peizhao, Wong H W H, et al. Blindfolded evaluation of random forests with multi-key homomorphic encryption[J]. IEEE Transactions on Dependable and Secure Computing, 2021, 18(4): 1821−1835
[57] Wang Qinfan, Cui Shujie, Zhou Lei, et al. EnclaveTree: Privacy-preserving data stream training and inference using TEE[C]//Proc of the 17th ACM Asia Conf on Computer and Communications Security. New York: ACM, 2022: 741−755
[58] Bai Jianli, Song Xiangfu, Cui Shujie, et al. Scalable private decision tree evaluation with sublinear communication[C]//Proc of the 17th ACM Asia Conf on Computer and Communications Security. New York: ACM, 2022: 843−857
[59] Jain A K, Mao Jianchang, Mohiuddin K M. Artificial neural networks: A tutorial[J]. Computer, 1996, 29(3): 31−44 doi: 10.1109/2.485891
[60] Zhang Chuan, Zhu Liehuang, Xu Chang, et al. PPDP: An efficient and privacy-preserving disease prediction scheme in cloud-based e-Healthcare system[J]. Future Generation Computer Systems, 2018, 79: 16−25 doi: 10.1016/j.future.2017.09.002
[61] Zhang Xiaoyu, Chen Xiaofeng, Wang Jianfeng, et al. Verifiable privacy-preserving single-layer perceptron training scheme in cloud computing[J]. Soft Computing, 2018, 22(23): 7719−7732 doi: 10.1007/s00500-018-3233-7
[62] Ma Xindi, Ma Jianfeng, Li Hui, et al. PDLM: Privacy-preserving deep learning model on cloud with multiple keys[J]. IEEE Transactions on Services Computing, 2018, 14(4): 1251−1263
[63] Liu Yang, Ma Zhuo, Liu Ximeng, et al. Privacy-preserving object detection for medical images with faster R-CNN[J]. IEEE Transactions on Information Forensics and Security, 2019, 17: 69−84
[64] Osia S A, Shamsabadi A S, Sajadmanesh S, et al. A hybrid deep learning architecture for privacy-preserving mobile analytics[J]. IEEE Internet of Things Journal, 2020, 7(5): 4505−4518 doi: 10.1109/JIOT.2020.2967734
[65] Wagh S, Gupta D, Chandran N. SecureNN: 3-Party secure computation for neural network training[C]//Proc of Privacy Enhancing Technologies Symp. Berlin: Springer, 2019: 26−49
[66] Melissourgos D, Gao Hanzhi, Ma Chaoyi, et al. On outsourcing artificial neural network learning of privacy-sensitive medical data to the cloud[C]//Prof of the 33rd Int Conf on Tools with Artificial Intelligence. Piscataway, NJ: IEEE, 2021: 381−385
[67] Shamsabadi A S, Gascón A, Haddadi H, et al. PrivEdge: From local to distributed private training and prediction[J]. IEEE Transactions on Information Forensics and Security, 2020, 15: 3819−3831
[68] Liu Xiaoning, Zheng Yifeng, Yuan Xingliang, et al. MediSC: Towards secure and lightweight deep learning as a medical diagnostic service[C]//Prof of the 26th European Symp on Research in Computer Security. Berlin: Springer, 2021: 519−541
[69] Huang Kai, Liu Ximeng, Fu Shaojing, et al. A lightweight privacy-preserving CNN feature extraction framework for mobile sensing[J]. IEEE Transactions on Dependable and Secure Computing, 2021, 18(3): 1441−1455
[70] Zheng Yifeng, Duan Huayi, Tang Xiaoting, et al. Denoising in the dark: Privacy-preserving deep neural network-based image denoising[J]. IEEE Transactions on Dependable and Secure Computing, 2021, 18(3): 1261−1275 doi: 10.1109/TDSC.2019.2907081
[71] Juvekar C, Vaikuntanathan V, Chandrakasan A. GAZELLE: A low latency framework for secure neural network inference[C]//Proc of the 28th USENIX Security Symp. Berkeley, CA: USENIX Association, 2018: 1651−1669
[72] Mishra P, Lehmkuhl R, Srinivasan A, et al. Delphi: A cryptographic inference service for neural networks[C]//Proc of the 29th USENIX Security Symp. Berkeley, CA: USENIX Association, 2020: 2505−2522
[73] Zhang Qiao, Xin Chunsheng, Wu Hongyi. GALA: Greedy computation for linear algebra in privacy-preserved neural networks[C/OL]//Proc of the 28th Symp on Network and Distributed System Security. Piscataway, NJ: IEEE, 2021 [2022-08-15]. https://www.ndss-symposium.org/wp-content/uploads/ndss2021_5C-3_24351_paper.pdf
[74] Lehmkuhl R, Mishra P, Srinivasan A, et al. Muse: Secure inference resilient to malicious clients[C]//Proc of the 30th USENIX Security Symp. Berkeley, CA: USENIX Association, 2021: 2201−2218
[75] Riazi M S, Weinert C, Tkachenko O, et al. Chameleon: A hybrid secure computation framework for machine learning applications[C]//Proc of the 13th ACM Asia Conf on Computer and Communications Security. New York: ACM, 2018: 707−721
[76] Riazi M S, Samragh M, Chen Hao, et al. XNOR: XNOR-based oblivious deep neural network inference[C]//Proc of the 28th USENIX Security Symp. Berkeley, CA: USENIX Association, 2019: 1501−1518
[77] Rathee D, Rathee M, Kumar N, et al. CrypTFlow2: Practical 2-party secure inference[C]//Proc of ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2020: 325−342
[78] Agrawal N, Shahin S A, Kusner M J, et al. QUOTIENT: Two-party secure neural network training and prediction[C]//Proc of ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2019: 1231−1247
[79] Liu Xiaoning, Wu Bang, Yuan Xingliang, et al. Leia: A lightweight cryptographic neural network inference system at the edge[J]. IEEE Transactions on Information Forensics and Security, 2021, 17: 237−252
[80] Liu Xiaoning, Zheng Yifeng, Yuan Xingliang, et al. Securely outsourcing neural network Inference to the cloud with lightweight techniques[J/OL]. IEEE Transactions on Dependable and Secure Computing, 2022[2022-10-25]. https://ieeexplore.ieee.org/document/9674792
[81] Chaudhari H, Rachuri R, Suresh A. Trident: Efficient 4PC framework for privacy preserving machine learning[C/OL]//Proc of the 27th Symp on Network and Distributed System Security. Piscataway, NJ: IEEE, 2020[2022-08-15]. https://www.ndss-symposium.org/wp-content/uploads/2020/02/23005-paper.pdf
[82] Mohassel P, Rindal P. ABY3: A mixed protocol framework for machine learning[C]//Proc of ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2018: 35−52
[83] Koti N, Pancholi M, Patra A, et al. SWIFT: Super-fast and robust privacy-preserving machine learning[C]//Proc of the 30th USENIX Security Symp. Berkeley, CA: USENIX Association, 2021: 2651−2668
[84] Koti N, Patra A, Rachuri R, et al. Tetrad: Actively secure 4PC for secure training and inference[C/OL]//Proc of the 29th Symp on Network and Distributed System Security. Piscataway, NJ: IEEE, 2022[2022-08-15]. https://www.ndss-symposium.org/wp-content/uploads/2022−120-paper.pdf
[85] Liu Yingqi, Ma Shiqing, Aafer Y, et al. Trojaning attack on neural networks[C/OL]//Proc of the 25th Symp on Network and Distributed System Security. Piscataway, NJ: IEEE, 2018[2022-08-15]. https://www.ndss-symposium.org/wp-content/uploads/2018/02/ndss2018_03A-5_Liu_paper.pdf
-
期刊类型引用(2)
1. 王全新，刘音. Android应用中的Java题库系统的设计与优化. 信息记录材料. 2024(01): 142-144 . 
百度学术
2. 杜厚勤. 档案一体化平台中的分布式数据库优化研究. 信息与电脑(理论版). 2024(17): 10-13 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 403
- HTML全文浏览量: 95
- PDF下载量: 203
- 被引次数: 4
