跨媒体语义关联增强的网络视频热点话题检测

张承德; 刘雨宣; 肖霞; 梅凯

doi:10.7544/issn1000-1239.202220560

跨媒体语义关联增强的网络视频热点话题检测

1.
中南财经政法大学信息与安全工程学院　武汉　430073
2.
华中农业大学公共管理学院　武汉　430070

基金项目: 国家社会科学基金一般项目（22BXW081）；国家自然科学基金面上项目 (G041401)；教育部人文社会科学研究青年基金项目 (20YJC860040)；湖北省高等学校哲学社会科学研究重大项目（21ZD018）；2020年度武汉市科技局应用基础前沿项目（2020010601012183）；湖北省高等学校实验室研究项目（HBSY2021-58）；中南财经政法大学中央高校基本科研业务费专项资金(202211411, 202151423, 202211415, 202211405)

详细信息

作者简介:
张承德: 1982年生. 博士，副教授. AAIA，CCF，IEEE会员. 主要研究方向为多媒体信息检索、数据分析和机器学习

刘雨宣: 1996年生. 硕士研究生. CCF会员. 主要研究方向为多媒体信息检索、数据挖掘和图像处理

肖霞: 1986年生. 博士. 主要研究方向为多媒体信息检索、数据分析和代际流动

梅凯: 1996年生. 硕士研究生. CCF会员. 主要研究方向为多媒体信息检索、数据分析和机器学习

中图分类号: TP37
计量
- 文章访问数: 205
- HTML全文浏览量: 21
- PDF下载量: 103
出版历程
- 收稿日期: 2022-06-15
- 修回日期: 2022-11-14
- 网络出版日期: 2023-04-17
- 刊出日期: 2023-10-31

Hot Topic Detection of Web Video Based on Cross-Media Semantic Association Enhancement

1.
School of Information and Safety Engineering, Zhongnan University of Economics and Law, Wuhan 430073
2.
School of Public Administration, Huazhong Agricultural University, Wuhan 430070

Funds: This work was supported by the General Program of the National Social Science Foundation of China (22BXW081), the General Program of the National Natural Science Foundation of China (G041401), the Project of Humanity and Social Science Youth Foundation of Ministry of Education of China (20YJC860040), the Major Project of Philosophy and Social Science Research in Colleges and Universities of Hubei Province (21ZD018), the Application Foundation Frontier Project of Wuhan Science and Technology Bureau in 2020 (2020010601012183), the Laboratory Research Project of Colleges and Universities in Hubei Province (HBSY2021-58), and the Fundamental Research Funds for the Central Universities of Zhongnan University of Economics and Law (202211411, 202151423, 202211415, 202211405).

More Information

Author Bio:
Zhang Chengde: born in 1982. PhD, associate professor. Member of AAIA, CCF，IEEE. His main research interests include multimedia information retrieval, data analysis, and machine learning

Liu Yuxuan: born in 1996. Master candidate. Member of CCF. His main research interests include multimedia information retrieval, data mining, and image processing

Xiao Xia: born in 1986. PhD. Her main research interests include multimedia information retrieval, data analysis, and intergenerational mobility

Mei Kai: born in 1996. Master candidate. Member of CCF. His main research interests include multimedia information retrieval, data analysis, and machine learning

摘要

摘要:
跨媒体网络视频热点话题检测成为新的研究热点.然而，描述视频的文本信息较少，使得文本语义特征空间稀疏，导致文本语义特征间关联强度较弱，增加了挖掘热点话题的难度.现有方法主要通过视觉信息丰富文本语义特征空间.然而，由于视觉与文本信息间的异构性，导致同一话题下文本与视觉语义特征差异较大，这进一步降低了同一话题下文本语义间的关联强度，也给跨媒体网络视频热点话题检测带来巨大挑战.因此，提出一种新的跨媒体语义关联增强方法.首先，通过双层注意力，从单词和句子2个级别捕捉文本核心语义特征；其次，通过理解视觉内容，生成大量与视频内容高度相关的文本描述，丰富文本语义空间；然后，分别通过文本语义相似性和视觉语义相似性，构建文本语义图和视觉语义图，并构造时间衰减函数，从时间维度建立跨媒体数据间的相关性，以此增强文本与视觉语义间的关联强度，平滑地将2种语义图融合为混合语义图，实现跨媒体语义互补；最后，通过图聚类方法检测出热点话题.大量实验结果表明，提出的模型优于现有方法.
- 跨媒体 /
- 网络视频 /
- 话题检测 /
- 视频理解 /
- 语义关联增强
Abstract:
Cross-media web video hot topic detection has become a new research hotspot. However, there is less text information to describe video, which makes the space of text semantic features sparse, resulting in weak correlation between text semantic features, which increases the difficulty of mining hot topics. The existing methods mainly enrich the text semantic feature space through visual information. However, due to the heterogeneity between visual and text information, the semantic features of text and visual are quite different under the same topic. This further reduces the correlation strength between text semantics under the same topic, and also brings great challenges to cross-media hot topic detection based on web videos. Therefore, we propose a new cross-media semantic association enhancement method. Firstly, the core semantic features of the text from the word and sentence levels through double-layer attention are captured; Secondly, by understanding the visual content, a large number of text descriptions highly related to the video content are generated to enrich the text semantic space; Then, through text semantic similarity and visual semantic similarity, the text semantic map and visual semantic map are constructed, and the time decay function is constructed to establish the correlation between cross-media data from the time dimension, so as to enhance the correlation strength between text and visual semantics, and smoothly fuse the two semantic maps into a hybrid semantic map to realize cross-media semantic complementarity; Finally, hot topics are detected by graph clustering method. A large number of experimental results show that the proposed model is superior to the existing methods.
- cross-media /
- web video /
- topic detection /
- video caption /
- semantic association enhancement

HTML全文

科技资讯聚焦了中外高新技术的前沿动态. 实时跟进最新的科技资讯，有助于促进国家战略科技力量的发展，驱动科技创新，进而确保国家高质量发展^[1]. 科技资讯中包含大量的多媒体信息（如图像、文本等），具备体量大、来源丰富、类型多样等特点^[2-3]. 随着用户感兴趣的科技资讯模态不再单一，检索需求也呈现出从单一模态到跨模态的发展态势^[4-5]. 凭借跨媒体科技资讯检索，用户能够从多源异构的海量科技资源中获取目标科技资讯；研究者亦能近一步设计出符合用户需求的应用，包括科技资讯推荐^[6]、个性化科技资讯检索^[7]等. 跨媒体科技资讯检索作为当下的研究热点，仍旧面临着多媒体数据间异构鸿沟和语义鸿沟亟待打破的难题^[8-9]. 本文旨在解决现有跨媒体科技资讯检索中仅考虑了媒体内数据判别损失和媒体间数据在映射后的不变性损失，却忽略了媒体间数据在映射前后的语义一致性损失和语义内的媒体判别性损失，使得跨媒体检索效果存在局限性的问题.

跨媒体科技资讯检索方法种类繁多. 先前的工作^[10-14]聚焦于传统的统计关联分析方法，通过优化统计值来学习公共空间的线性投影矩阵^[15]，目的是建立一个共享子空间，使得不同媒体类型的数据对象的相似性可以映射到该子空间中，再使用常见的距离进行度量. 然而，文献[10-14]所述的方法依赖于数据的线性表示，仅通过线性投影很难完全模拟现实世界中跨媒体数据的复杂相关性. 因此，一些研究^[16-20]通过深度学习方法解决上述问题，利用其强大的抽象能力处理多媒体数据的多层非线性变换，进行跨媒体相关学习. 然而，现有的基于深度学习的跨媒体检索模型通常只专注于保留耦合的跨媒体样本（例如图像和文本）的成对相似性^[21]，却忽略了一种媒体的一个样本可能存在多个相同媒体的语义不同的样本，因此无法保留跨媒体语义结构. 保留跨媒体语义结构需要使得相同语义不同媒体的数据间距离最小化，且相同媒体不同语义的数据间距离最大化. 最近的工作^[22-26]引入对抗学习的思想，通过联合执行标签预测并保留数据中的底层跨媒体语义结构，为公共子空间中不同媒体的样本生成媒体不变表示. 然而，文献[22-26]所述的方法聚焦于建模媒体内数据的语义判别性和媒体间数据在子空间映射后的语义不变性，却忽略了媒体间数据在映射前后的语义一致性和语义内的媒体判别性，使得跨媒体检索效果存在局限性.

针对上述问题，引入语义内的媒体约束来加强将不同类型的媒体数据映射到共享高级语义空间的能力，提出一种面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索（semantics-adversarial and media-adversarial cross-media retrieval，SMCR）方法. SMCR方法采用对抗博弈^[27]的思想，构建特征映射器和媒体判别器，进行极小化极大化游戏.SMCR方法追随先前工作^[28-29]，采用标签预测来确保数据在特征投影后仍保留在媒体内的区别. 与先前工作不同的是，SMCR方法同时最小化相同语义的文本−图像对中不同媒体的数据分别在特征映射前和特征映射后的距离，以确保不同媒体间数据在映射过程中的语义一致性得以保留. 此外，通过构建基础映射网络和精炼映射网络共同辅助建模语义内的媒体约束，使映射后的数据做到语义上接近自身和媒体上远离自身，来增强特征映射网络混淆媒体判别网络的能力. 媒体判别网络负责区分数据的原始媒体，一旦媒体判别网络被欺骗，整个博弈过程收敛.

本文的主要贡献包括3个方面：

1）提出一种面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索方法（SMCR），通过端到端的方式同时保持媒体内的语义判别性、媒体间的语义一致性、语义内的媒体判别性，能够有效地学习异构数据的公共表示；

2）通过构建基础特征映射网络和精炼特征映射网络联合进行多媒体数据特征映射，辅助语义内的媒体约束，有效地增强了特征映射网络混淆媒体判别网络的能力；

3）在2个数据集上进行的大量实验表明，本文提出的SMCR方法优于当前最前沿的跨媒体检索方法，包括传统的方法和基于深度学习的方法.

1. 相关工作

科技资讯跨媒体检索是近年来的研究热点，旨在学习一个公共子空间^[13,24,30]，使得不同媒体的数据在该子空间中可以直接相互比较，以跨越不同媒体间存在的语义鸿沟.

一类经典的方法当属传统的统计关联分析方法^[10-14]，它是公共空间学习方法的基本范式和基础，主要通过优化统计值来学习公共空间的线性投影矩阵. 例如，Hardoon等人^[12]提出典型关联分析（canonical correlation analysis，CCA）方法，CCA方法是一种关联2个多维变量之间线性关系的方法，可以被视为使用复杂标签作为引导特征选择朝向底层语义的一种方式. 该方法利用同一语义对象的2个视角来提取语义的表示. Wang等人^[13]提出一种基于耦合特征选择和子空间学习的联合学习（joint feature selection and subspace learning，JFSSL），受CCA和线性最小二乘法之间潜在关系的启发，将耦合线性回归用于学习投影矩阵，使来自不同媒体的数据映射到公共子空间中. 同时，JFSSL将 ${l_2}$ 正则用于同时从不同的特征空间中选择相关和不相关的特征，并且在映射时使用多媒体图正则化来保留媒体间和媒体内的相似性关系.Zhai等人^[14]提出了一种新的跨媒体数据特征学习算法，称为联合表示学习（joint representation learning，JRL）. 该方法能够在统一的优化框架中联合探索相关性和语义信息，并将所有媒体类型的稀疏和半监督正则化集成到一个统一的优化问题中. JRL旨在同时学习不同媒体的稀疏投影矩阵，并将原始异构特征直接投影到联合空间中. 然而，仅通过线性投影很难完全模拟现实世界中跨媒体数据的复杂相关性.

随着深度学习的兴起，许多研究聚焦于将能够实现多层非线性变换的深度神经网络应用于跨媒体检索中^[16-20]. 例如，Yan等人^[17]提出一种基于深度典型相关分析（deep canonical correlation analysis，DCCA）的跨媒体图像字幕匹配方法. 通过解决非平凡的复杂性和过度拟合问题，使该方法适用于高维图像和文本表示以及大型数据集.Peng等人^[18]提出一种跨媒体多重深度网络（cross-media multiple deep network，CMDN），通过分层学习来利用复杂而丰富的跨媒体相关性. 在第1阶段，CMDN不像先前工作仅利用媒体内的分离表示，而是联合学习每种媒体类型的2种互补的分离表示；在第2阶段，由于每种媒体类型都有2个互补的独立表示，该方法在更深的2级网络中分层组合单独的表示，以便联合建模媒体间和媒体内的信息以生成共享表示. 然而，现有的基于深度神经网络的跨媒体检索模型通常只专注于保留耦合的跨媒体样本（例如图像和文本）的成对相似性，却忽略了一种媒体的一个样本，可能存在多个相同媒体的语义不同的样本，因此无法保留跨媒体语义结构.

近年来，相关研究转而向对抗学习^[31]进行探索. 虽然它在图像生成^[32]中应用较广，但研究者也将其用作正则化器^[33]. 一些研究将其思想应用于跨媒体检索，并取得了显著的效果^[22-26]. 例如，Wang等人^[24]提出一种基于对抗跨媒体检索（adversarial cross-modal retrieval，ACMR）方法来解决跨媒体语义结构难保留的问题. 该方法使用特征投影器，通过联合执行标签预测并保留数据中的底层跨媒体语义结构，为公共子空间中不同媒体的样本生成媒体不变表示. ACMR的目的是混淆充当对手的媒体分类器，媒体分类器试图根据它们的媒体来区分样本，并以这种方式引导特征投影器的学习. 通过这个过程的收敛，即当媒体分类器失败时，表示子空间对于跨媒体检索是最优的. Zhen等人^[25]提出一种深度监督跨媒体检索（deep supervised cross-modal retrieval，DSCMR）方法，旨在找到一个共同的表示空间，以便在其中直接比较来自不同媒体的样本. 该方法将标签空间和公共表示空间中的判别损失最小化，以监督模型学习判别特征. 同时最小化媒体不变性损失，并使用权重共享策略来消除公共表示空间中多媒体数据的跨媒体差异，以学习媒体不变特征. 刘翀等人^[26]提出一种基于对抗学习和语义相似度的社交网络跨媒体搜索方法（semantic similarity based adversarial cross media retrieval，SSACR），SSACR使用语义分布及相似度作为特征映射网训练依据，使得相同语义下的不同媒体数据在该空间距离小、不同语义下的相同媒体数据距离大，最终在同一空间内使用相似度来排序并得到搜索结果. 然而，文献[24-26]聚焦于建模媒体内数据语义损失和媒体间数据在映射后的语义损失，却忽略了媒体间数据在映射前后的语义一致性和语义内的媒体判别性，使得跨媒体检索效果存在局限性.

2. 问题定义

多媒体数据种类繁多，为了不失通用性，本文聚焦于文本、图像2种媒体的跨媒体检索. 给定一系列语义相关的图像-文本对 $m = \{ {m_1},{m_2}, … ,{m_{|m|}}\}$ ，其中 ${m_i} = ({{\boldsymbol{v}}_i},{{\boldsymbol{t}}_i})$ 表示 $m$ 中的第 $i$ 个图像-文本对， ${{\boldsymbol{v}}_i} \in {\mathbb{R}^{{d_{\rm{vis}}}}}$ 表示维度为 ${d_{\rm{vis}}}$ 的图像特征向量， ${{\boldsymbol{t}}_i} \in {\mathbb{R}^{{d_{\rm{tex}}}}}$ 表示维度为 ${d_{\rm{tex}}}$ 的文本特征向量. 每个图像-文本对都对应着一个语义类别向量 ${{\boldsymbol{l}}_i} = ({y_1},{y_2}, … ,{y_C}) \in {\mathbb{R}^C}$ ，用来表示图像-文本对的语义分布，也可以表示类别标签分布. 其中 $C$ 表示语义类别总数，假设 ${{\boldsymbol{l}}_i}$ 属于第 $j$ 个语义类别，则记 ${y_j} = 1$ ，否则记 ${y_j} = 0$ . 记 $m$ 中所有的图像、文本、语义类别所对应的特征矩阵为 ${\boldsymbol{V}} = ({{\boldsymbol{v}}_1},{{\boldsymbol{v}}_2}, … ,{{\boldsymbol{v}}_N}) \in {\mathbb{R}^{{d_{\rm{vis}}} \times N}}$ ， ${\boldsymbol{T}} = ({{\boldsymbol{t}}_1}, {{\boldsymbol{t}}_2}, … ,{{\boldsymbol{t}}_N}) \in {\mathbb{R}^{{d_{\rm{tex}}} \times N}}$ ， ${\boldsymbol{L}} = ({{\boldsymbol{l}}_1},{{\boldsymbol{l}}_2}, … ,{{\boldsymbol{l}}_N}) \in {\mathbb{R}^{C \times N}}$ .

我们的目标是利用一种媒体的数据（如图像 ${{\boldsymbol{v}}_i}$ 或文本 ${{\boldsymbol{t}}_i}$ ）检索另一种媒体的数据（如文本 ${{\boldsymbol{t}}_i}$ 或图像 ${{\boldsymbol{v}}_i}$ ）. 为了比较不同媒体数据之间的语义相似性，我们设计2个特征映射网络——基础映射网络和精炼映射网络. 基础映射网络将图像特征和文本特征映射到统一的隐语义空间 $S$ 中以进行语义相似性的对比. 图像特征 ${\boldsymbol{V}}$ 映射到隐语义空间 $S$ 后的特征记为 ${S_{\boldsymbol{V}}} = {f_{\boldsymbol{V}}}({\boldsymbol{V}};{\theta _{\boldsymbol{V}}})$ ，文本特征 ${\boldsymbol{T}}$ 映射到隐语义空间 $S$ 后的特征记为 ${S_{\boldsymbol{T}}} = {f_{\boldsymbol{T}}}({\boldsymbol{T}};{\theta _{\boldsymbol{T}}})$ . 其中 ${f_{\boldsymbol{V}}}({\boldsymbol{V}};{\theta _{\boldsymbol{V}}})$ 和 ${f_{\boldsymbol{T}}}({\boldsymbol{T}};{\theta _{\boldsymbol{T}}})$ 分别表示图像和文本的映射函数. 为了近一步提高特征映射质量，我们用精炼映射网络对基础映射网络的输出特征进行映射. 图像特征 ${S_{\boldsymbol{V}}}$ 映射后的特征记为 $S_{\boldsymbol{V}}' = {g_{{S_{\boldsymbol{V}}}}}({S_{\boldsymbol{V}}};{\theta _{{S_{\boldsymbol{V}}}}})$ ，文本特征 ${S_{\boldsymbol{T}}}$ 映射后的特征记为 $S_{\boldsymbol{T}}' = {g_{{S_{\boldsymbol{T}}}}}({S_{\boldsymbol{T}}};{\theta _{{S_{\boldsymbol{T}}}}})$ . 其中 ${g_{{S_{\boldsymbol{V}}}}}({S_{\boldsymbol{V}}};{\theta _{{S_{\boldsymbol{V}}}}})$ 和 ${g_{{S_{\boldsymbol{T}}}}}({S_{\boldsymbol{T}}};{\theta _{{S_{\boldsymbol{T}}}}})$ 表示图像特征和文本特征的映射函数.

3. 面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索方法

本文提出一种面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索方法（SMCR）.SMCR的框架如图1所示. 本文的目的是利用对抗学习的思想不断在语义与媒体间进行对抗，学习到一个公共子空间，使不同媒体的数据在该子空间中可以直接相互比较.

图 1 SMCR的整体框架

Figure 1. The overall framework of SMCR

下载: 全尺寸图片幻灯片

3.1 特征映射网络

本文采用特征映射网络是为了将不同媒体的特征映射到统一的隐语义空间以便进行语义相似性的比较. 同时，特征映射网络也扮演着GAN^[27]中“生成器”的角色，目的是为了迷惑媒体判别网络（将在3.2节介绍）. 为了使映射后的特征表示充分考虑2类媒体数据的语义相似性和媒体相似性，本文设计的特征映射网络由3部分组成：媒体内的标签预测、媒体间的语义保留、语义内的媒体约束. 媒体内的标签预测使得映射在隐语义空间 $S$ 中的特征依然能够以原始的语义标签为真值进行语义分类；媒体间的语义保留使得语义相同媒体不同的数据在映射前后都能保留语义相似性；语义内的媒体约束使得映射后的数据更加逼近原本语义.

3.1.1 标签预测

为了保证映射到隐语义空间 $S$ 中的特征依然能够保留原始语义，以原始的语义标签为真值进行语义分类. 在每个特征映射网络的最后加入一个保持线性激活的softmax层. 将图像-文本对 ${m_i} = ({{\boldsymbol{v}}_i},{{\boldsymbol{t}}_i})$ 作为样本进行训练，并输出每个数据对应语义类别的概率分布. 采用在文献[24]中介绍的损失函数来计算媒体内的判别损失：

${L_{{\rm{imd}}}}({\theta _{{\rm{imd}}}}) = - \frac{1}{n}\sum\limits_{i = 1}^n {({{\boldsymbol{l}}_i} · (\ln {{\hat p}_i}({{\boldsymbol{v}}_i}) + \ln {{\hat p}_i}({{\boldsymbol{t}}_i})))} .$

(1)

其中 ${L_{{\rm{imd}}}}$ 表示对所有图像-文本对进行语义类别分类的交叉熵损失， ${\theta _{{\rm{imd}}}}$ 表示分类器的参数， ${{\boldsymbol{l}}_i}$ 是每个样本 ${m_i}$ 的真值， ${\hat p_i}$ 是样本中每个数据（图像或文本）所得到的概率分布.

3.1.2 语义保留

语义保留模块致力于保证语义相同、媒体不同的数据在映射前后都能保留语义相似性，即媒体不同、语义相同的数据距离较近，媒体不同、语义不同的数据距离较远. 在映射到隐语义空间 $S$ 之前，每个样本 ${m_i}$ 中的图像数据与文本数据的语义分布分别为 ${{\boldsymbol{l}}_{\rm{vis}}}$ 和 ${{\boldsymbol{l}}_{\rm{tex}}}$ ，那么2个不同媒体数据间的语义一致性损失用 ${l_2}$ 范数表示为

${l_2}({{\boldsymbol{l}}_{\rm{vis}}},{{\boldsymbol{l}}_{\rm{tex}}}) = {\left\| {{{\boldsymbol{l}}_{\rm{vis}}} - {{\boldsymbol{l}}_{\rm{tex}}}} \right\|_2} .$

(2)

在映射到隐语义空间 $S$ 之后，每个样本 ${m_i}$ 中的图像数据特征 ${S_{\boldsymbol{V}}}$ 与文本数据的特征 ${S_{\boldsymbol{T}}}$ 之间的语义一致性损失同样用 ${l_2}$ 范数表示为

${l_2}({S_{\boldsymbol{V}}},{S_{\boldsymbol{T}}}) = {\left\| {{f_{\boldsymbol{V}}}({\boldsymbol{V}};{\theta _{\boldsymbol{V}}}) - {f_{\boldsymbol{T}}}({\boldsymbol{T}};{\theta _{\boldsymbol{T}}})} \right\|_2} .$

(3)

因此，整体的媒体间一致性损失可以建模为 ${l_2}({{\boldsymbol{l}}_{\rm{vis}}},{{\boldsymbol{l}}_{\rm{tex}}})$ 和 ${l_2}({S_{\boldsymbol{V}}},{S_{\boldsymbol{T}}})$ 两者的结合：

${L_{{\rm{imi}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}}) = {l_2}({{\boldsymbol{l}}_{\rm{vis}}},{{\boldsymbol{l}}_{\rm{tex}}}) + {l_2}({S_{\boldsymbol{V}}},{S_{\boldsymbol{T}}}) ,$

(4)

其中 ${L_{{\rm{imi}}}}$ 表示媒体间同时考虑映射前与映射后的语义一致性损失.

3.1.3 媒体约束

除了便于度量不同媒体数据间的语义相似性之外，特征映射网络的另一个作用是生成映射后的特征来欺骗媒体判别网络，让它无法区分出数据的原始媒体. 因此，引入语义内的媒体约束模块. 为了能够更加逼真地映射出难以区分媒体的特征，在基础的特征映射网络 ${P_1}$ 之外，构造另一个相同结构的特征映射网络 ${P_2}$ ，称为精炼网络. 精炼网络 ${P_2}$ 的输入是 ${P_1}$ 的输出结果 ${S_{\boldsymbol{V}}}$ 或 ${S_{\boldsymbol{T}}}$ . ${P_2}$ 的输出是 $S_{\boldsymbol{V}}' = {g_{{S_{\boldsymbol{V}}}}}({S_{\boldsymbol{V}}};{\theta _{{S_{\boldsymbol{V}}}}})$ 或 $S_{\boldsymbol{T}}' = {g_{{S_{\boldsymbol{T}}}}}({S_{\boldsymbol{T}}};{\theta _{{S_{\boldsymbol{T}}}}})$ . 其中 $S_{\boldsymbol{V}}'$ 和 $S_{\boldsymbol{T}}'$ 分别表示 ${S_{\boldsymbol{V}}}$ 和 ${S_{\boldsymbol{T}}}$ 经过特征映射网络 ${P_2}$ 映射后的特征， ${g_{{S_{\boldsymbol{V}}}}}({S_{\boldsymbol{V}}};{\theta _{{S_{\boldsymbol{V}}}}})$ 和 ${g_{{S_{\boldsymbol{T}}}}}({S_{\boldsymbol{T}}};{\theta _{{S_{\boldsymbol{T}}}}})$ 分别表示 ${S_{\boldsymbol{V}}}$ 和 ${S_{\boldsymbol{T}}}$ 这2种特征的映射函数.

对每一个图像-文本对 ${m_i}$ 而言，目标是让精炼网络 ${P_2}$ 映射出的特征（ $S_{\boldsymbol{V}}'$ 或 $S_{\boldsymbol{T}}'$ ）距离基础网络 ${P_1}$ 映射的特征（ ${S_{\boldsymbol{V}}}$ 或 ${S_{\boldsymbol{T}}}$ ）较远，距离相同语义的特征（ ${S_{\boldsymbol{T}}}$ 或 ${S_{\boldsymbol{V}}}$ ）较近. 受到文献[34-36]启发，语义内的媒体判别损失采用如下约束损失进行计算：

${L_{{\rm{con}},{\boldsymbol{V}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}}) = \max \left(0,{\left\| {S_{\boldsymbol{V}}' - {S_{\boldsymbol{T}}}} \right\|_2} - {\left\| {S_{\boldsymbol{V}}' - {S_{\boldsymbol{V}}}} \right\|_2}\right) ,$

(5)

${L_{{\rm{con}},{\boldsymbol{T}}}}({\theta _{\boldsymbol{T}}},{\theta _{\boldsymbol{V}}},{\theta _{{S_{\boldsymbol{T}}}}}) = \max \left(0,{\left\| {S_{\boldsymbol{T}}' - {S_{\boldsymbol{V}}}} \right\|_2} - {\left\| {S_{\boldsymbol{T}}' - {S_{\boldsymbol{T}}}} \right\|_2}\right) .$

(6)

其中 ${L_{{\rm{con}},{\boldsymbol{V}}}}$ 表示图像媒体数据的约束损失， ${L_{{\rm{con}},{\boldsymbol{T}}}}$ 表示文本媒体数据的约束损失.

因此，整体语义内的媒体判别损失可以建模为图像媒体数据的约束损失 ${L_{{\rm{con}},{\boldsymbol{V}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}})$ 与文本媒体数据的约束损失 ${L_{{\rm{con}},{\boldsymbol{T}}}}({\theta _{\boldsymbol{T}}},{\theta _{\boldsymbol{V}}},{\theta _{{S_{\boldsymbol{T}}}}})$ 的结合：

${L_{{\rm{con}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}},{\theta _{{S_{\boldsymbol{T}}}}}) = {L_{{\rm{con}},{\boldsymbol{V}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}}) + {L_{{\rm{con}},{\boldsymbol{T}}}}({\theta _{\boldsymbol{T}}},{\theta _{\boldsymbol{V}}},{\theta _{{S_{\boldsymbol{T}}}}}).$

(7)

3.1.4 特征映射网络损失

整个特征映射网络的映射性损失由媒体内的判别损失 ${L_{{\rm{imd}}}}$ 、媒体间的一致性损失 ${L_{{\rm{imi}}}}$ 、语义内的判别损失 ${L_{{\rm{com}}}}$ 共同组成，记为 ${L_{{\rm{emb}}}}$ ：

${L_{{\rm{emb}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}},{\theta _{{S_{\boldsymbol{T}}}}},{\theta _{{\rm{imd}}}}) = \alpha · {L_{{\rm{imi}}}} + \beta · {L_{{\rm{con}}}} + {L_{{\rm{imd}}}},$

(8)

其中 $\alpha$ 和 $\beta$ 为可调节参数，用以控制 ${L_{{\rm{imi}}}}$ 和 ${L_{{\rm{con}}}}$ 这2类损失在整个特征映射网络损失中的参与度.

3.2 媒体判别网络

媒体判别网络扮演着GAN^[27]中“判别器”的角色，用来判断映射到隐语义空间后的数据的原始媒体. 令经过图像映射函数的数据标签为0，经过文本映射函数的数据标签为1.本文使用一个参数为 ${\theta _{\rm{dis}}}$ 的3层全连接网络作为判别网络，充当特征映射网络的对手. 其目标是最小化媒体分类损失，也称为对抗性损失 ${L_{{\rm{adv}}}}$ ，定义为

${L_{{\rm{adv}}}}({\theta _{\rm{dis}}}) = - \frac{1}{n}\sum\limits_{i = 1}^n {(\ln D({{\boldsymbol{v}}_i};{\theta _{\rm{dis}}}) + \ln (1 - D({{\boldsymbol{t}}_i};{\theta _{\rm{dis}}})))} ,$

(9)

其中 ${L_{{\rm{adv}}}}$ 表示媒体判别网络中每个样本 ${m_i}$ 的交叉熵损失， $D( · ;{\theta _{\rm{dis}}})$ 表示样本中每个数据（图像或文本）所得到的媒体概率分布.

3.3 对抗学习

对抗学习的目的旨在通过同时最小化式（8）的映射性损失和式（9）的对抗性损失，来学习得到最优的特征表示网络参数，定义如下所示：

$\begin{aligned} &({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}},{\theta _{{S_{\boldsymbol{T}}}}},{\theta _{{\rm{imd}}}}) =\\ & \mathop {\arg \min }\limits_{{\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}},{\theta _{{S_{\boldsymbol{T}}}}},{\theta _{{\rm{imd}}}}} ({L_{{\rm{emb}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}},{\theta _{{S_{\boldsymbol{T}}}}},{\theta _{{\rm{imd}}}}) - {L_{{\rm{adv}}}}({\theta _{\rm{dis}}})) \end{aligned} ,$

(10)

${\theta _{\rm{dis}}} = \mathop {\arg \max }\limits_{{\theta _{\rm{dis}}}} ({L_{{\rm{emb}}}}({\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}},{\theta _{{S_{\boldsymbol{T}}}}},{\theta _{{\rm{imd}}}}) - {L_{{\rm{adv}}}}({\theta _{\rm{dis}}})) .$

(11)

具体的对抗学习训练过程如算法1所示.

算法1. SMCR的对抗训练过程.

输入：图像特征矩阵 ${\boldsymbol{V }}= ({{\boldsymbol{v}}_1},{{\boldsymbol{v}}_2}, … ,{{\boldsymbol{v}}_N})$ , 文本特征矩阵 ${\boldsymbol{T}} = ({{\boldsymbol{t}}_1},{{\boldsymbol{t}}_2}, … ,{{\boldsymbol{t}}_N})$ , 真值语义标签矩阵 ${\boldsymbol{L}} = ({{\boldsymbol{l}}_1}, {{\boldsymbol{l}}_2}, … , {{\boldsymbol{l}}_N})$ , 迭代次数 $k$ , 学习率 $\mu$ , 每个批次的数据量 $m$ , 损失参数 $\lambda$ ；

输出：参数 ${\theta _{\boldsymbol{V}}}$ , ${\theta _{\boldsymbol{T}}}$ , ${\theta _{{S_{\boldsymbol{V}}}}}$ , ${\theta _{{S_{\boldsymbol{T}}}}}$ .

①随机初始化模型参数；

②while未收敛do

③ 　for iter =1 to k do

④　　通过随机梯度下降更新参数 ${\theta _{\boldsymbol{V}}},{\theta _{\boldsymbol{T}}},{\theta _{{S_{\boldsymbol{V}}}}},$ ${\theta _{{S_{\boldsymbol{T}}}}}$ ,　　　　　　 ${\theta _{{\rm{imd}}}}$ ；

⑤ 　　 ${\theta _{\boldsymbol{V}}} \leftarrow {\theta _{\boldsymbol{V}}} - \mu \cdot {\nabla _{{\theta _{\boldsymbol{V}}}}}\dfrac{1}{m}({L_{{\rm{emb}}}} - {L_{{\rm{adv}}}})$ ；

⑥ 　　 ${\theta _{\boldsymbol{T}}} \leftarrow {\theta _{\boldsymbol{T}}} - \mu \cdot {\nabla _{{\theta _{\boldsymbol{T}}}}}\dfrac{1}{m}({L_{{\rm{emb}}}} - {L_{{\rm{adv}}}})$ ；

⑦ 　　 ${\theta _{{S_{\boldsymbol{V}}}}} \leftarrow {\theta _{{S_{\boldsymbol{V}}}}} - \mu \cdot {\nabla _{{\theta _{{S_{\boldsymbol{V}}}}}}}\dfrac{1}{m}({L_{{\rm{emb}}}} - {L_{{\rm{adv}}}})$ ；

⑧ 　　 ${\theta _{{S_{\boldsymbol{T}}}}} \leftarrow {\theta _{{S_{\boldsymbol{T}}}}} - \mu \cdot {\nabla _{{\theta _{{S_{\boldsymbol{T}}}}}}}\dfrac{1}{m}({L_{{\rm{emb}}}} - {L_{{\rm{adv}}}})$ ；

⑨ 　　 ${\theta _{{\rm{imd}}}} \leftarrow {\theta _{{\rm{imd}}}} - \mu \cdot {\nabla _{{\theta _{{\rm{imd}}}}}}\dfrac{1}{m}({L_{{\rm{emb}}}} - {L_{{\rm{adv}}}})$ ；

⑩ 　end for

⑪end while

⑫通过随机梯度上升更新参数 ${\theta _{\rm{dis}}}$ ；

⑬ ${\theta _{\rm{dis}}} \leftarrow {\theta _{\rm{dis}}} + \mu \cdot \lambda \cdot {\nabla _{{\theta _{\rm{dis}}}}}\dfrac{1}{m}({L_{{\rm{emb}}}} - {L_{{\rm{adv}}}})$ .

4. 实验设置

本文分别阐述对实验部分至关重要的研究问题、数据集、对比算法、评价指标等4个方面.

4.1 研究问题

本文通过3个研究问题来引导实验的设置.

研究问题1. 面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索方法SMCR的表现能否优于前沿的跨媒体检索算法.

研究问题2. SMCR方法的主要组成部分对于跨媒体检索是否存在贡献.

研究问题3. SMCR方法是否对参数敏感.

4.2 数据集

为了回答上述3个研究问题，使用爬取自科技资讯网站SciTechDaily^[37]的数据集进行实验. 数据集包括5217个图像-文本对，将其中的4173对数据作为训练集，1044对数据作为测试集. 为了验证本文模型的通用性，同时使用Wikipedia^[38]数据集进行实验. Wikipedia数据集包括2866个图像-文本对，将其中的2292对数据作为训练集，574对数据作为测试集. 这2个数据集的详细信息如表1所示.

表 1 实验使用的2个数据集的属性

Table 1. Attributes of Two Datasets Used for the Experiments

数据集	训练样本数/测试样本数	标签数	图像特征	文本特征
SciTechDaily	4173/1044	8	4096d VGG	6500d BoW
Wikipedia	2292/574	10	4096d VGG	5000d BoW

下载: 导出CSV

| 显示表格

4.3 对比算法

本文将SMCR与相关的基准算法和前沿算法进行比较，对比算法如下.

1）典型关联分析（canonical correlation analysis，CCA）. 该模型^[12]为不同的媒体类型的数据学习一个公共子空间，使2组异构数据之间的关联最大化.

2）基于耦合特征选择和子空间学习的联合学习（joint feature selection and subspace learning，JFSSL）. 该模型^[13]学习投影矩阵将多媒体数据映射到一个公共子空间，并同时从不同的特征空间中选择相关的和有区别的特征.

3）跨媒体多重深度网络（cross-media multiple deep network，CMDN）. 该模型^[18]通过分层学习来利用复杂的跨媒体相关性. 在第1阶段，联合对媒体内和媒体信息进行建模；在第2阶段，分层组合媒体间表示和媒体内表示来进一步学习丰富的跨媒体相关性.

4）基于对抗的跨媒体检索（adversarial cross-modal retrieval，ACMR）. 该模型^[24]基于对抗性学习寻求有效的公共子空间. 对特征投影器施加3重约束，以最小化来自具有相同语义标签、不同媒体的所有样本表示之间的差距，同时最大化语义不同的图像和文本之间的距离.

5）深度监督跨媒体检索（deep supervised cross-modal retrieval，DSCMR）. 该模型^[25]同样基于对抗性学习的思想，将标签空间和公共表示空间中的判别损失最小化，同时最小化媒体不变性损失，并使用权重共享策略来消除公共表示空间中多媒体数据的跨媒体差异.

6）基于对抗学习和语义相似度的社交网络跨媒体搜索（SSACR）. 该模型^[26]同样基于对抗性学习的思想，将映射到同一语义空间的不同媒体数据的特征向量进行了相似度计算, 并与原本的语义特征向量之间的相似度进行比较，以消除同一语义下不同媒体数据的差异.

4.4 评价指标

本文采用跨媒体检索^[39-40]中经典的评价指标——平均精度均值（mean average precision，mAP），在文本检索图像txt2img和图像检索文本img2txt 这2个任务上，分别对SMCR和所有对比算法进行评价. 计算mAP，首先需计算 $R$ 个检索出的文档的平均精度 $AP = \dfrac{1}{T}\displaystyle\sum_{r = 1}^R {P(r)\delta (r)}$ . 其中 $T$ 是检索出的文档中的相关文档数量， $P(r)$ 表示前 $r$ 个检索出的文档的精度，如果第 $r$ 个检索出的文档是相关的，则 $\delta (r) = 1$ ，否则 $\delta (r) = 0$ . 然后通过对查询集中所有查询的AP值进行平均来计算mAP. mAP值越大，说明跨媒体检索结果越精准.

5. 实验结果与分析

本节对所有实验结果进行分析，来回答4.1节提出的研究问题.

5.1 SMCR算法的有效性

为了回答研究问题1，将SMCR和6个前沿算法分别在SciTechDaily，Wikipedia这2个数据集上进行对比. 对比算法为：1）基于统计关联分析的方法CCA^[12]，JFSSL^[13]；2）基于深度学习的方法CMDN^[18]，ACMR^[24]，DSCMR^[25]，SSACR^[26].

表2展示了本文在文本检索图像txt2img和图像检索文本img2txt这2个任务上，对前5个、前25个、前50个的检索结果计算mAP值（mAP@5，mAP@25，mAP@50）和2个检索任务的mAP均值的结果.

表 2 在SciTechDaily和Wikipedia数据集上的跨媒体检索性能比较

Table 2. Comparison of Cross-Media Retrieval Performance on SciTechDaily and Wikipedia Datasets

数据集	算法		mAP@5			mAP@25			mAP@50
数据集	算法	txt2img	img2txt	均值	txt2img	img2txt	均值	txt2img	img2txt	均值
SciTechDaily	CCA	0.2337	0.1806	0.2071	0.2328	0.1761	0.2044	0.2225	0.1789	0.2007
	JFSSL	0.3984	0.2852	0.3418	0.3817	0.2777	0.3297	0.3699	0.2647	0.3173
	CMDN	0.4483	0.3514	0.3998	0.4299	0.3443	0.3871	0.4206	0.3229	0.3717
	ACMR	0.5131	0.4382	0.4756	0.4943	0.4471	0.4707	0.4966	0.4259	0.4612
	DSCMR	0.5042	0.4577	0.4809	0.4812	0.4646	0.4729	0.4810	0.4467	0.4638
	SSACR	0.5091	0.4572	0.4831	0.5049	0.4487	0.4768	0.5072	0.4355	0.4713
	SMCR（本文）	0.5270	0.4790	0.5030	0.5291	0.4727	0.5009	0.5191	0.4426	0.4808
Wikipedia	CCA	0.2639	0.2154	0.2396	0.2883	0.2255	0.2569	0.2575	0.2152	0.2363
	JFSSL	0.4432	0.3481	0.3956	0.4266	0.3528	0.3897	0.4152	0.3479	0.3815
	CMDN	0.5265	0.4194	0.4729	0.5046	0.4171	0.4608	0.4874	0.3938	0.4406
	ACMR	0.6372	0.4920	0.5646	0.6251	0.4937	0.5594	0.5887	0.4824	0.5355
	DSCMR	0.6413	0.4963	0.5688	0.6514	0.5082	0.5798	0.6452	0.4973	0.5712
	SSACR	0.6642	0.4927	0.5784	0.6608	0.5089	0.5848	0.6416	0.4956	0.5686
	SMCR（本文）	0.7014	0.5059	0.6036	0.6714	0.5003	0.5858	0.6503	0.4959	0.5731
注：黑体数值表示最优值.

下载: 导出CSV

| 显示表格

从表2中，我们有以下发现：

1）SMCR的表现优于所有前沿算法，包括基于统计关联分析的方法和基于深度学习的方法. 其中SMCR方法在前5个、前25个、前50个的检索结果上的mAP均值在2个数据集上均优于目前最前沿的SSACR算法. 这表明，虽然SSACR同样建模了媒体内语义损失和媒体间语义损失，SMCR引入语义内的媒体约束模块，通过更加逼真地映射出难以区分媒体的特征表示，有助于进一步提升跨媒体检索性能.

2）SMCR和JFSSL，CMDN，ACMR，DSCMR，SSACR等同时建模媒体内相似性和媒体间相似性的模型，效果优于基于图像-文本对建模媒体间相似性的CCA，表明同时考虑媒体内相似性和媒体间相似性能够提高跨媒体检索精度.

3）SMCR和ACMR，DSCMR，SSACR的跨媒体检索性能优于在多任务学习框架中同样建模了媒体间不变性和媒体内判别性的CMDN，表明对抗学习有助于进一步提升媒体间不变性和媒体内判别性的建模.

4）SMCR通过分别建模相同语义、不同媒体数据在映射前和映射后的语义相似性，表现优于仅建模相同语义、不同媒体间数据在映射后的语义相似性的ACMR和DSCMR. 这表示建模不同媒体的数据在映射前后的语义不变性有助于提高跨媒体检索精度.

5）SMCR和所有前沿算法在SciTechDaily，Wikipedia这2个数据集上的表现一致，表明SMCR算法不仅局限于跨媒体科技资讯的检索，而且在通用的跨媒体检索任务中同样具备良好效果.

5.2 SMCR方法主要组成部分的贡献

为了回答研究问题2，我们将SMCR与去掉媒体间语义损失 ${L_{{\rm{imi}}}}$ 的SMCR、去掉语义内媒体损失 ${L_{{\rm{con}}}}$ 的SMCR在SciTechDaily和Wikipedia这2个数据集上进行对比. 由于采用标签分类建模的媒体内语义损失 ${L_{{\rm{imd}}}}$ 并非本文创新，因此不对去掉 ${L_{{\rm{imd}}}}$ 的SMCR进行对比，结果如表3、表4所示. 从表3、表4中有2点发现：

表 3 SMCR与其变种在SciTechDaily数据集上的表现

Table 3. Performance of SMCR and Its Variants in SciTechDaily Dataset

本文方法	mAP	txt2img	img2txt	均值
SMCR （去掉 ${L_{{\rm{imi}}} }$ ）	mAP@5	0.5196	0.4627	0.4911
	mAP@25	0.5187	0.4525	0.4856
	mAP@50	0.5024	0.4408	0.4716
SMCR （去掉 ${L_{{\rm{con}}} }$ ）	mAP@5	0.5155	0.4513	0.4834
	mAP@25	0.5073	0.4474	0.4773
	mAP@50	0.4972	0.4386	0.4679
SMCR	mAP@5	0.5270	0.4790	0.5030
	mAP@25	0.5291	0.4727	0.5009
	mAP@50	0.5191	0.4426	0.4808

下载: 导出CSV

| 显示表格

表 4 SMCR与其变体在Wikipedia数据集上的表现

Table 4. Performance of SMCR and Its Variants in Wikipedia Dataset

本文算法	mAP	txt2img	img2txt	均值
SMCR （去掉 ${L_{{\rm{imi}}} }$ ）	mAP@5	0.6919	0.4983	0.5951
	mAP@25	0.6622	0.4937	0.5779
	mAP@50	0.6418	0.4901	0.5659
SMCR （去掉 ${L_{{\rm{con}}} }$ ）	mAP@5	0.6806	0.5038	0.5922
	mAP@25	0.6596	0.4980	0.5788
	mAP@50	0.6416	0.4938	0.5677
SMCR	mAP@5	0.7014	0.5059	0.6036
	mAP@25	0.6714	0.5003	0.5858
	mAP@50	0.6503	0.4959	0.5731

下载: 导出CSV

| 显示表格

1）去掉媒体间语义损失 ${L_{{\rm{imi}}}}$ 的SMCR和去掉语义内媒体损失 ${L_{{\rm{con}}}}$ 的SMCR，相比SMCR，跨媒体检索mAP值均有所下降. 这表明在特征映射网络中同时优化媒体间语义损失 ${L_{{\rm{imi}}}}$ 和语义内媒体损失 ${L_{{\rm{con}}}}$ 相比单独优化其中一个更有助于提升跨媒体检索表现.

2）SMCR与其变体在SciTechDaily，Wikipedia这2个数据集上的跨媒体检索表现一致，再次表明SMCR方法并不局限于跨媒体科技资讯检索，而在通用的跨媒体检索任务上同样有效.

5.3 SMCR方法的参数敏感性

本节回答研究问题3. 式（8）中的特征映射网络的映射性损失 ${L_{{\rm{emb}}}}$ 有 $\alpha$ 和 $\beta$ 这2个参数，分别控制媒体间语义损失 ${L_{{\rm{imi}}}}$ 和语义内媒体损失 ${L_{{\rm{con}}}}$ 在整体映射性损失 ${L_{{\rm{emb}}}}$ 中的参与度. 本节在Wikipedia数据集上改变 $\alpha$ 和 $\beta$ 的取值，以测试SMCR算法的参数敏感性. 将 $\alpha$ 和 $\beta$ 分别取值0.1，1，10，100，特别而言，当 $\alpha = 0$ 时SMCR退化为去掉媒体间语义损失 ${L_{{\rm{imi}}}}$ 的SMCR；当 $\beta = 0$ 时SMCR退化为去掉语义内媒体损失 ${L_{{\rm{con}}}}$ 的SMCR. 因此 $\alpha$ 和 $\beta$ 的取值不为0. 固定一个参数（如 $\alpha$ ）的前提下，改变另一个参数（如 $\beta$ ）进行实验，并采用mAP@50分别评估文本检索图像效果、图像检索文本效果、平均检索效果，结果如图2所示.

图 2 Wikepedia数据集上在

$\alpha$ 和

$\beta$ 下的检索效果

Figure 2. Retrieval performance with

$\alpha$ and

$\beta$ in Wikipedia dataset

下载: 全尺寸图片幻灯片

从中可见，当 $\alpha$ 取值为0.1, 1, 10和 $\beta$ 取值为0.1, 1, 10, 100时，SMCR表现较好. 这表明SMCR对参数不敏感，即泛化能力较好. 特别地，在文本检索图像任务上，当 $\alpha = 0.1$ 且 $\beta = 0.1$ 时，SMCR表现最优；在图像检索文本任务上，当 $\alpha = 1$ 且 $\beta = - 1$ 时，SMCR取得最优检索效果；在平均检索效果上，当 $\alpha = - 1$ 且 $\beta = - 1$ 时，SMCR表现最好.

6. 结　　论

本文提出一种面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索方法（SMCR），能够同时学习跨媒体检索中的媒体内判别性、媒体间一致性、语义内判别性表示. SMCR基于对抗学习方法，在极小化极大化游戏中涉及2个过程：生成具有媒体内判别性、媒体间一致性、语义间判别性表示的特征映射网络和试图辨别给定数据原始媒体的媒体判别网络. 本文引入媒体间一致性损失，以确保映射前后的媒体间数据保留语义一致性；此外，引入语义内媒体判别性损失，以确保映射后的数据在语义上接近自身，媒体上远离自身来增强特征映射网络混淆媒体判别网络的能力. 在2个跨媒体数据集上进行的综合实验结果证明了SMCR方法的有效性，且在跨媒体检索上的表现优于最前沿的方法.

作者贡献声明：李昂负责论文初稿撰写及修改、实验设计验证与核实；杜军平负责论文审阅与修订、研究课题监管与指导；寇菲菲负责指导实验方法设计；薛哲负责指导论文选题；徐欣和许明英负责实际调查研究；姜阳负责数据分析与管理.

图 1 3种语义差异

Figure 1. Three semantic differences

下载: 全尺寸图片幻灯片

图 2 话题检测框架

Figure 2. Topic detection framework

下载: 全尺寸图片幻灯片

图 3 视频理解模型

Figure 3. Video caption model

下载: 全尺寸图片幻灯片

图 4 β对话题检测的影响

Figure 4. Effect of β on topic detection

下载: 全尺寸图片幻灯片

图 5 话题的时间分布特征

Figure 5. Time distribution characteristics of topics

下载: 全尺寸图片幻灯片

表 1 实验数据集

Table 1 Experimental Dataset

编号	话题	文本的单词数	视频数	视频段	关键帧
1	英国脱欧	1053	1139	9455	21049
2	新冠疫情	992	1068	7546	19229
3	香港暴乱	1051	1175	9568	25356
4	伊朗危机	1042	1101	8659	22513
5	马拉多纳逝世	910	917	7398	15846
6	2016里约奥运会	981	1071	8956	22927
7	叙利亚战争	1041	1161	8735	23584
8	科比坠机	1012	1161	9648	25339
9	全球金融危机	919	991	9 821	26 946
10	2020 美国大选	1020	1187	9562	25141
总计		10021	10971	89348	227930

下载: 导出CSV

表 2 各模型中在10个话题下的平均实验结果

Table 2 Average Experimental Results Under 10 Topics In Multiple models

数据类型	模型	平均精确率	平均召回率	平均F1值
	LDA^[14]	0.3730	0.4221	0.3960
	BTM^[17]	0.5785	0.5281	0.5521
文本	Doc2vec^[41]	0.5558	0.5614	0.5585
	BiLSTM-Attn^[42]	0.7230	0.5111	0.5989
	CSG^[44]	0.6071	0.6132	0.6101
	LDA^[14]	0.2882	0.3803	0.3279
	BTM^[17]	0.3333	0.4546	0.3846
视觉	Doc2vec^[41]	0.2537	0.4556	0.3259
	BiLSTM_Attn^[42]	0.3806	0.6375	0.4766
	VSD_Attn^[43]	0.6723	0.3675	0.4752
	LDA^[14]	0.3068	0.4026	0.3482
	BTM^[17]	0.2891	0.3264	0.3066
视觉	Doc2vec^[41]	0.4518	0.3215	0.3756
+	BiLSTM_Attn^[42]	0.5741	0.4786	0.5220
文本	TopicBert^[45]	0.7428	0.6641	0.7012
	SMMTM^[46]	0.6278	0.6714	0.6488
	本文	0.7703	0.7396	0.7546

下载: 导出CSV

表 3 消融实验

Table 3 Ablation Experiment

数据类型	平均精确率	平均召回率	平均F1值
文本	0.4372	0.6582	0.5254
视觉	0.7524	0.5015	0.6018
文本+时间	0.5264	0.6577	0.5847
视觉+时间	0.7515	0.5775	0.6531
文本+视觉	0.7414	0.6212	0.6759
文本+视觉+时间	0.7703	0.7396	0.7546

下载: 导出CSV

表 4 热点话题词

Table 4 Hot Topic Words

编号	话题	话题词
1	英国脱欧	UK, EU, brexit, trade, deal, politics, laws, johnson, market, vote
2	新冠疫情	covid, virus, death, masks, doctor, Wuhan, flight, hospital, oxygen, economic
3	香港暴乱	Hong Kong, protests, China, police, law, violent, strikes, clash, support
4	伊朗危机	crisis, Iran, hostages, nuclear, history, economic, financial, America, market, oil
5	马拉多纳逝世	Maradona, death, football, playing, running, heart, attack, tribute, legend, grassland
6	2016里约奥运	Rio, Olympics, sports, champion, gold, games, vs, player, Brazil, highlights
7	叙利亚战争	Syrian, war, conflict, military, children, airstrikes, battle, civil, homeless, years
8	科比坠机	Kobe, bryant, death, basketball, NBA, helicopter, playing, daughter, crash, running
9	全球金融危机	financial, global, recession, economic, world, collapse, subprime, crash, stock, dumping
10	2020美国大选	America, election, presidential, Trump, Biden, results, campaign, vote, states, debate

下载: 导出CSV

表 5 3个典型话题检测示例

Table 5 Three Detection Examples of Typical Topics

示例	视频	标题	字幕	视频理解	真实标签	方法	预测标签
例1		My world collapsed. I can't believe my eyes. He is my favorite player	Kobe bryant crash investigation plot said he was climbing out of fog but was descending	One person is handling the accident scene	科比坠机
						LDA	马拉多纳逝世
						BTM	马拉多纳逝世
						Doc2vec	马拉多纳逝世
						BiLSTM_Attn	2016里约奥运
						VSD_Attn	叙利亚战争
						CSG	叙利亚战争
						TopicBert	叙利亚战争
						SMMTM	叙利亚战争
						本文	科比坠机
例2		How will Biden's 2020 presidential victory affect Brexit	I am delighted to be back in London	A man in a suit was walking down the street	英国脱欧
						LDA	2020美国大选
						BTM	2020美国大选
						Doc2vec	2020美国大选
						BiLSTM_Attn	2020美国大选
						VSD_Attn	2020美国大选
						CSG	2020美国大选
						TopicBert	2020美国大选
						SMMTM	2020美国大选
						本文	英国脱欧
例3		How coronavirus will impact financial markets	States	A man wearing a mask	新冠疫情
						LDA	全球金融危机
						BTM	全球金融危机
						Doc2vec	全球金融危机
						BiLSTM_Attn	全球金融危机
						VSD_Attn	2020美国大选
						CSG	全球金融危机
						TopicBert	全球金融危机
						SMMTM	全球金融危机
						本文	新冠疫情

下载: 导出CSV

参考文献(46)

[1]	彭宇新,綦金玮,黄鑫. 多媒体内容理解的研究现状与展望[J]. 计算机研究与发展,2019,56(1):183−208 doi: 10.7544/issn1000-1239.2019.20180770 Peng Yuxin, Qi Jinwei, Huang Xin. Current research status and prospects on multimedia content understanding[J]. Journal of Computer Research and Development, 2019, 56(1): 183−208 (in Chinese) doi: 10.7544/issn1000-1239.2019.20180770
[2]	中国互联网络信息中心（CNNIC）. 第48次中国互联网络发展现状统计报告[EB/OL]. 北京: 中国互联网络信息中心, 2021 [2022-09-11]. http: //n2.sinaimg.cn/finance/a2d36afe/20210827/FuJian1.pdf China Internet Network Information Center. The 48th statistical report on the development status of China’s Internet[EB/OL]. Beijing: CNNIC, 2021 [2022-09-11]. http://n2.sinaimg.cn/finance/a2d36afe/20210827/FuJian1.pdf (in Chinese)
[3]	Amudha S, Niveditha V R, Kumar P S R, et al. YouTube trending video metadata analysis using machine learning[J]. International Journal of Advanced Science and Technology, 2020, 29(7): 3028−3037
[4]	Pervaiz R, Aloufi K, Zaidi S S R, et al. A methodology to identify topic of video via n-gram approach[J]. International Journal of Computer Science and Network Security, 2020, 20(1): 79−94
[5]	Pang Junbiao, Hu Anjing, Huang Qingming, et al. Increasing interpretation of web topic detection via prototype learning from sparse poisson deconvolution[J]. IEEE Transactions on Cybernetics, 2018, 49(3): 1072−1083
[6]	史存会,胡耀康,冯彬,等. 舆情场景下基于层次知识的话题推荐方法[J]. 计算机研究与发展,2021,58(8):1811−1819 doi: 10.7544/issn1000-1239.2021.20190749 Shi Cunhui, Hu Yaokang, Feng Bin, et al. A hierarchical knowledge based topic recommendation method in public opinion scenario[J]. Journal of Computer Research and Development, 2021, 58(8): 1811−1819 (in Chinese) doi: 10.7544/issn1000-1239.2021.20190749
[7]	Xu Xiaoying, Dutta K, Ge C. Do adjective features from user reviews address sparsity and transparency in recommender systems[J]. Electronic Commerce Research and Applications, 2018, 29: 113−123 doi: 10.1016/j.elerap.2018.04.002
[8]	崔婉秋,杜军平,寇菲菲,等. 面向微博短文本的社交与概念化语义扩展搜索方法[J]. 计算机研究与发展,2018,55(8):1641−1652 doi: 10.7544/issn1000-1239.2018.20180363 Cui Wanqiu, Du Junping, Kou Feifei, et al. The social and conceptual semantic extended search method for microblog short text[J]. Journal of Computer Research and Development, 2018, 55(8): 1641−1652 (in Chinese) doi: 10.7544/issn1000-1239.2018.20180363
[9]	Liu Hairong, Yan Shuicheng. Robust graph mode seeking by graph shift[C]// Proc of the Int Conf on Machine Learning. New York: ACM, 2010: 671−678
[10]	Li Wengen, Zhao Jiabao. TextRank algorithm by exploiting Wikipedia for short text keywords extraction[C]// Proc of the 3rd Int Conf on Information Science and Control Engineering (ICISCE). Piscataway, NJ: IEEE, 2016: 683−686
[11]	Cao Juan, Ngo C W, Zhang Yongdong, et al. Tracking web video topics: Discovery, visualization, and monitoring[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(12): 1835−1846 doi: 10.1109/TCSVT.2011.2148470
[12]	Liu Wei, Li Weimin, Lei Jiang, et al. Topic detection and tracking based on event ontology[J]. IEEE Access, 2020, 8: 98044−98056 doi: 10.1109/ACCESS.2020.2995776
[13]	Liu Tianpeng, Xue Feng, Sun Jian, et al. A survey of event analysis and mining from social multimedia[J]. Multimedia Tools and Applications, 2020, 79(45): 33431−33448
[14]	Blei D M, Ng A Y, Jordan M I. Latent Dirichlet allocation[J]. The Journal of Machine Learning Research, 2003, 3: 993−1022
[15]	Teh Y W, Jordan M I, Beal M J, et al. Hierarchical Dirichlet processes[J]. Journal of the American Statistical Association, 2006, 101(476): 1566−1581 doi: 10.1198/016214506000000302
[16]	Jin Ou, Liu N N, Zhao Kai, et al. Transferring topical knowledge from auxiliary long texts for short text clustering[C]//Proc of the 20th ACM Int Conf on Information and Knowledge Management. New York: ACM, 2011: 775−784
[17]	Yan Xiaohui, Guo Jiafeng, Lan Yanyan, et al. A biterm topic model for short texts[C]//Proc of the 22nd Int Conf on World Wide Web. New York: ACM, 2013: 1445−1456
[18]	Zhao Zhicheng, Xiang Rui, Su Fei. Complex event detection via attention-based video representation and classification[J]. Multimedia Tools and Applications, 2018, 77(3): 3209−3227 doi: 10.1007/s11042-017-5058-2
[19]	Zhang Jiyong, Li Wenchao, Li Liang wenchao, et al. Enabling 5G: Sentimental image dominant graph topic model for cross-modality topic detection[J]. Wireless Networks, 2020, 26(3): 1549−1561 doi: 10.1007/s11276-019-02009-3
[20]	Zhao Sicheng, Gao Yue, Ding Guiguang, et al. Real-time multimedia social event detection in microblog[J]. IEEE Transactions on Cybernetics, 2017, 48(11): 3218−3231
[21]	Zhang Chengde, Lu Shaozhen, Zhang Chengming, et al. A novel hot topic detection framework with integration of image and short text information from Twitter[J]. IEEE Access, 2018, 7: 9225−9231
[22]	Kojima A, Izumi M, Tamura T, et al. Generating natural language description of human behavior from video images[C]//Proc of the 15th Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2000: 728−731
[23]	Kojima A, Tamura T, Fukunaga K. Natural language description of human activities from video images based on concept hierarchy of Actions[J]. International Journal of Computer Vision, 2002, 50(2): 171−184 doi: 10.1023/A:1020346032608
[24]	Venugopalan S, Xu Huijuan, Donahue J, et al. Translating videos to natural language using deep recurrent neural networks[C] //Proc of the 2015 Conf of the North American Chapter of The Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2015: 1494−1504
[25]	Li Yao, Torabi A, Cho K, et al. Describing videos by exploiting temporal structure[C]//Proc of the IEEE Int Conf on Computer Vision (ICCV). Piscataway, NJ: IEEE, 2015: 4507−4515
[26]	Zhang Junchao, Peng Yuxin. Object-aware aggregation with bidirectional temporal graph for video captioning[C]//Proc of the IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 8327−8336
[27]	Aafaq N, Akhtar N, Liu Wei, et al. Spatio-temporal dynamics and semantic attribute enriched visual encoding for video captioning[C]//Proc of the IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 12487−12496
[28]	Mishra A, Shekhar S, Singh A K, et al. Ocr-vqa: Visual question answering by reading text in images[C] // Proc of the 2019 Int Conf on Document Analysis and Recognition (ICDAR). Piscataway, NJ: IEEE, 2019: 947−952
[29]	Wang Yue, Li Jing, Lyu M R, et al. Cross-Media keyphrase prediction: A unified framework with multi-modality multi-head attention and image wordings[C]//Proc of the 2020 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2020: 3311−3324
[30]	Zhong Qinghong, Qiao Xiaodong, Zhang Yunliang, et al. Cross-media fusion method based on LDA2Vec and residual network[J]. Data Analysis and Knowledge Discovery, 2019, 3(10): 78−88
[31]	Ying Long, Yu Hui, Wang Jinguang, et al. Fake news detection via multi-modal topic memory network[J]. IEEE Access, 2021, 9: 132818−132829 doi: 10.1109/ACCESS.2021.3113981
[32]	Xue Junxiao, Wang Yabo, Tian Yichen, et al. Detecting fake news by exploring the consistency of multimodal data[J/OL]. Information Processing & Management, 2021 [2022-09-11].https://doi.org/10.1016/j.ipm.2021.102610
[33]	Li Chuanzhen, Liu Minqiao, Cai Juanjuan, et al. Topic detection and tracking based on windowed DBSCAN and parallel KNN[J]. IEEE Access, 2020, 9: 3858−3870
[34]	Yang Zichao, Yang Diyi, Dyer C, et al. Hierarchical attention networks for document classification[C]//Proc of the Int Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2016: 1480−1489
[35]	Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space[C/OL]//Proc of the 1st Int Conf on Learning Representations. Ithaca, NY, Cornell University, 2013 [2022-09-11].https://doi.org/10.48550/arXiv.1301.3781
[36]	Schuster M, Paliwal K K. Bidirectional recurrent neural networks[J]. IEEE Transactions on Signal Processing, 1997, 45(11): 2673−2681 doi: 10.1109/78.650093
[37]	Huang Jie, Zhou Wengang, Li Houqiang, et al. Attention-based 3D-CNNs for large-vocabulary sign language recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(9): 2822−2832 doi: 10.1109/TCSVT.2018.2870740
[38]	Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C/OL] //Proc of the 3rd Int Conf on Learning Representations(ICLR). Ithaca, NY, Cornell University, 2015 [2022-09-11].https://doi.org/10.48550/arXiv.1409.1556
[39]	Chen D L, Dolan W B. Collecting highly paralleldata for paraphrase evaluation[C]//Proc of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2011: 190−200
[40]	Guru D S, Suhil M. Histogram based split and merge framework for shot boundary detection[M]//Mining Intelligence and Knowledge Exploration. Cham, Switzerland: Springer, 2013: 180−191
[41]	Vahidnia S, Abbasi A, Abbass H A. Embedding-based detection and extraction of research topics from academic documents using deep clustering[J]. Journal of Data and Information Science, 2021, 6(3): 99−122 doi: 10.2478/jdis-2021-0024
[42]	Zhou Peng, Shi Wei, Tian Jun, et al. Attention-based bidirectional long short-term memory networks for relation classification[C]//Proc of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2016: 207−212
[43]	Jian Muwei, Wang Jiaojin, Yu Hui, et al. Integrating object proposal with attention networks for video saliency detection[J]. Information Sciences, 2021, 576: 819−830 doi: 10.1016/j.ins.2021.08.069
[44]	Yang Shuang, Tang Yan. News topic detection based on capsule semantic graph[J]. Big Data Mining and Analytics, 2022, 5(2): 98−109 doi: 10.26599/BDMA.2021.9020023
[45]	Asgari-Chenaghlu M, Feizi-Derakhshi M R, Balafar M A, et al. TopicBERT: A cognitive approach for topic detection from multimodal post stream using BERT and memory–graph[J/OL]. Chaos, Solitons & Fractals, 2021 [2022-09-11].https://doi.org/10.1016/j.chaos.2021.111274
[46]	Zhang Huakui, Cai Yi, Zhu Bingshan, et al. Multimodal topic modeling by exploring characteristics of short text social media[J/OL]. IEEE Transactions on Multimedia, 2022([2022-09-11].https://ieeexplore.ieee.org/abstract/document/9696359