Semantics-Enhanced Multi-Modal Fake News Detection
-
摘要: 近年来社交媒体逐渐成为人们获取新闻信息的主要渠道，但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下，虚假新闻逐渐由单一的文本形式向多模态形式转变，因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征，对新闻的语义层面特征建模不足，难以理解文本和视觉实体的深层语义，在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法，通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取，更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征，在此基础上采用文本引导的注意力机制建模图文之间的语义交互，从而更好地融合多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.Abstract: In recent years, social media has become the main access where people acquire the latest news. However, the convenience and openness of social media have also facilitated the proliferation of fake news. With the development of multimedia technology, fake news on social media has been evolving from text-only posts to multimedia posts containing images or videos. Therefore, multi-modal fake news detection is attracting more and more attention. Existing methods for multi-modal fake news detection mostly focus on capturing appearance-level features that are highly dependent on the dataset distribution but insufficiently exploit the semantics-level features. Thus, the methods often fail to understand the deep semantics of textual and visual entities in the fake news, which indeed limits the generalizability of models in real applications. To tackle this problem, this paper proposes a semantics-enhanced multi-modal model for fake news detection, which better models the underlying semantics of multi-modal news by implicitly utilizing the factual knowledge in the pre-trained language model and explicitly extracting the visual entities. Furthermore, the proposed method extracts visual features of different semantic levels and models the semantic interaction between the textual and visual features by the text-guided attention mechanism, which better fuses the multi-modal heterogeneous features. Extensive experiments on the Weibo dataset strongly evidence that our method outperforms the state of the art significantly.
-
Keywords:
- social media /
- fake news detection /
- multi-modal /
- knowledge fusion /
- attention mechanism
-
-
期刊类型引用(17)
1. 袁子淇，孙庆赟，周号益，朱祖坤，李建欣. MNDetector：基于多层网络的异常访问检测方法. 计算机研究与发展. 2025(03): 765-778 . 
本站查看
2. 陈佳乐，陈旭，景永俊，王叔洋. 图神经网络在异常检测中的应用综述. 计算机工程与应用. 2024(13): 51-65 . 百度学术
3. 林馥，李明康，罗学雄，张书豪，张越，王梓桐. 基于异常感知的变分图自编码器的图级异常检测算法. 计算机研究与发展. 2024(08): 1968-1981 . 本站查看
4. 孔翎超，刘国柱. 离群点检测算法综述. 计算机科学. 2024(08): 20-33 . 百度学术
5. 王泽鹏 ，马超 ，张壮壮 ，吴黎兵 ，石小川 . 动态决策驱动的工控网络数据要素威胁检测方法. 计算机研究与发展. 2024(10): 2404-2416 . 本站查看
6. 叶苗，程锦，黄源，蒋秋香，王勇. 面向WSN异常节点检测的融合重构机制与对比学习方法. 通信学报. 2024(09): 153-169 . 百度学术
7. 王芳. 基于深度学习的网络传输数据异常识别方法. 现代电子技术. 2023(06): 62-66 . 百度学术
8. 江铃燚，郑艺峰，陈澈，李国和，张文杰. 有监督深度学习的优化方法研究综述. 中国图象图形学报. 2023(04): 963-983 . 百度学术
9. 富坤，刘赢华，郝玉涵，孙明磊. 基于图模块度聚类的异常检测算法. 计算机应用研究. 2023(06): 1721-1727 . 百度学术
10. 曹成顺. 基于深度神经网络的输电线路异常自动辨识方法. 信息与电脑(理论版). 2023(15): 165-167 . 百度学术
11. 冯健，赵宇鹏，刘天. 融合双重自监督信号的图异常检测. 科学技术与工程. 2023(35): 15142-15147 . 百度学术
12. 王炳泉. 基于SVM的网络流量异常检测算法. 信息与电脑(理论版). 2023(22): 245-247 . 百度学术
13. 唐立，郝鹏，任沛阁，张祖耀，何翔，张学军. 基于改进孤立森林算法的无人机异常行为检测. 航空学报. 2022(08): 584-593 . 百度学术
14. 陈益芳，宣羿，樊立波，孙智卿，屠永伟，张亦涵，蔡乾晨. 基于机器学习的电网威胁检测算法模型和大数据平台设计. 电力大数据. 2022(04): 34-41 . 百度学术
15. 刘华玲，刘雅欣，许珺怡，陈尚辉，乔梁. 图异常检测在金融反欺诈中的应用研究进展. 计算机工程与应用. 2022(22): 41-53 . 百度学术
16. 李净. 国际视野下治理虚假新闻的技术手段及相关模型. 中国传媒科技. 2021(08): 17-21 . 百度学术
17. 雷瑜，郑丹，曾繁如，樊志伟，宁黎，邓立. 四川耕地“非粮化”监测中的智能监测方法. 资源与人居环境. 2021(12): 47-51 . 百度学术
其他类型引用(34)
计量
- 文章访问数: 1463
- HTML全文浏览量: 31
- PDF下载量: 828
- 被引次数: 51
下载:
