MSRD: 多模态网络谣言检测方法

刘金硕; 冯阔; Jeff Z. Pan; 邓娟; 王丽娜

doi:10.7544/issn1000-1239.2020.20200413

MSRD: 多模态网络谣言检测方法

¹(空天信息安全与可信计算教育部重点实验室,武汉大学国家网络安全学院武汉 430072)
²(阿伯丁大学苏格兰阿伯丁 AB24 3FX) (liujinshuo@whu.edu.cn)

基金项目: 国家自然科学基金项目(U1936107,6187613,61672393)

详细信息

中图分类号: TP391
计量
- 文章访问数: 01265
- HTML全文浏览量: 0
- PDF下载量: 0961
出版历程
- 发布日期: 2020-10-31

MSRD: Multi-Modal Web Rumor Detection Method

¹(Key Laboratory of Aerospace Information Security and Trusted Computing,Ministry of Education, School of Cyber Science and Engineering, Wuhan University, Wuhan 430072)
²(University of Aberdeen, Aberdeen, Scotland AB24 3FX)

Funds: This work was supported by the National Natural Science Foundation of China (U1936107, 6187613, 61672393).

摘要

摘要: 图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性，对国家安全和社会稳定的危害性更严重.目前网络谣言检测工作充分考虑了谣言中配文的文本内容而忽略了图像内容以及图像中的内嵌文本内容，因此，提出了一种基于深度神经网络针对图像、图像内嵌文本以及配文文本内容的多模态网络谣言检测方法MSRD.该方法使用VGG-19网络提取图像内容特征，使用DenseNet提取图像内嵌文本内容，使用LSTM网络提取文本内容特征，与图像特征串接后，通过完全连接层获取图像与文本共享表示的均值与方差向量,借助从高斯分布中采样的随机变量以形成重新参数化的多模态特征并作为谣言检测器的输入进行谣言检测.实验表明:该方法在Twitter和微博两大数据集上达到了68.5%和79.4%的准确率.
- 多模态 /
- 谣言检测 /
- 图像内嵌文本 /
- 自然语言处理 /
- 深度神经网络
Abstract: The multi-modal web rumors that combine images and texts are more confusing and inflammatory, so they are more harmful to national security and social stability. At present, the web rumor detection work fully considers the text content of the essay in the rumor, and ignores the image content and the embedded text in the image. Therefore, this paper proposes a multi-modal web rumors detection method MSRD for the image, embedded text in the image and the text of the essay based on deep neural networks. This method uses the VGG-19 network to extract image content features, DenseNet to extract embedded text content, and LSTM network to extract text content features. After concatenating with the image features, the mean and variance vectors of the image and text shared representations are obtained through the fully connected layer, and the random variables sampled from the Gaussian distribution are used to form a re-parameterized multi-modal feature and used as the input of the rumor detector. Experiments show that the method achieves 68.5% and 79.4% accuracy on the two data sets of Twitter and Weibo.
- multimodal /
- rumor detection /
- inline text in image /
- natural language processing /
- deep neural network

HTML全文

参考文献(0)

施引文献(22)

期刊类型引用(9)

1.	杨海龙，靳新华. 基于ECC复合加密的医院网络隐私信息安全保护方法. 自动化技术与应用. 2024(08): 140-143+166 . 百度学术
2.	贾卉楠，王斌. 基于移动群智感知的隐私保护研究. 佳木斯大学学报(自然科学版). 2024(09): 16-18+69 . 百度学术
3.	杨小琴，朱玉全. 网络加密数据跨平台迁移自适应决策模型构建. 计算机仿真. 2023(01): 437-440+516 . 百度学术
4.	蒋沥泉，秦志光. 基于属性隐藏的高效去中心化的移动群智数据共享方案. 电子科技大学学报. 2023(06): 915-924 . 百度学术
5.	蔡波. 马尔可夫预测的移动群智感知网络日志信息收集. 西安工程大学学报. 2022(01): 115-120 . 百度学术
6.	佘晓萌，杜洋，马文静，殷赵霞 . 基于像素预测和块标记的图像密文可逆信息隐藏. 计算机研究与发展. 2022(09): 2089-2100 . 本站查看
7.	王磊，陈磊，张明儒，魏敏，李晋先. 面向数据库查询的非结构化数据融合存储系统. 电子设计工程. 2022(24): 148-152 . 百度学术
8.	李卓，宋子晖，沈鑫，陈昕. 边缘计算支持下的移动群智感知本地差分隐私保护机制. 计算机应用. 2021(09): 2678-2686 . 百度学术
9.	熊金波，毕仁万，田有亮，刘西蒙，马建峰. 移动群智感知安全与隐私:模型、进展与趋势. 计算机学报. 2021(09): 1949-1966 . 百度学术