MSRD: 多模态网络谣言检测方法

刘金硕; 冯阔; Jeff Z. Pan; 邓娟; 王丽娜

doi:10.7544/issn1000-1239.2020.20200413

MSRD: 多模态网络谣言检测方法

¹(空天信息安全与可信计算教育部重点实验室,武汉大学国家网络安全学院武汉 430072)
²(阿伯丁大学苏格兰阿伯丁 AB24 3FX) (liujinshuo@whu.edu.cn)

基金项目: 国家自然科学基金项目(U1936107,6187613,61672393)

详细信息

中图分类号: TP391
计量
- 文章访问数: 1748
- HTML全文浏览量: 4
- PDF下载量: 1032
出版历程
- 发布日期: 2020-10-31

MSRD: Multi-Modal Web Rumor Detection Method

¹(Key Laboratory of Aerospace Information Security and Trusted Computing,Ministry of Education, School of Cyber Science and Engineering, Wuhan University, Wuhan 430072)
²(University of Aberdeen, Aberdeen, Scotland AB24 3FX)

Funds: This work was supported by the National Natural Science Foundation of China (U1936107, 6187613, 61672393).

摘要

摘要: 图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性，对国家安全和社会稳定的危害性更严重.目前网络谣言检测工作充分考虑了谣言中配文的文本内容而忽略了图像内容以及图像中的内嵌文本内容，因此，提出了一种基于深度神经网络针对图像、图像内嵌文本以及配文文本内容的多模态网络谣言检测方法MSRD.该方法使用VGG-19网络提取图像内容特征，使用DenseNet提取图像内嵌文本内容，使用LSTM网络提取文本内容特征，与图像特征串接后，通过完全连接层获取图像与文本共享表示的均值与方差向量,借助从高斯分布中采样的随机变量以形成重新参数化的多模态特征并作为谣言检测器的输入进行谣言检测.实验表明:该方法在Twitter和微博两大数据集上达到了68.5%和79.4%的准确率.
- 多模态 /
- 谣言检测 /
- 图像内嵌文本 /
- 自然语言处理 /
- 深度神经网络
Abstract: The multi-modal web rumors that combine images and texts are more confusing and inflammatory, so they are more harmful to national security and social stability. At present, the web rumor detection work fully considers the text content of the essay in the rumor, and ignores the image content and the embedded text in the image. Therefore, this paper proposes a multi-modal web rumors detection method MSRD for the image, embedded text in the image and the text of the essay based on deep neural networks. This method uses the VGG-19 network to extract image content features, DenseNet to extract embedded text content, and LSTM network to extract text content features. After concatenating with the image features, the mean and variance vectors of the image and text shared representations are obtained through the fully connected layer, and the random variables sampled from the Gaussian distribution are used to form a re-parameterized multi-modal feature and used as the input of the rumor detector. Experiments show that the method achieves 68.5% and 79.4% accuracy on the two data sets of Twitter and Weibo.
- multimodal /
- rumor detection /
- inline text in image /
- natural language processing /
- deep neural network

HTML全文

参考文献(0)

施引文献(18)

期刊类型引用(7)

1.	杨秀璋，武帅，宋籍文，廖文婧，任天舒，刘建义. 基于LDA和关系图谱的数据治理文献主题演化研究. 信息技术与信息化. 2022(08): 6-12 . 百度学术
2.	黄飞杰，张卫东，侯石鹏，宋红文. 基于GSP算法的卷烟消费者研究. 信息与电脑(理论版). 2022(16): 58-60 . 百度学术
3.	张瑾，朱桂祥，王宇琛，郑烁佳，陈镜潞. 基于异质图表达学习的跨境电商推荐模型. 电子与信息学报. 2022(11): 4008-4017 . 百度学术
4.	冯晨娇，宋鹏，王智强，梁吉业. 一种基于3因素概率图模型的长尾推荐方法. 计算机研究与发展. 2021(09): 1975-1986 . 本站查看
5.	牛俊洁，崔忠伟，赵晨洁，王永金，吴恋. 个性化旅游推荐技术研究及发展综述. 物联网技术. 2020(03): 86-88+91 . 百度学术
6.	史亚奇. 基于人性化特征的旅游地智能推荐系统. 现代电子技术. 2020(11): 183-186 . 百度学术
7.	张如花，屈正庚. 基于AHP的旅游网站评价体系研究. 甘肃科学学报. 2019(05): 32-36 . 百度学术