MMCSC：一种跨模态的假新闻检测方法

doi:10.12068/j.issn.1005-3026.2024.01.003

摘要/Abstract

摘要：

目前基于新闻内容的假新闻检测方法没有考虑到不同模态更高层的语义关联，缺少可以依据的信息对新闻进行判断，从而缺乏对有重要辨别特征的新闻的社交网络信息进行有效使用.针对这个问题，提出了基于新闻内容的假新闻检测方法，通过提取文本、图像和视频等多模态新闻的高层语义特征，分析不同模态高层语义信息，设计跨模态主题一致性和跨模态情感一致性计算方法.在此基础上，设计了一种跨模态内容语义一致性的假新闻检测模型MMCSC（multi?modal feature content semantic consistency）.实验证明，相比于传统方法，所提出的MMCSC有较好的检测效果.

关键词: 假新闻检测, 内容语义一致性, 跨模态主题一致性, 跨模态情感一致性

Abstract:

Current fake news detection methods based on news content do not take into account the higher-level semantic correlation of different modalities， and lack information that can be used to judge news， thus lacking effective use of social network information for news with important distinguishing features. Address to this problem， a fake news detection method based on news content is proposed. By extracting high-level semantic features of multi-modal news such as text， images and videos， the high-level semantic information of different modalities is analyzed， and the cross-modal topic consistency and cross-modal emotional consistency are designed. On this basis， a fake news detection model MMCSC （multi-modal feature content semantic consistency） is designed with cross-modal content semantic consistency. Experiments show that the proposed MMCSC has better detection effect than the traditional method.

Key words: fake news detection, content semantic consistency, cross-modal topic consistency, cross-modal emotional consistency

中图分类号:

TP 391

赵越, 郝琨, 赵敬, 信俊昌. MMCSC：一种跨模态的假新闻检测方法[J]. 东北大学学报（自然科学版）, 2024, 45(1): 18-25.

Yue ZHAO, Kun HAO, Jing ZHAO, Jun-chang XIN. MMCSC： A Cross-Modal Approach to Fake News Detection[J]. Journal of Northeastern University(Natural Science), 2024, 45(1): 18-25.

图/表 10

表1 情感词典权重设置

Table 1 Emotional dictionary weight setting

情感词类型	权重设置
正面情感词	2
负面情感词	5
程度副词	most/very/more/ish/insufficiently/over/inverse 4/3/2/0.5/-0.3/-0.5/1
否定词	-1

图1 跨模态内容语义一致性的假新闻检测模型框架

Fig. 1 Framework of fake news detection model for cross modal content semantic consistency

表2 实验环境

Table 2 Experimental environment

实验环境	环境配置
操作系统	Windows10 64位
CPU	Intel（R） Core（TM）i7-8750H CPU
内存	8.00 GB
编程语言	Python3.6
开发工具	IntelliJ IDEA-Community

表3 数据集信息

Table 3 Dataset information

真实新闻	虚假新闻	图片数目	视频数目（补充）
4 749	4 779	3 852	1 200

表4 二分类预测情况

Table 4 Binary classification forecast

二分类	阳性	阴性
正	TP（真阳）	TN（真阴）
负	FP（假阳）	FN（假阴）

图2 基于单文本检测模型训练损失值趋势图

Fig. 2 Trend chart of training loss value based

图3 EANN_text，MMCSC_text模型训练损失值

Fig. 3 Training loss value of EANN_text and MMCSC_text

表5 基于单模态的假新闻检测模型性能指标

Table 5 Performance index of fake news detection model based on single modal

模态	模型	Accuracy	Precision	Recall	F1
单文本	CNN	0.721	0.732	0.731	0.731
	CNN-LSTM	0.761	0.742	0.712	0.733
	EANN_text	0.764	0.747	0.740	0.764
	TestGCN	0.771	0.768	0.767	0.767
	BertGCN	0.774	0.770	0.768	0.769
	MMCSC_text	0.780	0.778	0.781	0.770
单视觉	VGG	0.642	0.680	0.701	0.672
单视觉	MVNN	0.701	0.721	0.712	0.718

图4 MMCSC模型的训练损失值趋势

Fig. 4 Trend of training loss value of MMCSC model

表6 基于多模态的假新闻检测模型性能指标

Table 6 Performance index of fake news detection model based on multi‐modality

数据集	模型类型	Accuracy	Precision	Recall	F1
Weibo	EANN	0.803	0.835	0.682	0.786
Weibo	MMCSC_topicSim	0.808	0.820	0.701	0.793
补充视频信息	EANN	0.803	0.836	0.691	0.787
补充视频信息	MMCSC	0.815	0.857	0.701	0.806

参考文献 24

1	白红义，曹诗语，陈斌.2020年虚假新闻研究报告［J］.新闻记者，2021（1）：23-37.
	Bai Hong‑yi， Cao Shi‑yu， Chen Bin.Fake news 2020 research report［J］.Shanghai Journalism Review，2021（1）：23-37.
2	Przybyla P.Capturing the style of fake news［C］//Proceedings of the AAAI Conference on Artificial Intelligence.New York，2020：490-497.
3	Lazer D M J， Baum M A， Benkler Y，et al.The science of fake news［J］.Science，2018，359（6380）：1094-1096.
4	Jack C.Lexicon of lies：terms for problematic information［J］.Data & Society，2017，3（22）：1094-1096.
5	Shu K， Sliva A， Wang S H，et al.Fake news detection on social media［J］.ACM SIGKDD Explorations Newsletter，2017，19（1）：22-36.
6	Wang W Y.“Liar，liar pants on fire”：a new benchmark dataset for fake news detection［EB/OL］.（2017-05-01）［2022-07-02］.2017：arXiv：1705.00648..
7	Wang Y Q， Yang W F， Ma F L，et al.Weak supervision for fake news detection via reinforcement learning［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（1）：516-523.
8	Vosoughi S， Roy D， Aral S.The spread of true and false news online［J］.Science，2018，359（6380）：1146-1151.
9	Rozin P， Royzman E B.Negativity bias，negativity dominance，and contagion［J］.Personality and Social Psychology Review，2001，5（4）：296-320.
10	Otto L， Glogger I， Boukes M.The softening of journalistic political communication：a comprehensive framework model of sensationalism，soft news，infotainment，and tabloidization［J］.Communication Theory，2017，27（2）：136-155.
11	Sachsman D B.Sensationalism：murder，mayhem，mudslinging，scandals，and disasters in 19th‑century reporting［R］.New York：Routledge，2017.
12	Kim Y.Convolutional neural networks for sentence classification［C］//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Doha，2014：1746-1751.
13	Rashkin H， Choi E， Jang J Y，et al.Truth of varying shades：analyzing language in fake news and political fact‑checking［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.Copenhagen，2017：2931-2937.
14	Castelo S， Almeida T， Elghafari A，et al.A topic‑agnostic approach for identifying fake news pages［C］//Proceedings of the 2019 World Wide Web Conference.San Francisco，2019：975-980.
15	Verónica P R， Bennett K B， Alexandra L，et al.Automatic detection of fake news［C］//Proceedings of the 27th International Conference on Computational Linguistics.Santa Fe，2018：3391-3401.
16	Hannah R K， Eunsol C， Jin Y J，et al.Truth of varying shades：analyzing language in fake news and political fact‑checking［C］//Proceeding of the Conference on Empirical Methods in NLP.Copenhagen，2017：2931-2937.
17	Chen T， Li X， Yin H Z，et al.Call attention to rumors：deep attention based recurrent neural networks for early rumor detection［C］//Pacific‑Asia Conference on Knowledge Discovery and Data Mining.Cham：Springer，2018：40-52.
18	Qi P， Cao J， Yang T Y，et al.Exploiting multi‑domain visual information for fake news detection［C］//2019 IEEE International Conference on Data Mining （ICDM）.Beijing，2019：518-527.
19	Jin Z W， Cao J， Guo H，et al.Multimodal fusion with recurrent neural networks for rumor detection on microblogs［C］//Proceedings of the 25th ACM International Conference on Multimedia.Mountain View，2017：795-816.
20	Wang Y Q， Ma F L， Jin Z W，et al.EANN：event adversarial neural networks for multi‑modal fake news detection［C］//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.London，2018：849-857.
21	张国标，李洁，胡潇戈.基于多模态特征融合的社交媒体虚假新闻检测［J］.情报科学，2021，39（10）：126-132.
	Zhang Guo‑biao， Li Jie， Hu Xiao‑ge.Fake news detection based on multimodal feature fusion on social media［J］.Information Science，2021，39（10）：126-132.
22	张国标，李洁.融合多模态内容语义一致性的社交媒体虚假新闻检测［J］.数据分析与知识发现，2021，5（5）：21-29.
	Zhang Guo‑biao， Li Jie.Detecting social media fake news with semantic consistency between multi‑model contents［J］.Data Analysis and Knowledge Discovery，2021，5（5）：21-29.
23	刘鹏飞.基于多模态特征及语义增强的虚假新闻检测算法的研究与应用［D］.青岛：山东科技大学，2020.
	Liu Peng‑fei.Research and application of fake news detection algorithm based on multi‑modal feature and semantic enhancement［D］.Qingdao：Shandong University of Science and Technology，2020.
24	Mihalcea R， Tarau P.Textrank：bringing order into text［C］//Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing.New York，2004：404-411.