标题 |
![]() MFIR:用于可解释假新闻检测的多模态融合和不一致性推理
相关领域
计算机科学
模态(人机交互)
语义学(计算机科学)
可解释性
模式
串联(数学)
特征(语言学)
人工智能
自然语言处理
情态动词
情报检索
语言学
哲学
社会科学
化学
数学
组合数学
社会学
高分子化学
程序设计语言
|
网址 | |
DOI | |
其它 | 假新闻对我们的生活具有破坏性和负面影响。随着社交媒体社区中多模态内容的快速增长,多模态假新闻检测越来越受到关注。现有的方法大多侧重于学习各种模态各自的深度语义,并通过传统的融合模式(如拼接或加法等)进行集成,以提高检测性能,并取得了一定程度的成功。然而,它们有两个关键问题:(1) 浅层跨模态特征融合,以及 (2) 难以捕获不一致的信息。为此,我们提出了多模态融合和不一致推理 (MFIR) 模型来发现用于可解释假新闻检测的多模态不一致语义。具体来说,MFIR 由三个模块组成:(1) 与传统的融合模式不同,设计了跨模态渗透融合,在当前模态的基础上,不断将另一个模态特征渗透和关联到其内部语义中,可以很好地保证原始模态的上下文语义的保留;(2)多模态不一致学习不仅从文本和视觉的角度捕捉局部不一致语义,而且将两种类型的局部语义融合在一起,发现多模态内容中的全局不一致语义;(3) 为了增强不一致语义作为用户证据的可解释性,我们开发了解释推理层来补充不一致语义的上下文信息,从而产生更易理解的证据语义。广泛的实验证实了我们的模型在三个数据集上的有效性,并将性能提高了 2.8%。 |
求助人 | |
下载 | 求助已完成,仅限求助人下载。 |
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|