亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Cross on Cross Attention: Deep Fusion Transformer for Image Captioning

计算机科学 隐藏字幕 编码器 解码方法 人工智能 情态动词 变压器 特征提取 编码(内存) 编码(集合论) 模式识别(心理学) 图像(数学) 数据挖掘 算法 电压 化学 物理 量子力学 高分子化学 操作系统 集合(抽象数据类型) 程序设计语言
作者
Jing Zhang,Yingshuai Xie,Weichao Ding,Zhe Wang
出处
期刊:IEEE Transactions on Circuits and Systems for Video Technology [Institute of Electrical and Electronics Engineers]
卷期号:33 (8): 4257-4268 被引量:18
标识
DOI:10.1109/tcsvt.2023.3243725
摘要

Numerous studies have shown that in-depth mining of correlations between multi-modal features can help improve the accuracy of cross-modal data analysis tasks. However, the current image description methods based on the encoder-decoder framework only carry out the interaction and fusion of multi-modal features in the encoding stage or the decoding stage, which cannot effectively alleviate the semantic gap. In this paper, we propose a Deep Fusion Transformer (DFT) for image captioning to provide a deep multi-feature and multi-modal information fusion strategy throughout the encoding to decoding process. We propose a novel global cross encoder to align different types of visual features, which can effectively compensate for the differences between features and incorporate each other's strengths. In the decoder, a novel cross on cross attention is proposed to realize hierarchical cross-modal data analysis, extending complex cross-modal reasoning capabilities through the multi-level interaction of visual and semantic features. Extensive experiments conducted on the MSCOCO dataset prove that our proposed DFT can achieve excellent performance and outperform state-of-the-art methods. The code is available at https://github.com/weimingboya/DFT .
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
17秒前
SW发布了新的文献求助10
21秒前
SW完成签到,获得积分10
47秒前
冯乾发布了新的文献求助20
53秒前
冯乾完成签到,获得积分10
1分钟前
1分钟前
1分钟前
Tiger完成签到,获得积分10
1分钟前
NexusExplorer应助Tiger采纳,获得10
1分钟前
zsmj23完成签到 ,获得积分0
2分钟前
2分钟前
2分钟前
Orange应助xun采纳,获得10
2分钟前
2分钟前
xun发布了新的文献求助10
3分钟前
完美世界应助xun采纳,获得10
3分钟前
细心的如天完成签到 ,获得积分10
3分钟前
bing完成签到 ,获得积分10
3分钟前
4分钟前
xun发布了新的文献求助10
4分钟前
彭于晏应助粗心的峻熙采纳,获得10
4分钟前
5分钟前
5分钟前
xun完成签到,获得积分20
5分钟前
粗心的峻熙关注了科研通微信公众号
5分钟前
震动的听枫完成签到,获得积分10
8分钟前
共享精神应助科研通管家采纳,获得10
8分钟前
9分钟前
9分钟前
清脆的天亦完成签到 ,获得积分10
9分钟前
qianshu完成签到,获得积分10
10分钟前
传奇完成签到 ,获得积分10
11分钟前
现代青枫应助专注的月亮采纳,获得10
11分钟前
uss完成签到,获得积分10
13分钟前
zwenng完成签到,获得积分10
13分钟前
李健应助411采纳,获得10
15分钟前
完美的一天完成签到,获得积分10
15分钟前
科研通AI2S应助拓跋书芹采纳,获得30
15分钟前
15分钟前
拓跋书芹发布了新的文献求助30
15分钟前
高分求助中
Evolution 3rd edition 1500
Lire en communiste 1000
Mantiden: Faszinierende Lauerjäger Faszinierende Lauerjäger 700
PraxisRatgeber: Mantiden: Faszinierende Lauerjäger 700
A new species of Coccus (Homoptera: Coccoidea) from Malawi 500
2-Acetyl-1-pyrroline: an important aroma component of cooked rice 500
Ribozymes and aptamers in the RNA world, and in synthetic biology 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3179920
求助须知:如何正确求助?哪些是违规求助? 2830334
关于积分的说明 7976399
捐赠科研通 2491890
什么是DOI,文献DOI怎么找? 1329044
科研通“疑难数据库(出版商)”最低求助积分说明 635596
版权声明 602927