亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Learning Video-Text Aligned Representations for Video Captioning

隐藏字幕 计算机科学 边距(机器学习) 自然语言处理 人工智能 语义鸿沟 语义学(计算机科学) 情报检索 图像(数学) 图像检索 机器学习 程序设计语言
作者
Yaya Shi,Haiyang Xu,Chunfeng Yuan,Bing Li,Weiming Hu,Zheng-Jun Zha
出处
期刊:ACM Transactions on Multimedia Computing, Communications, and Applications [Association for Computing Machinery]
卷期号:19 (2): 1-21 被引量:3
标识
DOI:10.1145/3546828
摘要

Video captioning requires that the model has the abilities of video understanding, video-text alignment, and text generation. Due to the semantic gap between vision and language, conducting video-text alignment is a crucial step to reduce the semantic gap, which maps the representations from the visual to the language domain. However, the existing methods often overlook this step, so the decoder has to directly take the visual representations as input, which increases the decoder’s workload and limits its ability to generate semantically correct captions. In this paper, we propose a video-text alignment module with a retrieval unit and an alignment unit to learn video-text aligned representations for video captioning. Specifically, we firstly propose a retrieval unit to retrieve sentences as additional input which is used as the semantic anchor between visual scene and language description. Then, we employ an alignment unit with the input of the video and retrieved sentences to conduct the video-text alignment. The representations of two modal inputs are aligned in a shared semantic space. The obtained video-text aligned representations are used to generate semantically correct captions. Moreover, retrieved sentences provide rich semantic concepts which are helpful for generating distinctive captions. Experiments on two public benchmarks, i.e., VATEX and MSR-VTT, demonstrate that our method outperforms state-of-the-art performances by a large margin. The qualitative analysis shows that our method generates correct and distinctive captions.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
严珍珍完成签到 ,获得积分10
14秒前
科研通AI5应助科研通管家采纳,获得10
36秒前
科研通AI2S应助科研通管家采纳,获得10
36秒前
科研通AI5应助科研通管家采纳,获得10
36秒前
科研通AI5应助科研通管家采纳,获得10
37秒前
科研通AI5应助科研通管家采纳,获得10
37秒前
yu应助科研通管家采纳,获得150
37秒前
48秒前
TheaGao发布了新的文献求助10
54秒前
2分钟前
科研通AI5应助科研通管家采纳,获得10
2分钟前
Owen应助科研通管家采纳,获得10
2分钟前
科研通AI5应助科研通管家采纳,获得10
2分钟前
科研通AI2S应助科研通管家采纳,获得10
2分钟前
yu应助科研通管家采纳,获得50
2分钟前
科研通AI5应助科研通管家采纳,获得10
2分钟前
科研通AI5应助科研通管家采纳,获得10
2分钟前
科研通AI5应助科研通管家采纳,获得10
2分钟前
田様应助科研通管家采纳,获得10
2分钟前
科研通AI5应助科研通管家采纳,获得10
2分钟前
要减肥的冰姬完成签到,获得积分10
2分钟前
欧皇发布了新的文献求助10
2分钟前
礼乐完成签到 ,获得积分10
3分钟前
李剑鸿发布了新的文献求助200
3分钟前
3分钟前
jing发布了新的文献求助10
3分钟前
Owen应助jing采纳,获得10
4分钟前
Eugene完成签到,获得积分10
4分钟前
科研通AI5应助科研通管家采纳,获得10
4分钟前
科研通AI5应助科研通管家采纳,获得10
4分钟前
科研通AI5应助科研通管家采纳,获得10
4分钟前
科研通AI2S应助科研通管家采纳,获得10
4分钟前
科研通AI5应助科研通管家采纳,获得10
4分钟前
NexusExplorer应助科研通管家采纳,获得10
4分钟前
科研通AI5应助科研通管家采纳,获得10
4分钟前
CodeCraft应助科研通管家采纳,获得10
4分钟前
科研通AI5应助科研通管家采纳,获得10
4分钟前
科研通AI5应助科研通管家采纳,获得10
4分钟前
爆米花应助dongyajingggggg采纳,获得10
4分钟前
5分钟前
高分求助中
Production Logging: Theoretical and Interpretive Elements 2700
Neuromuscular and Electrodiagnostic Medicine Board Review 1000
こんなに痛いのにどうして「なんでもない」と医者にいわれてしまうのでしょうか 510
The First Nuclear Era: The Life and Times of a Technological Fixer 500
岡本唐貴自伝的回想画集 500
Distinct Aggregation Behaviors and Rheological Responses of Two Terminally Functionalized Polyisoprenes with Different Quadruple Hydrogen Bonding Motifs 450
Ciprofol versus propofol for adult sedation in gastrointestinal endoscopic procedures: a systematic review and meta-analysis 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 物理 生物化学 纳米技术 计算机科学 化学工程 内科学 复合材料 物理化学 电极 遗传学 量子力学 基因 冶金 催化作用
热门帖子
关注 科研通微信公众号,转发送积分 3671283
求助须知:如何正确求助?哪些是违规求助? 3228138
关于积分的说明 9778521
捐赠科研通 2938378
什么是DOI,文献DOI怎么找? 1609975
邀请新用户注册赠送积分活动 760503
科研通“疑难数据库(出版商)”最低求助积分说明 735991