Multimodal Analysis for Deep Video Understanding with Video Language Transformer

计算机科学 变压器 匹配(统计) 人工智能 模态(人机交互) 情态动词 自然语言处理 多媒体 情报检索 人机交互 物理 统计 电压 化学 高分子化学 量子力学 数学
作者
Beibei Zhang,Yaqun Fang,Tongwei Ren,Gangshan Wu
标识
DOI:10.1145/3503161.3551600
摘要

The Deep Video Understanding Challenge (DVUC) is aimed to use multiple modality information to build high-level understanding of video, involving tasks such as relationship recognition and interaction detection. In this paper, we use a joint learning framework to simultaneously predict multiple tasks with visual, text, audio and pose features. In addition, to answer the queries of DVUC, we design multiple answering strategies and use video language transformer which learns cross-modal information for matching videos with text choices. The final DVUC result shows that our method ranks first for group one of movie-level queries, and ranks third for both of group one and group two of scene-level queries.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
perennis发布了新的文献求助10
1秒前
yzh完成签到 ,获得积分10
1秒前
让我静静完成签到,获得积分10
1秒前
nyfz2002发布了新的文献求助10
3秒前
丰富的高山完成签到,获得积分10
3秒前
Kenny发布了新的文献求助10
3秒前
雪天的阳完成签到 ,获得积分10
4秒前
温酒筚篥发布了新的文献求助30
4秒前
4秒前
molly完成签到,获得积分10
6秒前
科研通AI2S应助奋斗的荆采纳,获得10
6秒前
YY_PLY完成签到 ,获得积分10
6秒前
突突突发布了新的文献求助10
7秒前
合适书芹完成签到,获得积分10
7秒前
8秒前
8秒前
林一木完成签到,获得积分10
9秒前
万能图书馆应助程哲瀚采纳,获得10
9秒前
ABC完成签到,获得积分10
9秒前
巧克力完成签到 ,获得积分10
9秒前
yulian完成签到,获得积分10
9秒前
黑色幽默发布了新的文献求助10
9秒前
等等完成签到,获得积分20
9秒前
勤恳完成签到,获得积分10
9秒前
每文完成签到,获得积分10
11秒前
ljz发布了新的文献求助10
11秒前
11秒前
yu完成签到 ,获得积分10
11秒前
12秒前
Tangerine发布了新的文献求助10
12秒前
侠医2012完成签到,获得积分10
12秒前
13秒前
13秒前
14秒前
wyw123完成签到,获得积分10
15秒前
Ivy完成签到,获得积分10
15秒前
晴空万里完成签到,获得积分10
15秒前
减减完成签到,获得积分10
16秒前
CodeCraft应助等等采纳,获得10
16秒前
高分求助中
Sustainability in Tides Chemistry 2000
Microlepidoptera Palaearctica, Volumes 1 and 3 - 13 (12-Volume Set) [German] 1122
Дружба 友好报 (1957-1958) 1000
The Data Economy: Tools and Applications 1000
Mantiden - Faszinierende Lauerjäger – Buch gebraucht kaufen 700
PraxisRatgeber Mantiden., faszinierende Lauerjäger. – Buch gebraucht kaufe 700
A Dissection Guide & Atlas to the Rabbit 600
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3099895
求助须知:如何正确求助?哪些是违规求助? 2751334
关于积分的说明 7613172
捐赠科研通 2403314
什么是DOI,文献DOI怎么找? 1275235
科研通“疑难数据库(出版商)”最低求助积分说明 616318
版权声明 599053