已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Vision-Language Pre-Training with Triple Contrastive Learning

计算机科学 模态(人机交互) 嵌入 代表(政治) 人工智能 图像(数学) 特征学习 情态动词 自然语言处理 机器学习 政治学 政治 化学 高分子化学 法学
作者
Jinyu Yang,Jiali Duan,Son N. Tran,Yi Xu,Sampath Chanda,Li‐Qun Chen,Belinda Zeng,Trishul Chilimbi,Junzhou Huang
标识
DOI:10.1109/cvpr52688.2022.01522
摘要

Vision-language representation learning largely benefits from image-text alignment through contrastive losses (e.g., InfoNCE loss). The success of this alignment strategy is attributed to its capability in maximizing the mutual information (MI) between an image and its matched text. However, simply performing cross-modal alignment (CMA) ignores data potential within each modality, which may result in degraded representations. For instance, although CMA-based models are able to map image-text pairs close together in the embedding space, they fail to ensure that similar inputs from the same modality stay close by. This problem can get even worse when the pre-training data is noisy. In this paper, we propose triple contrastive learning (TCL) for vision-language pre-training by leveraging both cross-modal and intra-modal self-supervision. Besides CMA, TCL introduces an intra-modal contrastive objective to provide complementary benefits in representation learning. To take advantage of localized and structural information from image and text input, TCL further maximizes the average MI between local regions of image/text and their global summary. To the best of our knowledge, ours is the first work that takes into account local structure information for multi-modality representation learning. Experimental evaluations show that our approach is competitive and achieves the new state of the art on various common downstream vision-language tasks such as image-text retrieval and visual question answering.

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
田様应助迅速初柳采纳,获得10
2秒前
Ava应助ordin采纳,获得10
3秒前
sjsuA发布了新的文献求助10
5秒前
Fionaaaa发布了新的文献求助30
5秒前
英姑应助YanDongXu采纳,获得10
6秒前
6秒前
zhaxiao完成签到,获得积分10
9秒前
Owen应助努力的宁采纳,获得10
9秒前
JamesPei应助乐观的颦采纳,获得10
9秒前
研友_VZG7GZ应助哎呀妈呀采纳,获得10
9秒前
很酷的妞子完成签到 ,获得积分10
10秒前
13秒前
14秒前
李龙波完成签到,获得积分20
14秒前
14秒前
hlt完成签到 ,获得积分10
15秒前
迅速初柳发布了新的文献求助10
16秒前
科研通AI2S应助李龙波采纳,获得10
17秒前
kd1412完成签到 ,获得积分10
18秒前
爱静静应助lili采纳,获得10
18秒前
zm发布了新的文献求助10
19秒前
汉堡包应助哎呀妈呀采纳,获得10
20秒前
21秒前
22秒前
Owen应助Lucia采纳,获得30
23秒前
鄂雪青完成签到,获得积分10
24秒前
丘比特应助迅速初柳采纳,获得10
25秒前
26秒前
卓矢完成签到 ,获得积分10
26秒前
鄂雪青发布了新的文献求助10
27秒前
慕青应助sjsuA采纳,获得10
30秒前
ordin发布了新的文献求助10
31秒前
31秒前
共享精神应助哎呀妈呀采纳,获得10
31秒前
fifteen发布了新的文献求助30
33秒前
33秒前
LEMONS完成签到 ,获得积分10
35秒前
xiaotaiyang发布了新的文献求助10
36秒前
Lucia发布了新的文献求助30
37秒前
chcmuer完成签到,获得积分10
38秒前
高分求助中
Exploring Mitochondrial Autophagy Dysregulation in Osteosarcoma: Its Implications for Prognosis and Targeted Therapy 4000
Impact of Mitophagy-Related Genes on the Diagnosis and Development of Esophageal Squamous Cell Carcinoma via Single-Cell RNA-seq Analysis and Machine Learning Algorithms 2000
Evolution 1100
How to Create Beauty: De Lairesse on the Theory and Practice of Making Art 1000
Research Methods for Sports Studies 1000
Gerard de Lairesse : an artist between stage and studio 670
T/CAB 0344-2024 重组人源化胶原蛋白内毒素去除方法 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 内科学 物理 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 免疫学 病理 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 2979915
求助须知:如何正确求助?哪些是违规求助? 2641053
关于积分的说明 7123480
捐赠科研通 2273759
什么是DOI,文献DOI怎么找? 1206130
版权声明 591942
科研通“疑难数据库(出版商)”最低求助积分说明 589460