Multimodal Representation Learning by Alternating Unimodal Adaptation

模式 计算机科学 多模式学习 人工智能 适应(眼睛) 代表(政治) 过程(计算) 模式治疗法 特征学习 机器学习 刺激形态 推论 感觉系统 认知心理学 心理学 操作系统 政治 社会学 社会科学 神经科学 法学 心理治疗师 政治学
作者
Xiaohui Zhang,Jaehong Yoon,Mohit Bansal,Huaxiu Yao
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:1
标识
DOI:10.48550/arxiv.2311.10707
摘要

Multimodal learning, which integrates data from diverse sensory modes, plays a pivotal role in artificial intelligence. However, existing multimodal learning methods often struggle with challenges where some modalities appear more dominant than others during multimodal learning, resulting in suboptimal performance. To address this challenge, we propose MLA (Multimodal Learning with Alternating Unimodal Adaptation). MLA reframes the conventional joint multimodal learning process by transforming it into an alternating unimodal learning process, thereby minimizing interference between modalities. Simultaneously, it captures cross-modal interactions through a shared head, which undergoes continuous optimization across different modalities. This optimization process is controlled by a gradient modification mechanism to prevent the shared head from losing previously acquired information. During the inference phase, MLA utilizes a test-time uncertainty-based model fusion mechanism to integrate multimodal information. Extensive experiments are conducted on five diverse datasets, encompassing scenarios with complete modalities and scenarios with missing modalities. These experiments demonstrate the superiority of MLA over competing prior approaches. Our code is available at https://github.com/Cecile-hi/Multimodal-Learning-with-Alternating-Unimodal-Adaptation.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
1秒前
水木青年关注了科研通微信公众号
1秒前
hehehaha发布了新的文献求助30
2秒前
loser发布了新的文献求助10
2秒前
2秒前
4秒前
向日葵发布了新的文献求助10
4秒前
1111完成签到,获得积分10
4秒前
小甲鱼发布了新的文献求助10
5秒前
9979发布了新的文献求助10
5秒前
LVZHIPENG发布了新的文献求助10
5秒前
科研通AI6.4的应助被彤彤采纳,获得10
5秒前
6秒前
初初初啊发布了新的文献求助10
6秒前
kun发布了新的文献求助100
7秒前
7秒前
KD完成签到,获得积分10
7秒前
7秒前
8秒前
9秒前
麦穗大旋风完成签到,获得积分10
9秒前
星辰大海的应助被zyr采纳,获得10
10秒前
在水一方的应助被科研通管家采纳,获得10
10秒前
今后的应助被科研通管家采纳,获得10
10秒前
在水一方的应助被科研通管家采纳,获得10
11秒前
庞扬完成签到,获得积分20
11秒前
小蘑菇的应助被科研通管家采纳,获得10
11秒前
研友_VZG7GZ的应助被科研通管家采纳,获得10
11秒前
ding的应助被科研通管家采纳,获得10
11秒前
dapang_han发布了新的文献求助10
11秒前
11秒前
云墨完成签到,获得积分20
11秒前
ding的应助被科研通管家采纳,获得10
11秒前
link发布了新的文献求助10
11秒前
11秒前
思源的应助被科研通管家采纳,获得10
11秒前
Xiaohuyan发布了新的文献求助10
12秒前
天天快乐的应助被科研通管家采纳,获得10
12秒前
英俊的铭的应助被科研通管家采纳,获得10
12秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
What Else Can I Tell You?: A Pragmatic Study of English Rhetorical Questions as Discursive and Argumentative Acts 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8165074
求助须知:如何正确求助?哪些是违规求助? 9558738
关于积分的说明 21747291
捐赠科研通 7755624
什么是DOI,文献DOI怎么找? 3428780
关于科研通互助平台的介绍 2553162
邀请新用户注册赠送积分活动 2473361