Beyond Filtering: Adaptive Image-Text Quality Enhancement for MLLM Pretraining

图像增强 计算机科学 图像(数学) 图像质量 人工智能 计算机视觉 质量(理念) 物理 量子力学
作者
Han Huang,Yuqi Huo,Zijia Zhao,Haoyu Lu,Shu Wu,Bingning Wang,Qiang Liu,Weipeng Chen,Li Wang
出处
期刊:Cornell University - arXiv [Cornell University]
标识
DOI:10.48550/arxiv.2410.16166
摘要

Multimodal large language models (MLLMs) have made significant strides by integrating visual and textual modalities. A critical factor in training MLLMs is the quality of image-text pairs within multimodal pretraining datasets. However, $\textit {de facto}$ filter-based data quality enhancement paradigms often discard a substantial portion of high-quality image data due to inadequate semantic alignment between images and texts, leading to inefficiencies in data utilization and scalability. In this paper, we propose the Adaptive Image-Text Quality Enhancer (AITQE), a model that dynamically assesses and enhances the quality of image-text pairs. AITQE employs a text rewriting mechanism for low-quality pairs and incorporates a negative sample learning strategy to improve evaluative capabilities by integrating deliberately selected low-quality samples during training. Unlike prior approaches that significantly alter text distributions, our method minimally adjusts text to preserve data volume while enhancing quality. Experimental results demonstrate that AITQE surpasses existing methods on various benchmark, effectively leveraging raw data and scaling efficiently with increasing data volumes. We hope our work will inspire future works. The code and model are available at: https://github.com/hanhuang22/AITQE.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
空隙可欣发布了新的文献求助10
刚刚
NexusExplorer的应助被ylin采纳,获得10
刚刚
1秒前
Shale发布了新的文献求助10
1秒前
1秒前
1秒前
1秒前
LJX发布了新的文献求助10
1秒前
sniper完成签到,获得积分10
2秒前
WistingWang完成签到,获得积分10
2秒前
2秒前
单身的忆南完成签到,获得积分10
3秒前
和平完成签到 ,获得积分10
3秒前
充电宝的应助被声声慢采纳,获得10
4秒前
科研通AI2S的应助被黄鑫采纳,获得10
4秒前
4秒前
充电宝的应助被落羽无尘1006采纳,获得10
4秒前
4秒前
天天快乐的应助被lykkk采纳,获得10
4秒前
畅快蓝血完成签到,获得积分10
5秒前
yhh完成签到,获得积分10
5秒前
rosy完成签到,获得积分10
5秒前
无花果的应助被lily采纳,获得10
5秒前
Ambt丨on发布了新的文献求助10
5秒前
汉堡包的应助被飘飘采纳,获得10
5秒前
HongliWang完成签到,获得积分10
5秒前
6秒前
旺旺发布了新的文献求助10
6秒前
SQL发布了新的文献求助10
6秒前
叉叉发布了新的文献求助10
6秒前
吉路完成签到,获得积分10
6秒前
hanyun完成签到 ,获得积分10
6秒前
mei完成签到,获得积分10
6秒前
NexusExplorer的应助被旺旺采纳,获得10
7秒前
7秒前
7秒前
7秒前
wss123发布了新的文献求助10
7秒前
年轻上线完成签到,获得积分10
7秒前
7秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8162816
求助须知:如何正确求助?哪些是违规求助? 9557103
关于积分的说明 21738393
捐赠科研通 7753330
什么是DOI,文献DOI怎么找? 3427963
关于科研通互助平台的介绍 2552742
邀请新用户注册赠送积分活动 2472556