A Prior Instruction Representation Framework for Remote Sensing Image-text Retrieval

计算机科学 代表(政治) 特征学习 钥匙(锁) 编码器 人工智能 特征(语言学) 水准点(测量) 噪音(视频) 子空间拓扑 依赖关系(UML) 隐藏字幕 自然语言处理 机器学习 图像(数学) 哲学 大地测量学 操作系统 政治 法学 语言学 地理 计算机安全 政治学
作者
Jiancheng Pan,Qing Ma,Cong Bai
标识
DOI:10.1145/3581783.3612374
摘要

This paper presents a prior instruction representation framework (PIR) for remote sensing image-text retrieval, aimed at remote sensing vision-language understanding tasks to solve the semantic noise problem. Our highlight is the proposal of a paradigm that draws on prior knowledge to instruct adaptive learning of vision and text representations. Concretely, two progressive attention encoder (PAE) structures, Spatial-PAE and Temporal-PAE, are proposed to perform long-range dependency modeling to enhance key feature representation. In vision representation, Vision Instruction Representation (VIR) based on Spatial-PAE exploits the prior-guided knowledge of the remote sensing scene recognition by building a belief matrix to select key features for reducing the impact of semantic noise. In text representation, Language Cycle Attention (LCA) based on Temporal-PAE uses the previous time step to cyclically activate the current time step to enhance text representation capability. A cluster-wise affiliation loss is proposed to constrain the inter-classes and to reduce the semantic confusion zones in the common subspace. Comprehensive experiments demonstrate that using prior knowledge instruction could enhance vision and text representations and could outperform the state-of-the-art methods on two benchmark datasets, RSICD and RSITMD. Codes are available at https://github.com/Zjut-MultimediaPlus/PIR-pytorch.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
乐乐发布了新的文献求助20
1秒前
未来发布了新的文献求助10
1秒前
lalafish发布了新的文献求助10
2秒前
oyxz完成签到,获得积分10
2秒前
柔弱小之发布了新的文献求助10
2秒前
3秒前
Chemistry完成签到,获得积分10
3秒前
3秒前
niu发布了新的文献求助10
4秒前
简单的钢铁侠完成签到,获得积分10
4秒前
赘婿应助Demonmaster采纳,获得10
4秒前
张通发布了新的文献求助10
5秒前
拜拜拜仁完成签到,获得积分10
5秒前
5秒前
6秒前
6秒前
7秒前
7秒前
鱼儿会飞发布了新的文献求助10
7秒前
8秒前
七七发布了新的文献求助10
8秒前
8秒前
8秒前
小马过河发布了新的文献求助10
8秒前
大模型应助饱满的鑫采纳,获得10
9秒前
rong发布了新的文献求助10
9秒前
9秒前
9秒前
xiaofan发布了新的文献求助10
9秒前
Charming完成签到,获得积分10
10秒前
LLL发布了新的文献求助10
10秒前
李兴完成签到 ,获得积分10
10秒前
研友_8RlQ2n完成签到,获得积分10
10秒前
10秒前
10秒前
10秒前
阿俊1212完成签到,获得积分10
11秒前
DavidWebb完成签到,获得积分10
11秒前
一瓶水完成签到,获得积分20
11秒前
11秒前
高分求助中
A new approach to the extrapolation of accelerated life test data 1000
‘Unruly’ Children: Historical Fieldnotes and Learning Morality in a Taiwan Village (New Departures in Anthropology) 400
Indomethacinのヒトにおける経皮吸収 400
Phylogenetic study of the order Polydesmida (Myriapoda: Diplopoda) 370
基于可调谐半导体激光吸收光谱技术泄漏气体检测系统的研究 350
Robot-supported joining of reinforcement textiles with one-sided sewing heads 320
Aktuelle Entwicklungen in der linguistischen Forschung 300
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 3986829
求助须知:如何正确求助?哪些是违规求助? 3529292
关于积分的说明 11244137
捐赠科研通 3267685
什么是DOI,文献DOI怎么找? 1803843
邀请新用户注册赠送积分活动 881223
科研通“疑难数据库(出版商)”最低求助积分说明 808600