Multimodal Remote Sensing Image Segmentation With Intuition-Inspired Hypergraph Modeling

计算机科学 超图 分割 人工智能 语义学(计算机科学) 模式识别(心理学) 数学 程序设计语言 离散数学
作者
Qibin He,Xian Sun,Wenhui Diao,Zhiyuan Yan,Fanglong Yao,Kun Fu
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:32: 1474-1487 被引量:32
标识
DOI:10.1109/tip.2023.3245324
摘要

Multimodal remote sensing (RS) image segmentation aims to comprehensively utilize multiple RS modalities to assign pixel-level semantics to the studied scenes, which can provide a new perspective for global city understanding. Multimodal segmentation inevitably encounters the challenge of modeling intra- and inter-modal relationships, $i.e$ ., object diversity and modal gaps. However, the previous methods are usually designed for a single RS modality, limited by the noisy collection environment and poor discrimination information. Neuropsychology and neuroanatomy confirm that the human brain performs the guiding perception and integrative cognition of multimodal semantics through intuitive reasoning. Therefore, establishing a semantic understanding framework inspired by intuition to realize multimodal RS segmentation becomes the main motivation of this work. Drived by the superiority of hypergraphs in modeling high-order relationships, we propose an intuition-inspired hypergraph network ( $I^{2}HN$ ) for multimodal RS segmentation. Specifically, we present a hypergraph parser to imitate guiding perception to learn intra-modal object-wise relationships. It parses the input modality into irregular hypergraphs to mine semantic clues and generate robust mono-modal representations. In addition, we also design a hypergraph matcher to dynamically update the hypergraph structure from the explicit correspondence of visual concepts, similar to integrative cognition, to improve cross-modal compatibility when fusing multimodal features. Extensive experiments on two multimodal RS datasets show that the proposed $I^{2}HN$ outperforms the state-of-the-art models, achieving F1/mIoU accuracy 91.4%/82.9% on the ISPRS Vaihingen dataset, and 92.1%/84.2% on the MSAW dataset.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
浅梦关注了科研通微信公众号
1秒前
傻傻的哈密瓜完成签到,获得积分10
2秒前
Lucas应助周女士采纳,获得10
2秒前
高大的啤酒完成签到,获得积分10
3秒前
5秒前
之星君发布了新的文献求助10
5秒前
6秒前
6秒前
呱瓜瓜发布了新的文献求助10
6秒前
朴实凝阳发布了新的文献求助10
6秒前
互助遵法尚德应助1005采纳,获得10
7秒前
共享精神应助朝阳采纳,获得10
7秒前
7秒前
三顿饭吃一天完成签到,获得积分10
7秒前
gaixinwen完成签到,获得积分10
8秒前
我是老大应助YZL采纳,获得10
8秒前
8秒前
9秒前
9秒前
窦慕卉发布了新的文献求助10
9秒前
10秒前
顺心绮兰发布了新的文献求助10
11秒前
11秒前
研玲发布了新的文献求助10
12秒前
loveananya完成签到,获得积分20
12秒前
包包糖在摸鱼完成签到 ,获得积分10
13秒前
公冶君浩发布了新的文献求助10
13秒前
Zhoup发布了新的文献求助10
14秒前
cjp1992发布了新的文献求助10
15秒前
思源应助浅眠采纳,获得10
16秒前
小帅发布了新的文献求助10
16秒前
Zl发布了新的文献求助30
16秒前
16秒前
17秒前
17秒前
房明建关注了科研通微信公众号
17秒前
wanci应助hang采纳,获得10
17秒前
羊羊发布了新的文献求助30
18秒前
彩色的蛋糕完成签到 ,获得积分10
18秒前
学术渣完成签到 ,获得积分10
19秒前
高分求助中
Lire en communiste 1000
Ore genesis in the Zambian Copperbelt with particular reference to the northern sector of the Chambishi basin 800
Mantiden: Faszinierende Lauerjäger Faszinierende Lauerjäger 700
PraxisRatgeber: Mantiden: Faszinierende Lauerjäger 700
Becoming: An Introduction to Jung's Concept of Individuation 600
Evolution 3rd edition 500
Die Gottesanbeterin: Mantis religiosa: 656 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3170704
求助须知:如何正确求助?哪些是违规求助? 2821739
关于积分的说明 7936289
捐赠科研通 2482180
什么是DOI,文献DOI怎么找? 1322371
科研通“疑难数据库(出版商)”最低求助积分说明 633620
版权声明 602608