亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Unified Information Fusion Network for Multi-Modal RGB-D and RGB-T Salient Object Detection

RGB颜色模型 计算机科学 人工智能 情态动词 特征(语言学) 水准点(测量) 模式识别(心理学) 模态(人机交互) 保险丝(电气) 计算机视觉 工程类 大地测量学 哲学 化学 电气工程 高分子化学 地理 语言学
作者
Wei Gao,Guibiao Liao,Siwei Ma,Ge Li,Yongsheng Liang,Weisi Lin
出处
期刊:IEEE Transactions on Circuits and Systems for Video Technology [Institute of Electrical and Electronics Engineers]
卷期号:32 (4): 2091-2106 被引量:187
标识
DOI:10.1109/tcsvt.2021.3082939
摘要

The use of complementary information, namely \ndepth or thermal information, has shown its benefits to salient object detection (SOD) during recent years. However, the RGB-D or \nRGB-T SOD problems are currently only solved independently, \nand most of them directly extract and fuse raw features from \nbackbones. Such methods can be easily restricted by low-quality \nmodality data and redundant cross-modal features. In this work, \na unified end-to-end framework is designed to simultaneously \nanalyze RGB-D and RGB-T SOD tasks. Specifically, to effectively \ntackle multi-modal features, we propose a novel multi-stage and \nmulti-scale fusion network (MMNet), which consists of a crossmodal multi-stage fusion module (CMFM) and a bi-directional \nmulti-scale decoder (BMD). Similar to the visual color stage \ndoctrine in the human visual system (HVS), the proposed CMFM \naims to explore important feature representations in feature \nresponse stage, and integrate them into cross-modal features \nin adversarial combination stage. Moreover, the proposed BMD \nlearns the combination of multi-level cross-modal fused features \nto capture both local and global information of salient objects, and can further boost the multi-modal SOD performance. \nThe proposed unified cross-modality feature analysis framework \nbased on two-stage and multi-scale information fusion can be \nused for diverse multi-modal SOD tasks. Comprehensive experiments (∼92K image-pairs) demonstrate that the proposed method \nconsistently outperforms the other 21 state-of-the-art methods \non nine benchmark datasets. This validates that our proposed \nmethod can work well on diverse multi-modal SOD tasks with \ngood generalization and robustness, and provides a good multimodal SOD benchmark.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
XiaoLiu完成签到,获得积分0
30秒前
44秒前
1分钟前
霸气幼荷发布了新的文献求助10
1分钟前
小马甲应助莫寒兮采纳,获得10
1分钟前
1分钟前
赘婿应助霸气幼荷采纳,获得10
1分钟前
飞天大南瓜完成签到,获得积分10
1分钟前
1分钟前
Lemonnnnnn_发布了新的文献求助10
1分钟前
2分钟前
莫寒兮发布了新的文献求助10
2分钟前
Lemonnnnnn_完成签到,获得积分10
2分钟前
ding应助莫寒兮采纳,获得10
2分钟前
刘坤选发布了新的文献求助10
2分钟前
3分钟前
3分钟前
霸气幼荷发布了新的文献求助10
3分钟前
科研通AI6.2应助houyuhao123123采纳,获得30
3分钟前
4分钟前
4分钟前
稳重的迎松完成签到 ,获得积分10
4分钟前
霸气幼荷发布了新的文献求助10
4分钟前
乐乐应助houyuhao123123采纳,获得10
4分钟前
5分钟前
范特西完成签到 ,获得积分10
5分钟前
5分钟前
科研通AI6.1应助houyuhao123123采纳,获得30
5分钟前
wanci应助lalalal采纳,获得10
5分钟前
5分钟前
5分钟前
bobo完成签到,获得积分10
6分钟前
科研通AI6.4应助houyuhao123123采纳,获得10
6分钟前
NexusExplorer应助吴小苏采纳,获得10
6分钟前
zhangchen123完成签到,获得积分10
6分钟前
6分钟前
7分钟前
苗条的小蜜蜂完成签到 ,获得积分10
7分钟前
7分钟前
科研通AI6.3应助echochan采纳,获得100
7分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Les Mantodea de Guyane Insecta, Polyneoptera 2000
Quality by Design - An Indispensable Approach to Accelerate Biopharmaceutical Product Development 800
Pulse width control of a 3-phase inverter with non sinusoidal phase voltages 777
Signals, Systems, and Signal Processing 610
Research Methods for Applied Linguistics: A Practical Guide 600
Research Methods for Applied Linguistics 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 物理 内科学 复合材料 催化作用 物理化学 光电子学 电极 细胞生物学 基因 无机化学
热门帖子
关注 科研通微信公众号,转发送积分 6404327
求助须知:如何正确求助?哪些是违规求助? 8223543
关于积分的说明 17429771
捐赠科研通 5456894
什么是DOI,文献DOI怎么找? 2883628
邀请新用户注册赠送积分活动 1859855
关于科研通互助平台的介绍 1701302