TransDSSL: Transformer Based Depth Estimation via Self-Supervised Learning

变压器 计算机科学 人工智能 机器学习 单眼 像素 模式识别(心理学) 计算机视觉 工程类 电压 电气工程
作者
Daechan Han,Jeongmin Shin,Namil Kim,Soonmin Hwang,Yukyung Choi
出处
期刊:IEEE robotics and automation letters 卷期号:7 (4): 10969-10976 被引量:18
标识
DOI:10.1109/lra.2022.3196781
摘要

Recently, transformers have been widely adopted for various computer vision tasks and show promising results due to their ability to encode long-range spatial dependencies in an image effectively. However, very few studies on adopting transformers in self-supervised depth estimation have been conducted. When replacing the CNN architecture with the transformer in self-supervised learning of depth, we encounter several problems such as problematic multi-scale photometric loss function when used with transformers and, insufficient ability to capture local details. In this letter, we propose an attention-based decoder module, Pixel-Wise Skip Attention (PWSA), to enhance fine details in feature maps while keeping global context from transformers. In addition, we propose utilizing self-distillation loss with single-scale photometric loss to alleviate the instability of transformer training by using correct training signals. We demonstrate that the proposed model performs accurate predictions on large objects and thin structures that require global context and local details. Our model achieves state-of-the-art performance among the self-supervised monocular depth estimation methods on KITTI and DDAD benchmarks.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
fatcat完成签到,获得积分10
刚刚
Hello应助榴下晨光采纳,获得10
4秒前
Sakura完成签到 ,获得积分10
7秒前
衣蝉完成签到 ,获得积分0
13秒前
14秒前
16秒前
青水完成签到 ,获得积分10
17秒前
量子星尘发布了新的文献求助10
21秒前
榴下晨光发布了新的文献求助10
23秒前
朴素的紫安完成签到 ,获得积分10
24秒前
南楼小阁主完成签到,获得积分10
26秒前
咕噜完成签到 ,获得积分10
27秒前
科研通AI6应助结实的谷芹采纳,获得10
44秒前
量子星尘发布了新的文献求助10
45秒前
48秒前
雾影之殇关注了科研通微信公众号
50秒前
grace完成签到 ,获得积分10
52秒前
我爱看文献是假的完成签到,获得积分10
54秒前
迅速千愁完成签到 ,获得积分10
58秒前
58秒前
量子星尘发布了新的文献求助10
1分钟前
GPTea应助个性画笔采纳,获得60
1分钟前
1分钟前
量子星尘发布了新的文献求助10
1分钟前
雾影之殇发布了新的文献求助10
1分钟前
RSU完成签到,获得积分10
1分钟前
1分钟前
科研顺利完成签到,获得积分10
1分钟前
roundtree完成签到 ,获得积分10
1分钟前
胡图图完成签到 ,获得积分10
1分钟前
扶我起来写论文完成签到 ,获得积分10
1分钟前
温暖完成签到 ,获得积分10
1分钟前
量子星尘发布了新的文献求助10
1分钟前
jiaaniu完成签到 ,获得积分10
1分钟前
哥哥发布了新的文献求助10
1分钟前
夏姬宁静完成签到,获得积分10
1分钟前
LT完成签到 ,获得积分0
1分钟前
Lucas应助哥哥采纳,获得10
1分钟前
Jasmineyfz完成签到 ,获得积分10
1分钟前
ys完成签到 ,获得积分10
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
SOFT MATTER SERIES Volume 22 Soft Matter in Foods 1000
Zur lokalen Geoidbestimmung aus terrestrischen Messungen vertikaler Schweregradienten 1000
可见光通信专用集成电路及实时系统 500
Storie e culture della televisione 500
Selected research on camelid physiology and nutrition 500
《2023南京市住宿行业发展报告》 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 内科学 生物化学 物理 计算机科学 纳米技术 遗传学 基因 复合材料 化学工程 物理化学 病理 催化作用 免疫学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 4881004
求助须知:如何正确求助?哪些是违规求助? 4167294
关于积分的说明 12927836
捐赠科研通 3926491
什么是DOI,文献DOI怎么找? 2155144
邀请新用户注册赠送积分活动 1173399
关于科研通互助平台的介绍 1078075