Efficient Long-Range Attention Network for Image Super-Resolution

计算机科学 计算 卷积(计算机科学) 变压器 图像(数学) 航程(航空) 计算复杂性理论 人工智能 图像分辨率 算法 理论计算机科学 计算机工程 模式识别(心理学) 人工神经网络 电压 量子力学 物理 复合材料 材料科学
作者
Xindong Zhang,Hui Zeng,Shi Guo,Lei Zhang
出处
期刊:Lecture Notes in Computer Science 卷期号:: 649-667 被引量:115
标识
DOI:10.1007/978-3-031-19790-1_39
摘要

Recently, transformer-based methods have demonstrated impressive results in various vision tasks, including image super-resolution (SR), by exploiting the self-attention (SA) for feature extraction. However, the computation of SA in most existing transformer based models is very expensive, while some employed operations may be redundant for the SR task. This limits the range of SA computation and consequently limits the SR performance. In this work, we propose an efficient long-range attention network (ELAN) for image SR. Specifically, we first employ shift convolution (shift-conv) to effectively extract the image local structural information while maintaining the same level of complexity as 1 $$\,\times \,$$ 1 convolution, then propose a group-wise multi-scale self-attention (GMSA) module, which calculates SA on non-overlapped groups of features using different window sizes to exploit the long-range image dependency. A highly efficient long-range attention block (ELAB) is then built by simply cascading two shift-conv with a GMSA module, which is further accelerated by using a shared attention mechanism. Without bells and whistles, our ELAN follows a fairly simple design by sequentially cascading the ELABs. Extensive experiments demonstrate that ELAN obtains even better results against the transformer-based SR models but with significantly less complexity. The source codes of ELAN can be found at https://github.com/xindongzhang/ELAN.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
刚刚
1秒前
1秒前
突触连接完成签到 ,获得积分10
2秒前
酷波er应助健壮的繁星采纳,获得10
3秒前
白菜完成签到 ,获得积分10
4秒前
plutozstar完成签到,获得积分10
5秒前
5秒前
yygz0703发布了新的文献求助30
5秒前
陈兮兮完成签到,获得积分10
6秒前
6秒前
xxhh完成签到,获得积分10
7秒前
白子完成签到,获得积分10
7秒前
Bigwang完成签到,获得积分20
7秒前
爆米花应助super chan采纳,获得10
7秒前
zyy发布了新的文献求助10
8秒前
8秒前
斯文败类应助和谐的雅旋采纳,获得10
12秒前
搜集达人应助白子采纳,获得10
12秒前
可爱的函函应助xxhh采纳,获得10
12秒前
12秒前
iehaoang完成签到 ,获得积分10
13秒前
满意听白完成签到 ,获得积分10
14秒前
摆烂的实验室打工人完成签到,获得积分10
14秒前
田様应助顺利毕业采纳,获得10
15秒前
zeno123456完成签到,获得积分10
15秒前
稗子发布了新的文献求助10
16秒前
meimei完成签到 ,获得积分10
18秒前
vv发布了新的文献求助10
20秒前
稗子完成签到,获得积分10
21秒前
李健的粉丝团团长应助song采纳,获得30
22秒前
jungle完成签到 ,获得积分10
24秒前
我是老大应助炙热晓露采纳,获得10
25秒前
123完成签到 ,获得积分10
26秒前
vv完成签到,获得积分10
26秒前
yygz0703完成签到,获得积分10
27秒前
zyy完成签到,获得积分10
27秒前
yanjiusheng完成签到,获得积分10
30秒前
domkps完成签到 ,获得积分10
31秒前
高分求助中
Sustainability in Tides Chemistry 1500
TM 5-855-1(Fundamentals of protective design for conventional weapons) 1000
Threaded Harmony: A Sustainable Approach to Fashion 799
Queer Politics in Times of New Authoritarianisms: Popular Culture in South Asia 500
Livre et militantisme : La Cité éditeur 1958-1967 500
Retention of title in secured transactions law from a creditor's perspective: A comparative analysis of selected (non-)functional approaches 500
高温高压条件下金刚石内部缺陷的形成机制及调控 310
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3060627
求助须知:如何正确求助?哪些是违规求助? 2716084
关于积分的说明 7448016
捐赠科研通 2361978
什么是DOI,文献DOI怎么找? 1251726
科研通“疑难数据库(出版商)”最低求助积分说明 607853
版权声明 596515