Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet

安全性令牌 计算机科学 变压器 人工智能 像素 刮擦 模式识别(心理学) 词汇分析 程序设计语言 计算机网络 工程类 电压 电气工程
作者
Li Yuan,Yunpeng Chen,Tao Wang,Weihao Yu,Yujun Shi,Zihang Jiang,Francis E. H. Tay,Jiashi Feng,Shuicheng Yan
出处
期刊: [Institute of Electrical and Electronics Engineers]
卷期号:: 538-547 被引量:2580
标识
DOI:10.1109/iccv48922.2021.00060
摘要

Transformers, which are popular for language modeling, have been explored for solving vision tasks recently, e.g., the Vision Transformer (ViT) for image classification. The ViT model splits each image into a sequence of tokens with fixed length and then applies multiple Transformer layers to model their global relation for classification. However, ViT achieves inferior performance to CNNs when trained from scratch on a midsize dataset like ImageNet. We find it is because: 1) the simple tokenization of input images fails to model the important local structure such as edges and lines among neighboring pixels, leading to low training sample efficiency; 2) the redundant attention backbone design of ViT leads to limited feature richness for fixed computation budgets and limited training samples. To overcome such limitations, we propose a new Tokens-To-Token Vision Transformer (T2T-VTT), which incorporates 1) a layer-wise Tokens-to-Token (T2T) transformation to progressively structurize the image to tokens by recursively aggregating neighboring Tokens into one Token (Tokens-to-Token), such that local structure represented by surrounding tokens can be modeled and tokens length can be reduced; 2) an efficient backbone with a deep-narrow structure for vision transformer motivated by CNN architecture design after empirical study. Notably, T2T-ViT reduces the parameter count and MACs of vanilla ViT by half, while achieving more than 3.0% improvement when trained from scratch on ImageNet. It also outperforms ResNets and achieves comparable performance with MobileNets by directly training on ImageNet. For example, T2T-ViT with comparable size to ResNet50 (21.5M parameters) can achieve 83.3% top1 accuracy in image resolution 384x384 on ImageNet.1

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刘刘发布了新的文献求助10
1秒前
2秒前
石子完成签到,获得积分10
2秒前
飞快的羊青完成签到,获得积分10
2秒前
fanfanzzz发布了新的文献求助40
2秒前
zero完成签到 ,获得积分10
3秒前
汉堡包的应助被皮特科研淘宝采纳,获得10
3秒前
yjr完成签到,获得积分10
4秒前
冷酷的问寒完成签到,获得积分10
5秒前
香蕉觅云的应助被默默的恶天采纳,获得10
6秒前
幻璇完成签到,获得积分10
7秒前
7秒前
每天都想毕业完成签到,获得积分10
8秒前
cmx发布了新的文献求助10
8秒前
我要发顶刊完成签到,获得积分20
8秒前
彼得潘同学完成签到,获得积分10
9秒前
cai发布了新的文献求助10
9秒前
syvshc的应助被txyzasu采纳,获得10
9秒前
君为臣纲的应助被望除采纳,获得10
10秒前
呼呼赞完成签到 ,获得积分10
10秒前
之昂完成签到 ,获得积分10
10秒前
星辰大海的应助被杰克李李采纳,获得10
11秒前
可爱的函函的应助被lyla采纳,获得10
11秒前
搜集达人的应助被mmmmmagic采纳,获得10
12秒前
明理的酒窝完成签到 ,获得积分10
13秒前
开水灌嘴发布了新的文献求助10
13秒前
充电宝的应助被cmx采纳,获得10
15秒前
15秒前
16秒前
唠叨的书南完成签到,获得积分10
17秒前
17秒前
风趣的雪柳完成签到,获得积分10
17秒前
寒冷冰香完成签到,获得积分10
17秒前
成就虔完成签到,获得积分10
18秒前
chayue完成签到,获得积分10
19秒前
酷波er的应助被xxin采纳,获得30
20秒前
笑点低的银耳汤完成签到,获得积分20
20秒前
PP关闭了PP的文献求助
21秒前
22秒前
cmx完成签到,获得积分10
23秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Agyptische Geschichte der 21.30. Dynastie 510
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8191414
求助须知:如何正确求助?哪些是违规求助? 9578277
关于积分的说明 21857909
捐赠科研通 7790787
什么是DOI,文献DOI怎么找? 3436640
关于科研通互助平台的介绍 2560362
邀请新用户注册赠送积分活动 2483366