Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet

安全性令牌 计算机科学 变压器 人工智能 像素 刮擦 模式识别(心理学) 词汇分析 程序设计语言 计算机网络 工程类 电压 电气工程
作者
Li Yuan,Yunpeng Chen,Tao Wang,Weihao Yu,Yujun Shi,Zihang Jiang,Francis E. H. Tay,Jiashi Feng,Shuicheng Yan
出处
期刊: [Institute of Electrical and Electronics Engineers]
卷期号:: 538-547 被引量:2580
标识
DOI:10.1109/iccv48922.2021.00060
摘要

Transformers, which are popular for language modeling, have been explored for solving vision tasks recently, e.g., the Vision Transformer (ViT) for image classification. The ViT model splits each image into a sequence of tokens with fixed length and then applies multiple Transformer layers to model their global relation for classification. However, ViT achieves inferior performance to CNNs when trained from scratch on a midsize dataset like ImageNet. We find it is because: 1) the simple tokenization of input images fails to model the important local structure such as edges and lines among neighboring pixels, leading to low training sample efficiency; 2) the redundant attention backbone design of ViT leads to limited feature richness for fixed computation budgets and limited training samples. To overcome such limitations, we propose a new Tokens-To-Token Vision Transformer (T2T-VTT), which incorporates 1) a layer-wise Tokens-to-Token (T2T) transformation to progressively structurize the image to tokens by recursively aggregating neighboring Tokens into one Token (Tokens-to-Token), such that local structure represented by surrounding tokens can be modeled and tokens length can be reduced; 2) an efficient backbone with a deep-narrow structure for vision transformer motivated by CNN architecture design after empirical study. Notably, T2T-ViT reduces the parameter count and MACs of vanilla ViT by half, while achieving more than 3.0% improvement when trained from scratch on ImageNet. It also outperforms ResNets and achieves comparable performance with MobileNets by directly training on ImageNet. For example, T2T-ViT with comparable size to ResNet50 (21.5M parameters) can achieve 83.3% top1 accuracy in image resolution 384x384 on ImageNet.1

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
1_完成签到 ,获得积分10
刚刚
林婉完成签到 ,获得积分10
刚刚
昏睡的帆布鞋完成签到 ,获得积分10
1秒前
1秒前
平淡晓博完成签到,获得积分10
1秒前
1秒前
兰先生完成签到,获得积分10
2秒前
3秒前
3秒前
kbyang发布了新的文献求助10
4秒前
5秒前
笖乛笙完成签到 ,获得积分10
5秒前
天天快乐的应助被安子采纳,获得10
5秒前
lv发布了新的文献求助10
5秒前
李爱国的应助被Allen采纳,获得10
6秒前
6秒前
6秒前
小何发布了新的文献求助10
6秒前
6秒前
zkai完成签到,获得积分10
6秒前
蓝天的应助被Samuel采纳,获得10
7秒前
米小咪完成签到 ,获得积分10
8秒前
cui完成签到 ,获得积分10
8秒前
陈民发布了新的文献求助10
8秒前
wb发布了新的文献求助10
9秒前
科目三的应助被怕黑难敌采纳,获得10
9秒前
阿柴发布了新的文献求助10
10秒前
sunmy完成签到,获得积分10
10秒前
11发布了新的文献求助30
11秒前
11秒前
12秒前
美食鉴赏家完成签到,获得积分10
12秒前
yinuoSu发布了新的文献求助10
12秒前
粗心的逍遥完成签到 ,获得积分10
12秒前
13秒前
Deathmask完成签到,获得积分10
13秒前
yan完成签到,获得积分10
13秒前
pp63完成签到,获得积分10
13秒前
初景发布了新的文献求助10
14秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology)求助 1000
Encyclopedia of Modern Artificial Intelligence 1000
John McDowells Bildungstheorie 800
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
Synthesis, Application and Future Perspectives of Smart Nano-materials - Part 1 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8153602
求助须知:如何正确求助?哪些是违规求助? 9550354
关于积分的说明 21697670
捐赠科研通 7742267
什么是DOI,文献DOI怎么找? 3425546
关于科研通互助平台的介绍 2550649
邀请新用户注册赠送积分活动 2469191