PoseFormerV2: Exploring Frequency Domain for Efficient and Robust 3D Human Pose Estimation

计算机科学 稳健性(进化) 频域 变压器 人工智能 利用 水准点(测量) 接头(建筑物) 模式识别(心理学) 计算机视觉 算法 工程类 建筑工程 生物化学 化学 计算机安全 大地测量学 电压 地理 电气工程 基因
作者
Qitao Zhao,Ce Zheng,Mengyuan Liu,Pichao Wang,Chen Chen
出处
期刊: 卷期号:: 8877-8886 被引量:99
标识
DOI:10.1109/cvpr52729.2023.00857
摘要

Recently, transformer-based methods have gained significant success in sequential 2D-to-3D lifting human pose estimation. As a pioneering work, PoseFormer captures spatial relations of human joints in each video frame and human dynamics across frames with cascaded transformer layers and has achieved impressive performance. However, in real scenarios, the performance of PoseFormer and its follow-ups is limited by two factors: (a) The length of the input joint sequence; (b) The quality of 2D joint detection. Existing methods typically apply self-attention to all frames of the input sequence, causing a huge computational burden when the frame number is increased to obtain advanced estimation accuracy, and they are not robust to noise naturally brought by the limited capability of 2D joint detectors. In this paper, we propose PoseFormerV2, which exploits a compact representation of lengthy skeleton sequences in the frequency domain to efficiently scale up the receptive field and boost robustness to noisy 2D joint detection. With minimum modifications to PoseFormer, the proposed method effectively fuses features both in the time domain and frequency domain, enjoying a better speed-accuracy trade-off than its precursor. Extensive experiments on two benchmark datasets (i.e., Human3.6M and MPI-INF-3DHP) demonstrate that the proposed approach significantly outperforms the original PoseFormer and other transformer-based variants. Code is released at https://github.com/ QitaoZhao/PoseFormerV2.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
zaq66996发布了新的文献求助10
刚刚
刚刚
kinji发布了新的文献求助10
1秒前
lsl完成签到,获得积分10
1秒前
han发布了新的文献求助10
1秒前
dyuwgeuo完成签到,获得积分10
2秒前
2秒前
hxhx完成签到,获得积分10
2秒前
2秒前
动听的念文完成签到,获得积分10
3秒前
晚风发布了新的文献求助10
3秒前
ssssan发布了新的文献求助10
3秒前
chenchen发布了新的文献求助10
3秒前
lsl完成签到,获得积分10
4秒前
4秒前
周周发布了新的文献求助10
4秒前
mmmmm完成签到,获得积分10
4秒前
serein发布了新的文献求助10
5秒前
yyy关闭了yyy的文献求助
5秒前
一朵荷花半点红完成签到,获得积分20
5秒前
wjx发布了新的文献求助10
5秒前
5秒前
5秒前
Juvenilesy的应助被从容寻芹采纳,获得10
5秒前
入司的应助被Wen采纳,获得10
5秒前
Mine发布了新的文献求助20
6秒前
6秒前
6秒前
7秒前
7秒前
搜集达人的应助被hhhhzzzz采纳,获得10
8秒前
小橘子发布了新的文献求助20
8秒前
zaq66996发布了新的文献求助10
8秒前
apingsence发布了新的文献求助10
9秒前
9秒前
10秒前
充电宝的应助被xinnnnnn采纳,获得10
10秒前
单薄天荷发布了新的文献求助10
10秒前
10秒前
随机截距发布了新的文献求助10
10秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Boundaries and Bodhisattvas 500
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8182602
求助须知:如何正确求助?哪些是违规求助? 9572033
关于积分的说明 21821767
捐赠科研通 7779061
什么是DOI,文献DOI怎么找? 3433684
关于科研通互助平台的介绍 2557863
邀请新用户注册赠送积分活动 2479732