Skeleton-Based Gesture Recognition With Learnable Paths and Signature Features

计算机科学 判别式 模式识别(心理学) 卷积神经网络 人工智能 特征提取 路径(计算) 图形 签名(拓扑) 运动学 理论计算机科学 数学 几何学 经典力学 物理 程序设计语言
作者
Jiale Cheng,Dongzi Shi,Chenyang Li,Yu Li,Hao Ni,Lianwen Jin,Xin Zhang
出处
期刊:IEEE Transactions on Multimedia [Institute of Electrical and Electronics Engineers]
卷期号:26: 3951-3961 被引量:7
标识
DOI:10.1109/tmm.2023.3318242
摘要

For the skeleton-based gesture recognition, graph convolutional networks (GCNs) have achieved remarkable performance since the human skeleton is a natural graph. However, the biological structure might not be the crucial one for motion analysis. Also, spatial differential information like joint distance and angle between bones may be overlooked during the graph convolution. In this article, we focus on obtaining meaningful joint groups and extracting their discriminative features by the path signature (PS) theory. Firstly, to characterize the constraints and dependencies of various joints, we propose three types of paths, i.e., spatial, temporal, and learnable path. Especially, a learnable path generation mechanism can group joints together that are not directly connected or far away, according to their kinematic characteristic. Secondly, to obtain informative and compact features, a deep integration of PS with few parameters are introduced. All the computational process is packed into two modules, i.e., spatial-temporal path signature module (ST-PSM) and learnable path signature module (L-PSM) for the convenience of utilization. They are plug-and-play modules available for any neural network like CNNs and GCNs to enhance the feature extraction ability. Extensive experiments have conducted on three mainstream datasets (ChaLearn 2013, ChaLearn 2016, and AUTSL). We achieved the state-of-the-art results with simpler framework and much smaller model size. By inserting our two modules into the several GCN-based networks, we can observe clear improvements demonstrating the great effectiveness of our proposed method.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
Le发布了新的文献求助10
1秒前
Sun发布了新的文献求助10
1秒前
森煜完成签到,获得积分10
1秒前
的li完成签到,获得积分10
2秒前
充电宝的应助被修语采纳,获得10
2秒前
2秒前
研友_VZG7GZ的应助被casual采纳,获得10
3秒前
阿笙完成签到,获得积分10
4秒前
4秒前
4秒前
神勇依波完成签到 ,获得积分10
4秒前
杨金瀑完成签到 ,获得积分10
5秒前
LJC发布了新的文献求助30
5秒前
星辰大海的应助被认真生活采纳,获得10
5秒前
hejiacheng发布了新的文献求助10
7秒前
顾矜的应助被酷酷的树叶采纳,获得10
8秒前
伊yan完成签到 ,获得积分10
9秒前
9秒前
10秒前
LDDD发布了新的文献求助10
10秒前
思源的应助被Sky采纳,获得10
10秒前
苒苒完成签到,获得积分10
10秒前
Dr_Deng完成签到,获得积分10
11秒前
杨金瀑发布了新的文献求助10
11秒前
方卷卷完成签到 ,获得积分10
11秒前
小蘑菇的应助被温柔梦松采纳,获得10
12秒前
若若完成签到 ,获得积分10
14秒前
fsafs发布了新的文献求助10
14秒前
14秒前
14秒前
sc发布了新的文献求助10
14秒前
帮帮我把完成签到,获得积分10
16秒前
小兰完成签到,获得积分10
16秒前
Weimengjie完成签到,获得积分10
18秒前
英姑的应助被Gezelligheid.采纳,获得10
18秒前
小民完成签到 ,获得积分10
18秒前
ding的应助被XIE采纳,获得10
19秒前
20秒前
21秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
Monte Cassino in the Middle Ages Volume I 310
JUSTIFICATION OF SMALL-SCALE MODELS: AN INDUSTRY PERSPECTIVE 300
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8156113
求助须知:如何正确求助?哪些是违规求助? 9552375
关于积分的说明 21709417
捐赠科研通 7745230
什么是DOI,文献DOI怎么找? 3426391
关于科研通互助平台的介绍 2551314
邀请新用户注册赠送积分活动 2470141