亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Multi-scale multi-modal micro-expression recognition algorithm based on transformer

加权 计算机科学 情态动词 面部表情 人工智能 变压器 模式识别(心理学) 算法 表达式(计算机科学) 比例(比率) 电压 工程类 医学 化学 物理 量子力学 高分子化学 电气工程 放射科 程序设计语言
作者
Fengping Wang,Jie Li,Chun Qi,Lin Wang,Pan Wang
出处
期刊:Cornell University - arXiv 被引量:3
标识
DOI:10.48550/arxiv.2301.02969
摘要

A micro-expression is a spontaneous unconscious facial muscle movement that can reveal the true emotions people attempt to hide. Although manual methods have made good progress and deep learning is gaining prominence. Due to the short duration of micro-expression and different scales of expressed in facial regions, existing algorithms cannot extract multi-modal multi-scale facial region features while taking into account contextual information to learn underlying features. Therefore, in order to solve the above problems, a multi-modal multi-scale algorithm based on transformer network is proposed in this paper, aiming to fully learn local multi-grained features of micro-expressions through two modal features of micro-expressions - motion features and texture features. To obtain local area features of the face at different scales, we learned patch features at different scales for both modalities, and then fused multi-layer multi-headed attention weights to obtain effective features by weighting the patch features, and combined cross-modal contrastive learning for model optimization. We conducted comprehensive experiments on three spontaneous datasets, and the results show the accuracy of the proposed algorithm in single measurement SMIC database is up to 78.73% and the F1 value on CASMEII of the combined database is up to 0.9071, which is at the leading level.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
ddd完成签到 ,获得积分10
3秒前
科研通AI2S应助十七采纳,获得10
8秒前
荡乎宇宙如虚舟完成签到,获得积分10
12秒前
雍雍完成签到 ,获得积分10
24秒前
共享精神应助雨相所至采纳,获得10
37秒前
SciGPT应助雨相所至采纳,获得10
37秒前
天天快乐应助雨相所至采纳,获得10
37秒前
Lucas应助雨相所至采纳,获得10
37秒前
汉堡包应助雨相所至采纳,获得10
37秒前
852应助雨相所至采纳,获得10
37秒前
隐形曼青应助雨相所至采纳,获得10
37秒前
可爱的函函应助雨相所至采纳,获得10
37秒前
布同完成签到,获得积分10
42秒前
香蕉觅云应助雨相所至采纳,获得10
45秒前
IIIKERUI完成签到,获得积分10
47秒前
49秒前
yamo完成签到 ,获得积分10
51秒前
IIIKERUI发布了新的文献求助10
52秒前
啾啾完成签到 ,获得积分10
57秒前
Sandy完成签到 ,获得积分10
1分钟前
慕青应助IIIKERUI采纳,获得10
1分钟前
积极孤菱完成签到 ,获得积分10
1分钟前
cc完成签到 ,获得积分10
1分钟前
从容芮应助科研通管家采纳,获得50
1分钟前
dd完成签到 ,获得积分10
1分钟前
1分钟前
等待寄云完成签到 ,获得积分10
1分钟前
YHY发布了新的文献求助10
1分钟前
烟云墨雨完成签到 ,获得积分10
1分钟前
anbiii完成签到 ,获得积分10
1分钟前
lllwww完成签到 ,获得积分10
1分钟前
1分钟前
哈哈哈完成签到,获得积分10
1分钟前
YHY完成签到,获得积分10
1分钟前
张大婶发布了新的文献求助10
1分钟前
月屿完成签到 ,获得积分10
1分钟前
Hasee完成签到 ,获得积分10
2分钟前
胡图图完成签到 ,获得积分10
2分钟前
tuanheqi完成签到,获得积分0
2分钟前
高分求助中
Bayesian Models of Cognition:Reverse Engineering the Mind 800
Essentials of thematic analysis 700
A Dissection Guide & Atlas to the Rabbit 600
Very-high-order BVD Schemes Using β-variable THINC Method 568
Внешняя политика КНР: о сущности внешнеполитического курса современного китайского руководства 500
Academia de Coimbra: 1537-1990: história, praxe, boémia e estudo, partidas e piadas, organismos académicos 500
Revolution und Konterrevolution in China [by A. Losowsky] 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3121552
求助须知:如何正确求助?哪些是违规求助? 2772022
关于积分的说明 7710654
捐赠科研通 2427398
什么是DOI,文献DOI怎么找? 1289227
科研通“疑难数据库(出版商)”最低求助积分说明 621347
版权声明 600107