亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Target and source modality co-reinforcement for emotion understanding from asynchronous multimodal sequences

交叉模态 计算机科学 模态(人机交互) 模式 异步通信 强化学习 人机交互 人工智能 感知 透视图(图形) 自然语言处理 视觉感受 心理学 社会科学 社会学 计算机网络 神经科学
作者
Dingkang Yang,Yang Liu,Can Huang,Mingcheng Li,Xiao Zhao,Yuzheng Wang,Kun Yang,Yan Wang,Peng Zhai,Lihua Zhang
出处
期刊:Knowledge Based Systems [Elsevier]
卷期号:265: 110370-110370 被引量:23
标识
DOI:10.1016/j.knosys.2023.110370
摘要

Perceiving human emotions from a multimodal perspective has received significant attention in knowledge engineering communities. Due to the variable receiving frequency for sequences from various modalities, multimodal streams usually have an inherent asynchronous challenge. Most previous methods performed manual sequence alignment before multimodal fusion, which ignored long-range dependencies among modalities and failed to learn reliable crossmodal element correlations. Inspired by the human perception paradigm, we propose a target and source Modality Co-Reinforcement (MCR) approach to achieve sufficient crossmodal interaction and fusion at different granularities. Specifically, MCR introduces two types of target modality reinforcement units to reinforce the multimodal representations jointly. These target units effectively enhance emotion-related knowledge exchange in fine-grained interactions and capture the crossmodal elements that are emotionally expressive in mixed-grained interactions. Moreover, a source modality update module is presented to provide meaningful features for the crossmodal fusion of target modalities. Eventually, the multimodal representations are progressively reinforced and improved via the above components. Comprehensive experiments are conducted on three multimodal emotion understanding benchmarks. Quantitative results show that MCR significantly outperforms the previous state-of-the-art methods in both word-aligned and unaligned settings. Additionally, qualitative analysis and visualization fully demonstrate the superiority of the proposed modules.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
zhengzhster完成签到,获得积分10
3秒前
3秒前
5秒前
Kevin发布了新的文献求助10
10秒前
慕青应助科研通管家采纳,获得10
12秒前
藤椒辣鱼应助科研通管家采纳,获得10
12秒前
一路向北发布了新的文献求助10
24秒前
24秒前
汤圆本圆发布了新的文献求助50
31秒前
47秒前
简因完成签到 ,获得积分10
50秒前
HuiHui完成签到,获得积分10
1分钟前
1分钟前
今后应助zhengzhster采纳,获得10
2分钟前
藤椒辣鱼应助科研通管家采纳,获得10
2分钟前
2分钟前
ling361完成签到,获得积分10
2分钟前
假装学霸完成签到 ,获得积分10
2分钟前
3分钟前
zhengzhster发布了新的文献求助10
3分钟前
zyjsunye完成签到 ,获得积分0
3分钟前
CC完成签到,获得积分10
3分钟前
斯文败类应助鱼块采纳,获得10
3分钟前
3分钟前
谦让的西装完成签到 ,获得积分10
3分钟前
科研通AI2S应助科研通管家采纳,获得10
4分钟前
英俊的铭应助科研通管家采纳,获得10
4分钟前
CC发布了新的文献求助10
4分钟前
4分钟前
夜雨完成签到,获得积分10
4分钟前
9527完成签到,获得积分10
5分钟前
5分钟前
时尚老太发布了新的文献求助10
6分钟前
domkps完成签到 ,获得积分10
6分钟前
传奇3应助Yportne采纳,获得10
6分钟前
6分钟前
7分钟前
Xiaoping完成签到 ,获得积分10
7分钟前
Yportne发布了新的文献求助10
7分钟前
jfc完成签到 ,获得积分10
7分钟前
高分求助中
Востребованный временем 2500
Hopemont Capacity Assessment Interview manual and scoring guide 1000
Classics in Total Synthesis IV: New Targets, Strategies, Methods 1000
Neuromuscular and Electrodiagnostic Medicine Board Review 700
Mantids of the euro-mediterranean area 600
Mantodea of the World: Species Catalog Andrew M 500
Insecta 2. Blattodea, Mantodea, Isoptera, Grylloblattodea, Phasmatodea, Dermaptera and Embioptera 500
热门求助领域 (近24小时)
化学 医学 材料科学 生物 工程类 有机化学 生物化学 纳米技术 内科学 物理 化学工程 计算机科学 复合材料 基因 遗传学 物理化学 催化作用 细胞生物学 免疫学 电极
热门帖子
关注 科研通微信公众号,转发送积分 3440095
求助须知:如何正确求助?哪些是违规求助? 3036519
关于积分的说明 8964013
捐赠科研通 2724713
什么是DOI,文献DOI怎么找? 1494781
科研通“疑难数据库(出版商)”最低求助积分说明 690940
邀请新用户注册赠送积分活动 687419