A capsule network with pixel-based attention and BGRU for sound event detection

计算机科学 过度拟合 立体声录音 事件(粒子物理) 人工智能 光学(聚焦) 背景(考古学) 特征提取 水准点(测量) 特征(语言学) 过程(计算) 卷积神经网络 模式识别(心理学) 循环神经网络 像素 语音识别 人工神经网络 古生物学 语言学 哲学 物理 大地测量学 量子力学 光学 生物 地理 操作系统
作者
Jiaxiang Meng,Xingmei Wang,Wang Jin-li,Xuyang Teng,Yuelin Xu
出处
期刊:Digital Signal Processing [Elsevier BV]
卷期号:123: 103434-103434 被引量:6
标识
DOI:10.1016/j.dsp.2022.103434
摘要

Sound event detection has recently become a hot topic in the sound process while discontinuous and overlapping sound events still pose challenges for sound event detection. In this paper, we propose a capsule network with pixel-based attention and bidirectional gated recurrent unit (PBA-AttCapsNet-BGRU) model which contains the high-level feature extraction module, the attention capsule network (AttCapsNet) module, and the bidirectional gated recurrent unit (BGRU) module. Specifically, pixel-based attention (PBA) is employed in the convolutional neural network named PBACNN to extract features more relevant to sound events from binaural log-Mel spectrograms (bin-LMS) features in the high-level feature extraction module. The module can solve the problem of discontinuous sound events. Furthermore, to detect overlapping sound events effectively, we propose an AttCapsNet module that combines capsule network (CapsNet) and soft attention mechanism. Also, the attention dynamic routing algorithm is introduced to validly distinguish the existence of sound events and focus on the significant frames in this paper. In addition, BGRU module is composed of BGRU and time-distributed fully-connected layers. It can obtain the context information and overcome the overfitting problem to a certain extent. We conducted the experiments on Task 4 of the DCASE 2017 Challenge. Experimental results show that the proposed PBA-AttCapsNet-BGRU model can achieve 0.032 improvements in F1 and 0.07 improvement in ER with the state-of-the-art models in sound event detection.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
MenNyeeee完成签到 ,获得积分10
1秒前
chengsq完成签到,获得积分10
1秒前
小鹿5460的应助被李拜天采纳,获得10
1秒前
科研通AI6.4的应助被努力变强采纳,获得10
1秒前
亚东完成签到,获得积分10
2秒前
yyyrrr完成签到,获得积分10
2秒前
俏皮沁完成签到,获得积分10
2秒前
明理越彬完成签到 ,获得积分10
2秒前
在水一方的应助被二甲基萘采纳,获得10
2秒前
烂漫世德完成签到 ,获得积分10
2秒前
杨灿发布了新的文献求助10
3秒前
上官若男的应助被一只萨卡班采纳,获得10
3秒前
xth发布了新的文献求助10
3秒前
Eason完成签到,获得积分10
3秒前
追寻的可愁完成签到,获得积分10
3秒前
小鱼爱吃肉的应助被努力发1区采纳,获得10
4秒前
4秒前
眯眯眼的南琴完成签到,获得积分20
4秒前
研友_nq2QpZ发布了新的文献求助10
4秒前
木木木完成签到 ,获得积分10
4秒前
活力的紫伊完成签到,获得积分10
5秒前
rayce完成签到,获得积分10
5秒前
小米儿丫丫完成签到,获得积分10
5秒前
shen的应助被酷炫萝采纳,获得20
5秒前
李健的小迷弟的应助被Hunter采纳,获得10
5秒前
6秒前
6秒前
小龙完成签到 ,获得积分10
6秒前
YuhengGuo完成签到,获得积分10
6秒前
wowo完成签到,获得积分10
6秒前
6秒前
小蘑菇的应助被wyb采纳,获得10
6秒前
平淡的半邪完成签到,获得积分10
6秒前
ren完成签到,获得积分20
7秒前
Feny完成签到,获得积分10
7秒前
Akim的应助被Kyra采纳,获得10
7秒前
毛茅茅猫完成签到,获得积分10
7秒前
8秒前
叶光大完成签到 ,获得积分10
8秒前
8秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
John McDowells Bildungstheorie 800
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
Handbook of Pharmaceutical Excipients. 9th ed 400
Synthesis, Application and Future Perspectives of Smart Nano-materials - Part 1 400
Breaking the World 300
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8154217
求助须知:如何正确求助?哪些是违规求助? 9550722
关于积分的说明 21700876
捐赠科研通 7743358
什么是DOI,文献DOI怎么找? 3425651
关于科研通互助平台的介绍 2550897
邀请新用户注册赠送积分活动 2469372