清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

EFT: Expert Fusion Transformer for Voice-Face Association Learning

计算机科学 变压器 人工智能 机器学习 无监督学习 特征学习 匹配(统计) 语音识别 工程类 数学 统计 电气工程 电压
作者
Guangyu Chen,Deyuan Zhang,Tao Liu,Xiaoyong Du
标识
DOI:10.1109/icme55011.2023.00443
摘要

Learning associations between voices and faces have recently attracted much research interest. Previous studies mainly focused on improving loss function design for learning better representations, neglecting that informative inputs are the prerequisite of association findings and effective representation alignments. Based on this motivation, we proposed an unsupervised transformer-based learning framework, which fuses the knowledge of readily available single-modal expert models to learn better representations. Benefiting from higher-quality inputs, a simple noise contrastive estimation (NCE) loss is used for training. In addition, we proposed a statistical batch construction (SBC) strategy, which obtains high-quality negative samples during the unsupervised learning process. Experiments on the VoxCeleb1 dataset demonstrate the effectiveness of our framework. It yields SOTA results in voice-face verification, matching, and retrieval tasks. In the challenging gender-constrained matching tasks, it achieves over 81% (ACC), which is 5% higher than the previous.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
YZY完成签到 ,获得积分10
9秒前
西贝完成签到 ,获得积分10
13秒前
安详冰夏完成签到,获得积分10
17秒前
霸气擎宇完成签到,获得积分10
21秒前
失眠的热狗完成签到,获得积分10
22秒前
粗心的烨伟完成签到,获得积分10
27秒前
留胡子的千柳完成签到,获得积分10
27秒前
buqi完成签到,获得积分10
38秒前
开放的乐驹完成签到 ,获得积分10
41秒前
坚定百褶裙完成签到,获得积分10
52秒前
默默翠霜完成签到,获得积分10
53秒前
怕黑的夏之完成签到,获得积分10
1分钟前
1分钟前
SarahG发布了新的文献求助10
1分钟前
天天快乐的应助被科研通管家采纳,获得20
1分钟前
灵巧怀曼完成签到,获得积分10
1分钟前
辛勤的冰珍完成签到,获得积分10
1分钟前
小白白完成签到 ,获得积分10
1分钟前
标致雁兰完成签到,获得积分10
1分钟前
端庄平萱完成签到,获得积分10
1分钟前
SarahG完成签到,获得积分10
1分钟前
激情的汲完成签到,获得积分10
2分钟前
GUI完成签到,获得积分10
2分钟前
廖道罡完成签到,获得积分10
2分钟前
魁梧的芷完成签到,获得积分10
2分钟前
柔弱向雪完成签到,获得积分10
2分钟前
拼搏的水桃完成签到,获得积分10
2分钟前
nano_grid完成签到,获得积分10
2分钟前
Gone完成签到,获得积分10
2分钟前
仁爱的如天完成签到,获得积分10
3分钟前
小草完成签到 ,获得积分10
3分钟前
健忘飞珍完成签到,获得积分10
3分钟前
乐观的黎云完成签到,获得积分10
3分钟前
思源的应助被科研通管家采纳,获得10
3分钟前
天天完成签到 ,获得积分10
3分钟前
uss完成签到,获得积分10
3分钟前
原子超人完成签到,获得积分10
3分钟前
酷酷云朵完成签到,获得积分10
3分钟前
tlh完成签到 ,获得积分10
3分钟前
大大大忽悠完成签到 ,获得积分10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158976
求助须知:如何正确求助?哪些是违规求助? 9554526
关于积分的说明 21719398
捐赠科研通 7748487
什么是DOI,文献DOI怎么找? 3427107
关于科研通互助平台的介绍 2552013
邀请新用户注册赠送积分活动 2471370