Multi-head Attention-Based Masked Sequence Model for Mapping Functional Brain Networks

人类连接体项目 计算机科学 功能磁共振成像 人工智能 背景(考古学) 任务(项目管理) 语言模型 循环神经网络 人工神经网络 模式识别(心理学) 机器学习 语音识别 功能连接 神经科学 经济 管理 古生物学 生物
作者
Mengshen He,Xiangyu Hou,Zhenwei Wang,Zili Kang,Xin Zhang,Qiang Ning,Bao Ge
出处
期刊:Lecture Notes in Computer Science 卷期号:: 295-304 被引量:2
标识
DOI:10.1007/978-3-031-16431-6_28
摘要

It has been of great interest in the neuroimaging community to discover brain functional networks (FBNs) based on task functional magnetic resonance imaging (tfMRI). A variety of methods have been used to model tfMRI sequences so far, such as recurrent neural network (RNN) and Autoencoder. However, these models are not designed to incorporate the characteristics of tfMRI sequences, and the same signal values at different time points in a fMRI time series may rep-resent different states and meanings. Inspired by cloze learning methods and the human ability to judge polysemous words based on context, we proposed a self-supervised a Multi-head Attention-based Masked Sequence Model (MAMSM), as BERT model uses (Masked Language Modeling) MLM and multi-head attention to learn the different meanings of the same word in different sentences. MAMSM masks and encodes tfMRI time series, uses multi-head attention to calculate different meanings corresponding to the same signal value in fMRI sequence, and obtains context information through MSM pre-training. Furthermore this work redefined a new loss function to extract FBNs according to the task de-sign information of tfMRI data. The model has been applied to the Human Connectome Project (HCP) task fMRI dataset and achieves state-of-the-art performance in brain temporal dynamics, the Pearson correlation coefficient between learning features and task design curves was more than 0.95, and the model can extract more meaningful network besides the known task related brain networks.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
何琦完成签到,获得积分10
刚刚
能干的谷蕊完成签到 ,获得积分10
1秒前
谦让幻枫发布了新的文献求助30
1秒前
2秒前
神勇香萱发布了新的文献求助10
2秒前
Hello应助柔弱的南烟采纳,获得10
2秒前
背理完成签到,获得积分10
3秒前
清脆慕山完成签到,获得积分10
3秒前
4秒前
刻苦复天完成签到,获得积分10
5秒前
saviour发布了新的文献求助10
6秒前
今后应助无聊的冰之采纳,获得10
6秒前
7秒前
打打应助小杨采纳,获得10
8秒前
liu星雨发布了新的文献求助10
8秒前
9秒前
闪闪山水发布了新的文献求助10
9秒前
染夏完成签到,获得积分10
10秒前
阳光血茗完成签到,获得积分10
10秒前
foreverwhy发布了新的文献求助10
11秒前
DONNYTIO完成签到,获得积分10
12秒前
YBKY_2099完成签到,获得积分10
13秒前
15秒前
amber发布了新的文献求助10
16秒前
guozizi发布了新的文献求助30
17秒前
幸福果汁完成签到,获得积分10
18秒前
棉袄完成签到 ,获得积分10
19秒前
闪闪山水完成签到,获得积分10
20秒前
Crrr完成签到,获得积分10
20秒前
冷静的奇迹完成签到,获得积分10
21秒前
ladette发布了新的文献求助10
21秒前
GankhuyagJavzan完成签到,获得积分10
22秒前
23秒前
23秒前
diraczh完成签到,获得积分10
24秒前
24秒前
25秒前
26秒前
青苔完成签到,获得积分10
28秒前
清秀面包发布了新的文献求助10
30秒前
高分求助中
Agaricales of New Zealand 1: Pluteaceae - Entolomataceae 1040
Healthcare Finance: Modern Financial Analysis for Accelerating Biomedical Innovation 1000
지식생태학: 생태학, 죽은 지식을 깨우다 600
Mantodea of the World: Species Catalog Andrew M 500
海南省蛇咬伤流行病学特征与预后影响因素分析 500
Neuromuscular and Electrodiagnostic Medicine Board Review 500
ランス多機能化技術による溶鋼脱ガス処理の高効率化の研究 500
热门求助领域 (近24小时)
化学 医学 材料科学 生物 工程类 有机化学 生物化学 纳米技术 内科学 物理 化学工程 计算机科学 复合材料 基因 遗传学 物理化学 催化作用 细胞生物学 免疫学 电极
热门帖子
关注 科研通微信公众号,转发送积分 3464175
求助须知:如何正确求助?哪些是违规求助? 3057476
关于积分的说明 9057425
捐赠科研通 2747569
什么是DOI,文献DOI怎么找? 1507398
科研通“疑难数据库(出版商)”最低求助积分说明 696533
邀请新用户注册赠送积分活动 696062