Multi-scale cross-attention transformer via graph embeddings for few-shot molecular property prediction

计算机科学 嵌入 分子图 图形 财产(哲学) 变压器 理论计算机科学 机器学习 人工智能 特征学习 数据挖掘 量子力学 认识论 物理 哲学 电压
作者
Luis H.M. Torres,Bernardete Ribeiro,Joel P. Arrais
出处
期刊:Applied Soft Computing [Elsevier BV]
卷期号:153: 111268-111268 被引量:8
标识
DOI:10.1016/j.asoc.2024.111268
摘要

Molecular property prediction is a critical step in drug discovery. Deep learning (DL) has accelerated the discovery of compounds with desirable molecular properties for successful drug development. However, molecular property prediction is a low-data problem which makes it hard to solve by regular DL approaches. Graph neural networks (GNNs) operate on graph-structured data using neighborhood aggregation to facilitate the prediction of molecular properties. Nonetheless, GNNs struggle to model the global-semantic structure of graph embeddings for molecular property prediction. Recently, Transformer networks have emerged to model such long-range interactions of molecular embeddings at different scales to predict downstream molecular property tasks. Yet, extending this behavior to molecular embeddings and enabling its training on small biological datasets remains an important challenge in drug discovery. In this work, we study how to learn multi-scale representations from comprehensive graph embeddings for molecular property prediction. To this end, we propose a few-shot GNN-Transformer architecture to combine graph embedding tokens of different sizes and produce stronger features for representation learning. A multi-scale Transformer applies a cross-attention mechanism to exchange information of deep representations fused across two separate branches for small and large embeddings. In addition, a two-module meta-learning framework iteratively updates model parameters across tasks to predict new molecular properties on few-shot data. Extensive experiments on multi-property prediction datasets demonstrate the superior performance of the proposed model when compared with other standard graph-based methods. The code and data underlying this article are available in the repository: https://github.com/ltorres97/FS-CrossTR.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
bowenguan发布了新的文献求助150
刚刚
勤奋的楷瑞完成签到 ,获得积分10
刚刚
孙尚香完成签到 ,获得积分10
1秒前
1秒前
初(*^▽^*)心的应助被谢伊代采纳,获得10
1秒前
李爱国的应助被Code_king采纳,获得10
1秒前
斯文败类的应助被游志涛采纳,获得10
1秒前
JamesPei的应助被Code_king采纳,获得10
2秒前
2秒前
李健的小迷弟的应助被Code_king采纳,获得10
2秒前
深情安青的应助被Code_king采纳,获得10
2秒前
香蕉大树发布了新的文献求助10
2秒前
kilig发布了新的文献求助10
2秒前
汉堡包的应助被Code_king采纳,获得10
2秒前
2秒前
Xhhaai完成签到,获得积分10
2秒前
CipherSage的应助被Code_king采纳,获得10
3秒前
充电宝的应助被Code_king采纳,获得10
3秒前
3秒前
xingxing发布了新的文献求助10
3秒前
3秒前
爆米花的应助被Code_king采纳,获得10
3秒前
SSS发布了新的文献求助10
3秒前
3秒前
李健的小迷弟的应助被Code_king采纳,获得10
3秒前
3秒前
3秒前
慕青的应助被袁袁采纳,获得10
3秒前
3秒前
4秒前
Andy发布了新的文献求助20
4秒前
4秒前
铁匠发布了新的文献求助10
4秒前
无理完成签到,获得积分10
4秒前
NexusExplorer的应助被xxa采纳,获得10
4秒前
无极微光的应助被奶味蓝采纳,获得20
5秒前
梵天完成签到,获得积分10
5秒前
5秒前
orixero的应助被whulu采纳,获得10
5秒前
5秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8177018
求助须知:如何正确求助?哪些是违规求助? 9568115
关于积分的说明 21796984
捐赠科研通 7771640
什么是DOI,文献DOI怎么找? 3432240
关于科研通互助平台的介绍 2556496
邀请新用户注册赠送积分活动 2477766