Development of Novel Deep Multimodal Representation Learning-based Model for the Differentiation of Liver Tumors on B-Mode Ultrasound Images

卷积神经网络 深度学习 模式治疗法 人工智能 代表(政治) 计算机科学 模式识别(心理学) 超声波 肝肿瘤 医学 放射科 内科学 政治 政治学 肝细胞癌 法学
作者
Masaya Sato,Tamaki Kobayashi,Yoko Soroida,Takashi Tanaka,T. Nakatsuka,Hayato Nakagawa,Ayaka Nakamura,Makoko Kurihara,Momoe Endo,Hiromi Hikita,Mamiko Sato,Hiroaki Gotoh,Tomomi Iwai,Ryosuke Tateishi,Kazuhiko Koike,Yutaka Yatomi
出处
期刊:Research Square - Research Square [Research Square (United States)]
被引量:1
标识
DOI:10.21203/rs.3.rs-143117/v1
摘要

Abstract Recently, multimodal representation learning for images and other information such as numbers or language has gained much attention due to the possibility of combining latent features using a single distribution. The aim of the current study was to analyze the diagnostic performance of deep multimodal representation model-based integration of tumor image, patient background, and blood biomarkers for the differentiation of liver tumors observed using B-mode ultrasonography (US). First, we applied supervised learning with a convolutional neural network (CNN) to 972 liver nodules in the training and development sets (479 benign and 493 malignant nodules), to develop a predictive model using segmented B-mode tumor images. Additionally, we also applied a deep multimodal representation model to integrate information about patient background or blood biomarkers to B-mode images. We then investigated the performance of the models in an independent test set of 108 liver nodules, including 53 benign and 55 malignant tumors. Using only the segmented B-mode images, the diagnostic accuracy and area under the curve (AUC) values were 68.52% and 0.721, respectively. As the information about patient background such as age or sex and blood biomarkers was integrated, the diagnostic performance increased in a stepwise manner. The diagnostic accuracy and AUC value of the multimodal DL model (which integrated B-mode tumor image, patient age, sex, AST, ALT, platelet count, and albumin data) reached 96.30% and 0.994, respectively. Integration of patient background and blood biomarkers in addition to US image using multimodal representation learning outperformed the CNN model using US images. We expect that the deep multimodal representation model could be a feasible and acceptable tool that can effectively support the definitive diagnosis of liver tumors using B-mode US in daily clinical practice.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
无极微光的应助被甜美的雪冥采纳,获得20
1秒前
1秒前
赘婿的应助被燎原十八拍采纳,获得10
1秒前
longs完成签到,获得积分10
2秒前
3秒前
REALLY发布了新的文献求助30
3秒前
标致的千柳完成签到,获得积分10
4秒前
女孩完成签到,获得积分10
4秒前
CZ完成签到,获得积分10
5秒前
5秒前
5秒前
Jessy完成签到,获得积分10
5秒前
壮观雁易发布了新的文献求助10
6秒前
李健的小迷弟的应助被露露采纳,获得10
6秒前
研友_VZG7GZ的应助被yjt采纳,获得10
7秒前
7秒前
静坐听雨萧完成签到 ,获得积分10
8秒前
longs发布了新的文献求助20
8秒前
9秒前
Yuan88发布了新的文献求助10
9秒前
斯文败类的应助被明亮的迎松采纳,获得10
11秒前
箭剑尖完成签到,获得积分10
12秒前
Akim的应助被可可豆采纳,获得30
12秒前
严正桓完成签到 ,获得积分10
12秒前
敕勒川发布了新的文献求助10
13秒前
箭剑尖发布了新的文献求助10
14秒前
斯文败类的应助被阔达的心情采纳,获得10
14秒前
14秒前
manna完成签到 ,获得积分10
14秒前
14秒前
15秒前
酷波er的应助被xuetian采纳,获得10
16秒前
17秒前
852的应助被开心的中心采纳,获得10
17秒前
無無完成签到,获得积分10
19秒前
19秒前
yjt发布了新的文献求助10
20秒前
Flying_Time完成签到,获得积分10
21秒前
轻松的问凝完成签到,获得积分10
21秒前
木木发布了新的文献求助10
21秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8184220
求助须知:如何正确求助?哪些是违规求助? 9573266
关于积分的说明 21830447
捐赠科研通 7781246
什么是DOI,文献DOI怎么找? 3434248
关于科研通互助平台的介绍 2558373
邀请新用户注册赠送积分活动 2480784