Visual question answering in the medical domain based on deep learning approaches: A comprehensive study

计算机科学 答疑 联营 人工智能 深度学习 机器学习 领域(数学分析) 卷积神经网络 任务(项目管理) 多样性(控制论) 卷积(计算机科学) 序列(生物学) 自然语言处理 人工神经网络 情报检索 生物 管理 经济 数学分析 遗传学 数学
作者
Aisha Al-Sadi,Mahmoud Al‐Ayyoub,Yaser Jararweh,Fumie Costen
出处
期刊:Pattern Recognition Letters [Elsevier BV]
卷期号:150: 57-75 被引量:10
标识
DOI:10.1016/j.patrec.2021.07.002
摘要

Visual Question Answering (VQA) in the medical domain has attracted more attention from research communities in the last few years due to its various applications. This paper investigates several deep learning approaches in building a medical VQA system based on ImageCLEF's VQA-Med dataset, which consists of about 4K images with about 15K question-answer pairs. Due to the wide variety of the images and questions included in this dataset, the proposed model is a hierarchical one consisting of many sub-models, each tailored to handle certain questions. For that, a special model is built to classify the questions into four categories, where each category is handled by a separate sub-model. At their core, all of these models consist of pre-trained Convolution Neural Networks (CNN). In order to get the best results, extensive experiments are performed and various techniques are employed including Data Augmentation (DA), Multi-Task Learning (MTL), Global Average Pooling (GAP), Ensembling, and Sequence to Sequence (Seq2Seq) models. Overall, the final model achieves 60.8 accuracy and 63.4 BLEU score, which are competitive with the state-of-the-art results despite using less demanding and simpler sub-models.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
xing_xing的应助被群青采纳,获得30
1秒前
zzz发布了新的文献求助10
1秒前
1秒前
柒z完成签到,获得积分10
1秒前
胜天半子完成签到,获得积分10
1秒前
练得身形似鹤形完成签到 ,获得积分10
1秒前
坚定的翠萱完成签到 ,获得积分10
1秒前
1秒前
1秒前
Mois完成签到 ,获得积分10
2秒前
空格TNT发布了新的文献求助10
2秒前
2秒前
韩立完成签到 ,获得积分10
2秒前
NexusExplorer的应助被紫文采纳,获得10
2秒前
付小肥完成签到,获得积分20
2秒前
俞安珊完成签到,获得积分10
3秒前
Ireneeee完成签到 ,获得积分10
3秒前
jenna完成签到,获得积分10
3秒前
研友_VZG7GZ的应助被郭立裕采纳,获得10
3秒前
3秒前
马骁完成签到,获得积分10
3秒前
4秒前
4秒前
Ava的应助被深情雨泽采纳,获得10
4秒前
奶思兔米鱿完成签到 ,获得积分10
4秒前
阳光的冬天完成签到,获得积分10
4秒前
芙蕖星星发布了新的文献求助50
4秒前
小小小先生的应助被时不渡我采纳,获得10
4秒前
send完成签到,获得积分10
5秒前
科目三的应助被疯狂求助文献采纳,获得10
5秒前
精明纸飞机完成签到,获得积分10
5秒前
6秒前
小yu发布了新的文献求助20
7秒前
科研通AI6.2的应助被背锅侠采纳,获得10
7秒前
7秒前
点凌蝶完成签到,获得积分10
7秒前
荷序发布了新的文献求助10
7秒前
Xuech完成签到,获得积分10
8秒前
碎觉觉发布了新的文献求助30
8秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8180407
求助须知:如何正确求助?哪些是违规求助? 9570403
关于积分的说明 21811831
捐赠科研通 7776452
什么是DOI,文献DOI怎么找? 3433277
关于科研通互助平台的介绍 2557499
邀请新用户注册赠送积分活动 2479105