Deep Learning-Based Multimodal Image Retrieval Combining Image and Text

计算机科学 人工智能 图像检索 模式识别(心理学) k-最近邻算法 支持向量机 特征提取 聚类分析 图像(数学) 特征(语言学) 特征向量 视觉文字 保险丝(电气) 特征检测(计算机视觉) 图像处理 哲学 语言学 电气工程 工程类
作者
Md Imran Sarker,Mariofanna Milanova
标识
DOI:10.1109/csci58124.2022.00274
摘要

Multimodal learning is omnipresent in our lives. Human absorbs features in different ways, whether through pictures or text. Combining these features in computational science, especially in Image retrieval problems, poses two significant challenges: how and when to fuse them. Most image retrieval systems use images or text data associated with the image. In this paper, we study the image retrieval task, where the input query is an image plus text sentence that describes the image. The system starts a query triggered by input image and text while taking the help of the Transformer model, which puts attention on both modalities and combines embedded features through the feature fusion technique. We proposed a feature fusion layer using modified Text Image Residual Gating in our work. We have used two methods based on the features extracted from the fusion layer. First, we trained K Nearest Neighbor (KNN) algorithm on the training data, and later we used test data to find a similar image. Second, we used the clustering technique and a support vector machine to compute the nearest neighbor points and cluster the center to see a similar image. We found that SVM (Support vector Machine) is more effective from the results, giving an overall accuracy of 92%.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
刚刚
NexusExplorer的应助被不要酸橘子采纳,获得10
刚刚
瘦瘦靴发布了新的文献求助10
1秒前
嘿嘿发布了新的文献求助10
1秒前
1秒前
2秒前
乌禅完成签到,获得积分10
2秒前
林枫发布了新的文献求助10
3秒前
3秒前
4秒前
吴怀硕发布了新的文献求助10
4秒前
唐唐88完成签到,获得积分10
4秒前
4秒前
完美世界的应助被FXL采纳,获得10
4秒前
西湖一颗蒜完成签到,获得积分10
5秒前
完美世界的应助被行云采纳,获得10
5秒前
克莱发布了新的文献求助10
6秒前
hepingyang发布了新的文献求助10
6秒前
7秒前
7秒前
白衣卿相发布了新的文献求助10
7秒前
Bay发布了新的文献求助10
8秒前
8秒前
我是老大的应助被wangfei采纳,获得10
8秒前
林枫完成签到,获得积分20
8秒前
lu_zhqi发布了新的文献求助10
9秒前
9秒前
9秒前
zz发布了新的文献求助10
9秒前
雪雪完成签到,获得积分20
10秒前
Dyeing完成签到,获得积分10
10秒前
10秒前
11秒前
11秒前
13秒前
吴怀硕完成签到,获得积分10
13秒前
Aimbot174发布了新的文献求助10
14秒前
16秒前
17秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188221
求助须知:如何正确求助?哪些是违规求助? 9576025
关于积分的说明 21845049
捐赠科研通 7786165
什么是DOI,文献DOI怎么找? 3435226
关于科研通互助平台的介绍 2559559
邀请新用户注册赠送积分活动 2482157