A Review of Deep Transfer Learning and Recent Advancements

学习迁移 计算机科学 深度学习 人工智能 遗忘 机器学习 任务(项目管理) 依赖关系(UML) 困境 工程类 哲学 语言学 系统工程 认识论
作者
Mohammadreza Iman,Hamid R. Arabnia,Khaled Rasheed
出处
期刊:Technologies (Basel) [Multidisciplinary Digital Publishing Institute]
卷期号:11 (2): 40-40 被引量:201
标识
DOI:10.3390/technologies11020040
摘要

Deep learning has been the answer to many machine learning problems during the past two decades. However, it comes with two significant constraints: dependency on extensive labeled data and training costs. Transfer learning in deep learning, known as Deep Transfer Learning (DTL), attempts to reduce such reliance and costs by reusing obtained knowledge from a source data/task in training on a target data/task. Most applied DTL techniques are network/model-based approaches. These methods reduce the dependency of deep learning models on extensive training data and drastically decrease training costs. Moreover, the training cost reduction makes DTL viable on edge devices with limited resources. Like any new advancement, DTL methods have their own limitations, and a successful transfer depends on specific adjustments and strategies for different scenarios. This paper reviews the concept, definition, and taxonomy of deep transfer learning and well-known methods. It investigates the DTL approaches by reviewing applied DTL techniques in the past five years and a couple of experimental analyses of DTLs to discover the best practice for using DTL in different scenarios. Moreover, the limitations of DTLs (catastrophic forgetting dilemma and overly biased pre-trained models) are discussed, along with possible solutions and research trends.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
迷人乐荷发布了新的文献求助10
1秒前
快乐小熊猫完成签到,获得积分10
2秒前
小陶子完成签到,获得积分10
2秒前
科yt完成签到,获得积分10
3秒前
3秒前
3秒前
阿玲完成签到,获得积分10
4秒前
完美世界应助果蝇之母采纳,获得10
4秒前
科研小白完成签到,获得积分10
4秒前
丘比特应助辛晨晨采纳,获得10
5秒前
洪武完成签到,获得积分10
5秒前
菠萝汁完成签到,获得积分10
5秒前
6秒前
beiest完成签到,获得积分10
6秒前
狒狒公主完成签到,获得积分10
6秒前
潘潘完成签到,获得积分10
6秒前
哭泣的映寒完成签到 ,获得积分10
6秒前
搞怪化蛹发布了新的文献求助10
6秒前
penpen发布了新的文献求助10
7秒前
FACEISIN发布了新的文献求助10
7秒前
manzhi发布了新的文献求助10
7秒前
英吉利25发布了新的文献求助10
7秒前
Hina完成签到,获得积分10
7秒前
double_x完成签到,获得积分10
8秒前
beiest发布了新的文献求助10
10秒前
10秒前
Llllllxxxxxxx发布了新的文献求助10
10秒前
VAD123发布了新的文献求助30
10秒前
Hello应助难过的谷芹采纳,获得10
10秒前
dypdyp应助leeom采纳,获得10
10秒前
10秒前
11秒前
Aquila关注了科研通微信公众号
12秒前
汪汪汪完成签到,获得积分10
12秒前
张钰欣关注了科研通微信公众号
12秒前
ljxx发布了新的文献求助10
13秒前
Ava应助王博林采纳,获得10
13秒前
狂野的河马完成签到,获得积分10
13秒前
13秒前
高分求助中
A new approach to the extrapolation of accelerated life test data 1000
Cognitive Neuroscience: The Biology of the Mind 1000
Technical Brochure TB 814: LPIT applications in HV gas insulated switchgear 1000
ACSM’s Guidelines for Exercise Testing and Prescription, 12th edition 500
Picture Books with Same-sex Parented Families: Unintentional Censorship 500
Nucleophilic substitution in azasydnone-modified dinitroanisoles 500
不知道标题是什么 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 3969094
求助须知:如何正确求助?哪些是违规求助? 3514055
关于积分的说明 11171564
捐赠科研通 3249344
什么是DOI,文献DOI怎么找? 1794799
邀请新用户注册赠送积分活动 875377
科研通“疑难数据库(出版商)”最低求助积分说明 804779