Recent Advances in Natural Language Processing via Large Pre-trained Language Models: A Survey

计算机科学 任务(项目管理) 人工智能 自然语言处理 语言模型 语言理解 钥匙(锁) 自然语言理解 代表(政治) 领域(数学) 自然语言 计算机安全 管理 数学 政治 政治学 纯数学 法学 经济
作者
Bonan Min,Hayley Ross,Elior Sulem,Amir Pouran Ben Veyseh,Thien Huu Nguyen,Oscar Sainz,Eneko Agirre,Ilana Heintz,Dan Roth
出处
期刊:ACM Computing Surveys [Association for Computing Machinery]
卷期号:56 (2): 1-40 被引量:418
标识
DOI:10.1145/3605943
摘要

Large, pre-trained language models (PLMs) such as BERT and GPT have drastically changed the Natural Language Processing (NLP) field. For numerous NLP tasks, approaches leveraging PLMs have achieved state-of-the-art performance. The key idea is to learn a generic, latent representation of language from a generic task once, then share it across disparate NLP tasks. Language modeling serves as the generic task, one with abundant self-supervised text available for extensive training. This article presents the key fundamental concepts of PLM architectures and a comprehensive view of the shift to PLM-driven NLP techniques. It surveys work applying the pre-training then fine-tuning, prompting, and text generation approaches. In addition, it discusses PLM limitations and suggested directions for future research.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
皮本皮发布了新的文献求助10
刚刚
大蒜完成签到,获得积分10
刚刚
1秒前
凯文发布了新的文献求助10
1秒前
天空之城完成签到,获得积分10
1秒前
1秒前
zouzou完成签到,获得积分10
1秒前
王可爱完成签到,获得积分10
1秒前
诚心惜海关注了科研通微信公众号
2秒前
炙热血茗发布了新的文献求助20
2秒前
2秒前
2秒前
Lexa完成签到,获得积分10
2秒前
Naxop完成签到,获得积分10
3秒前
LGF发布了新的文献求助10
3秒前
3秒前
3秒前
小巧采珊完成签到,获得积分10
3秒前
4秒前
ding应助山月采纳,获得10
4秒前
4秒前
lyabigale完成签到 ,获得积分10
5秒前
5秒前
5秒前
打打应助听话的破茧采纳,获得10
6秒前
辞南完成签到,获得积分10
7秒前
7秒前
7秒前
饼饼完成签到,获得积分10
7秒前
7秒前
8秒前
星辰发布了新的文献求助10
8秒前
自信又菡发布了新的文献求助10
8秒前
8秒前
缓慢醉卉发布了新的文献求助10
8秒前
8秒前
9秒前
大模型应助来栖采纳,获得10
9秒前
han发布了新的文献求助10
9秒前
赘婿应助想在海边种花采纳,获得30
10秒前
高分求助中
The late Devonian Standard Conodont Zonation 2000
Nickel superalloy market size, share, growth, trends, and forecast 2023-2030 2000
The Lali Section: An Excellent Reference Section for Upper - Devonian in South China 1500
Very-high-order BVD Schemes Using β-variable THINC Method 870
Mantiden: Faszinierende Lauerjäger Faszinierende Lauerjäger 800
PraxisRatgeber: Mantiden: Faszinierende Lauerjäger 800
Fundamentals of Dispersed Multiphase Flows 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3254632
求助须知:如何正确求助?哪些是违规求助? 2896806
关于积分的说明 8294490
捐赠科研通 2565750
什么是DOI,文献DOI怎么找? 1393327
科研通“疑难数据库(出版商)”最低求助积分说明 652471
邀请新用户注册赠送积分活动 630040