ProphetNet: Predicting Future N-gram for Sequence-to-SequencePre-training

计算机科学 过度拟合 自动汇总 序列(生物学) 人工智能 纳克 背景(考古学) 机器学习 克 比例(比率) 语言模型 人工神经网络 物理 古生物学 生物 量子力学 细菌 遗传学
作者
Weizhen Qi,Yongtao Yu,Yeyun Gong,Dayiheng Liu,Nan Duan,Jiusheng Chen,Ruofei Zhang,Ming Zhou
标识
DOI:10.18653/v1/2020.findings-emnlp.217
摘要

This paper presents a new sequence-to-sequence pre-training model called ProphetNet, which introduces a novel self-supervised objective named future n-gram prediction and the proposed n-stream self-attention mechanism. Instead of optimizing one-step-ahead prediction in the traditional sequence-to-sequence model, the ProphetNet is optimized by n-step ahead prediction that predicts the next n tokens simultaneously based on previous context tokens at each time step. The future n-gram prediction explicitly encourages the model to plan for the future tokens and prevent overfitting on strong local correlations. We pre-train ProphetNet using a base scale dataset (16GB) and a large-scale dataset (160GB), respectively. Then we conduct experiments on CNN/DailyMail, Gigaword, and SQuAD 1.1 benchmarks for abstractive summarization and question generation tasks. Experimental results show that ProphetNet achieves new state-of-the-art results on all these datasets compared to the models using the same scale pre-training corpus.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
1秒前
2秒前
3秒前
5秒前
CATTI完成签到,获得积分10
5秒前
5秒前
5秒前
5秒前
6秒前
6秒前
6秒前
6秒前
未来发布了新的文献求助10
6秒前
6秒前
酷波er的应助被kklove采纳,获得10
6秒前
淡定的从霜完成签到,获得积分10
8秒前
ikun完成签到,获得积分10
8秒前
咎如天发布了新的文献求助10
9秒前
惊蛰完成签到,获得积分10
9秒前
2196186871完成签到,获得积分10
10秒前
往鉳发布了新的文献求助10
10秒前
fufu符完成签到,获得积分10
11秒前
11秒前
852的应助被童七七采纳,获得10
11秒前
西瓜发布了新的文献求助10
11秒前
12秒前
先玉梅发布了新的文献求助10
13秒前
琛琛完成签到,获得积分10
13秒前
14秒前
15秒前
15秒前
蓝天的应助被曙光采纳,获得10
15秒前
CodeCraft的应助被AAA采纳,获得20
15秒前
开心的颤发布了新的文献求助10
16秒前
传奇3的应助被缓慢的念之采纳,获得10
16秒前
先玉梅发布了新的文献求助10
17秒前
汉堡包的应助被科研通管家采纳,获得10
17秒前
充电宝的应助被琛琛采纳,获得30
17秒前
CodeCraft的应助被科研通管家采纳,获得10
17秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8163536
求助须知:如何正确求助?哪些是违规求助? 9557611
关于积分的说明 21741159
捐赠科研通 7754159
什么是DOI,文献DOI怎么找? 3428214
关于科研通互助平台的介绍 2552969
邀请新用户注册赠送积分活动 2472918