Multi-Task Learning Using BERT With Soft Parameter Sharing Between Layers

任务(项目管理) 计算机科学 图层(电子) 人工智能 序列(生物学) 多任务学习 基线(sea) 领域(数学分析) 知识共享 自然语言处理 机器学习 数学 知识管理 生物 海洋学 地质学 数学分析 遗传学 经济 有机化学 化学 管理
作者
Niraj Pahari,Kazutaka Shimada
标识
DOI:10.1109/scisisis55246.2022.10001943
摘要

The ability to learn from one task and pass the knowledge to another task is a remarkable job that is possible because of multi-task learning (MTL). It is helpful in the scenario where data is scarce. In this paper, we study the use of MTL in natural language processing (NLP) using BERT for sentiment classification, category classification, and aspect-opinion sequence classification. The Restaurant-ACOS dataset is split into two subsets, namely the sentiment-category data subset, for the first two tasks and the sequence classification data subset, for the third task. The BERT layers are grouped into top, middle, and bottom layers. These layers are either frozen, shared, or kept unshared for individual tasks. Experiments are conducted to find the best combination for the overall layers of BERT. The experiments demonstrate that MTL can improve the performance on these tasks when compared as a baseline method that uses single task learning. One of the best configurations was based on freezing on the bottom layers, sharing on the middle layers, and keeping on the top layers, respectively. In addition, we investigate the role of each layer via the size of layers. From the result, the individual layers capture the task-specific patterns whereas shared layers capture the domain knowledge.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
neuropls发布了新的文献求助10
1秒前
纯真的蜗牛完成签到,获得积分10
1秒前
饺子123发布了新的文献求助10
1秒前
1秒前
1秒前
1秒前
2秒前
2秒前
zhaolu完成签到,获得积分10
2秒前
2秒前
2秒前
3秒前
3秒前
csw发布了新的文献求助10
3秒前
坦率巧曼完成签到 ,获得积分10
3秒前
老迟到的妙菱完成签到,获得积分10
3秒前
满意若烟发布了新的文献求助10
3秒前
聪慧乌冬面关注了科研通微信公众号
3秒前
Lucas的应助被uu采纳,获得10
4秒前
英俊的铭的应助被uu采纳,获得10
4秒前
天天快乐的应助被uu采纳,获得10
4秒前
4秒前
秋白华落霜完成签到,获得积分10
4秒前
4秒前
4秒前
4秒前
桐桐的应助被舒心访文采纳,获得10
4秒前
5秒前
所所的应助被LSW采纳,获得10
5秒前
何松发布了新的文献求助30
5秒前
5秒前
6秒前
科研通AI6.2的应助被chen采纳,获得10
6秒前
深情安青的应助被粗犷的薯片采纳,获得10
6秒前
6秒前
cyr发布了新的文献求助10
6秒前
郝郝完成签到,获得积分10
7秒前
上官若男的应助被淡然新竹采纳,获得10
7秒前
zhuo发布了新的文献求助10
8秒前
8秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Markov Decision Processes and Reinforcement Learning 700
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8170021
求助须知:如何正确求助?哪些是违规求助? 9563040
关于积分的说明 21768210
捐赠科研通 7761506
什么是DOI,文献DOI怎么找? 3430553
关于科研通互助平台的介绍 2554373
邀请新用户注册赠送积分活动 2475269