Using BERT Model for Intent Classification in Human-Computer Dialogue Systems to Reduce Data Volume Requirement

计算机科学 分类器(UML) 人工智能 编码器 试验数据 变压器 学习迁移 训练集 机器学习 深度学习 任务(项目管理) 自然语言处理 工程类 电气工程 操作系统 电压 程序设计语言 系统工程
作者
Hao Liu,Huaming Peng
出处
期刊:Lecture notes in networks and systems 卷期号:: 517-523
标识
DOI:10.1007/978-3-030-80285-1_59
摘要

User-intent classification is a sub-task in natural language understanding of human-computer dialogue systems. To reduce the data volume requirement of deep learning for intent classification, this paper proposes a transfer learning method for Chinese user-intent classification task, which is based on the Bidirectional Encoder Representations from Transformers (BERT) pre-trained language model. First, a simulation experiment on 31 Chinese participants was implemented to collect first-handed Chinese human-computer conversation data. Then, the data was augmented through back-translation and randomly split into the training dataset, validation dataset and test dataset. Next, the BERT model was fine-tuned into a Chinese user-intent classifier. As a result, the predicting accuracy of the BERT classifier reaches 99.95%, 98.39% and 99.89% on the training dataset, validation dataset and test dataset. The result suggests that the application of BERT transfer learning has reduced the data volume requirement for Chinese intent classification task to a satiable level.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
勤奋紊发布了新的文献求助10
刚刚
刚刚
华仔应助tsuki采纳,获得10
刚刚
刚刚
zkk完成签到,获得积分10
1秒前
laura完成签到,获得积分10
1秒前
鳗鱼思松完成签到,获得积分10
1秒前
1秒前
Potato123123发布了新的文献求助10
2秒前
陈可发布了新的文献求助10
2秒前
3秒前
3秒前
liangwang发布了新的文献求助10
4秒前
华仔应助687采纳,获得10
4秒前
小二郎应助JC采纳,获得10
4秒前
化学兔子发布了新的文献求助10
4秒前
mm完成签到 ,获得积分10
5秒前
上官若男应助月亮睡啦采纳,获得10
5秒前
所所应助Kikisman采纳,获得10
5秒前
量子星尘发布了新的文献求助10
6秒前
希望天下0贩的0应助尧尧采纳,获得10
6秒前
6秒前
7秒前
7秒前
淡定的愫完成签到,获得积分10
7秒前
清新的柏柳应助serendipity采纳,获得10
8秒前
Echo发布了新的文献求助30
9秒前
zzy完成签到,获得积分10
11秒前
12秒前
量子星尘发布了新的文献求助10
12秒前
13秒前
自由面包发布了新的文献求助10
13秒前
luck完成签到,获得积分10
13秒前
13秒前
小巧的归尘完成签到,获得积分20
14秒前
HOAN应助农艳宁采纳,获得80
15秒前
15秒前
朝颜完成签到,获得积分10
16秒前
小慧儿完成签到 ,获得积分10
16秒前
曦夜完成签到,获得积分10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Encyclopedia of Forensic and Legal Medicine Third Edition 5000
Introduction to strong mixing conditions volume 1-3 5000
Agyptische Geschichte der 21.30. Dynastie 3000
Aerospace Engineering Education During the First Century of Flight 2000
„Semitische Wissenschaften“? 1510
从k到英国情人 1500
热门求助领域 (近24小时)
化学 材料科学 生物 医学 工程类 计算机科学 有机化学 物理 生物化学 纳米技术 复合材料 内科学 化学工程 人工智能 催化作用 遗传学 数学 基因 量子力学 物理化学
热门帖子
关注 科研通微信公众号,转发送积分 5770783
求助须知:如何正确求助?哪些是违规求助? 5587536
关于积分的说明 15425401
捐赠科研通 4904207
什么是DOI,文献DOI怎么找? 2638601
邀请新用户注册赠送积分活动 1586484
关于科研通互助平台的介绍 1541557