Using BERT Model for Intent Classification in Human-Computer Dialogue Systems to Reduce Data Volume Requirement

计算机科学 分类器(UML) 人工智能 编码器 试验数据 变压器 学习迁移 训练集 机器学习 深度学习 任务(项目管理) 自然语言处理 工程类 系统工程 电压 电气工程 程序设计语言 操作系统
作者
Hao Liu,Huaming Peng
出处
期刊:Lecture notes in networks and systems 卷期号:: 517-523
标识
DOI:10.1007/978-3-030-80285-1_59
摘要

User-intent classification is a sub-task in natural language understanding of human-computer dialogue systems. To reduce the data volume requirement of deep learning for intent classification, this paper proposes a transfer learning method for Chinese user-intent classification task, which is based on the Bidirectional Encoder Representations from Transformers (BERT) pre-trained language model. First, a simulation experiment on 31 Chinese participants was implemented to collect first-handed Chinese human-computer conversation data. Then, the data was augmented through back-translation and randomly split into the training dataset, validation dataset and test dataset. Next, the BERT model was fine-tuned into a Chinese user-intent classifier. As a result, the predicting accuracy of the BERT classifier reaches 99.95%, 98.39% and 99.89% on the training dataset, validation dataset and test dataset. The result suggests that the application of BERT transfer learning has reduced the data volume requirement for Chinese intent classification task to a satiable level.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
搜集达人应助淡淡采白采纳,获得10
刚刚
高高代珊完成签到 ,获得积分10
1秒前
gmc发布了新的文献求助10
2秒前
2秒前
3秒前
善学以致用应助Mian采纳,获得10
3秒前
学科共进发布了新的文献求助60
4秒前
LWJ完成签到 ,获得积分10
4秒前
4秒前
缓慢的糖豆完成签到,获得积分10
5秒前
阉太狼完成签到,获得积分10
5秒前
6秒前
soory完成签到,获得积分10
7秒前
任性的傲柏完成签到,获得积分10
7秒前
lwk205完成签到,获得积分0
7秒前
8秒前
一一完成签到,获得积分10
8秒前
8秒前
8秒前
高中生完成签到,获得积分10
9秒前
9秒前
9秒前
希望天下0贩的0应助TT采纳,获得10
10秒前
xxegt完成签到 ,获得积分10
10秒前
11秒前
爱吃泡芙发布了新的文献求助10
11秒前
susu完成签到,获得积分10
13秒前
会神发布了新的文献求助10
13秒前
KK完成签到,获得积分10
14秒前
充电宝应助justin采纳,获得10
16秒前
17秒前
Ch完成签到 ,获得积分10
18秒前
20秒前
ajun完成签到,获得积分10
20秒前
20秒前
春江完成签到,获得积分10
20秒前
20秒前
漂亮的松思完成签到,获得积分20
23秒前
23秒前
高分求助中
Continuum Thermodynamics and Material Modelling 3000
Production Logging: Theoretical and Interpretive Elements 2700
Social media impact on athlete mental health: #RealityCheck 1020
Ensartinib (Ensacove) for Non-Small Cell Lung Cancer 1000
Unseen Mendieta: The Unpublished Works of Ana Mendieta 1000
Bacterial collagenases and their clinical applications 800
El viaje de una vida: Memorias de María Lecea 800
热门求助领域 (近24小时)
化学 材料科学 生物 医学 工程类 有机化学 生物化学 物理 纳米技术 计算机科学 内科学 化学工程 复合材料 基因 遗传学 物理化学 催化作用 量子力学 光电子学 冶金
热门帖子
关注 科研通微信公众号,转发送积分 3527961
求助须知:如何正确求助?哪些是违规求助? 3108159
关于积分的说明 9287825
捐赠科研通 2805882
什么是DOI,文献DOI怎么找? 1540070
邀请新用户注册赠送积分活动 716926
科研通“疑难数据库(出版商)”最低求助积分说明 709808