Using BERT Model for Intent Classification in Human-Computer Dialogue Systems to Reduce Data Volume Requirement

计算机科学 分类器(UML) 人工智能 编码器 试验数据 变压器 学习迁移 训练集 机器学习 深度学习 任务(项目管理) 自然语言处理 工程类 电气工程 操作系统 电压 程序设计语言 系统工程
作者
Hao Liu,Huaming Peng
出处
期刊:Lecture notes in networks and systems 卷期号:: 517-523
标识
DOI:10.1007/978-3-030-80285-1_59
摘要

User-intent classification is a sub-task in natural language understanding of human-computer dialogue systems. To reduce the data volume requirement of deep learning for intent classification, this paper proposes a transfer learning method for Chinese user-intent classification task, which is based on the Bidirectional Encoder Representations from Transformers (BERT) pre-trained language model. First, a simulation experiment on 31 Chinese participants was implemented to collect first-handed Chinese human-computer conversation data. Then, the data was augmented through back-translation and randomly split into the training dataset, validation dataset and test dataset. Next, the BERT model was fine-tuned into a Chinese user-intent classifier. As a result, the predicting accuracy of the BERT classifier reaches 99.95%, 98.39% and 99.89% on the training dataset, validation dataset and test dataset. The result suggests that the application of BERT transfer learning has reduced the data volume requirement for Chinese intent classification task to a satiable level.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
mmr完成签到,获得积分10
3秒前
隐形曼青应助阿湫采纳,获得10
3秒前
是一整个圆完成签到,获得积分10
7秒前
芽芽配茄子完成签到,获得积分10
10秒前
SJW--666完成签到,获得积分10
12秒前
投石问路完成签到,获得积分10
16秒前
画龙点睛完成签到 ,获得积分10
16秒前
阿Q完成签到,获得积分10
20秒前
王莫为发布了新的文献求助10
25秒前
王二哈完成签到,获得积分10
31秒前
熊二纯牛奶完成签到,获得积分10
31秒前
31秒前
31秒前
bad boy完成签到,获得积分10
34秒前
34秒前
王路宽发布了新的文献求助10
36秒前
CipherSage应助呜呜呜采纳,获得10
41秒前
44秒前
49秒前
50秒前
十一完成签到 ,获得积分10
50秒前
栀然完成签到,获得积分10
51秒前
任性的天空完成签到,获得积分10
51秒前
丁丁完成签到 ,获得积分10
54秒前
秋半梦完成签到 ,获得积分10
54秒前
蓝莓酱完成签到,获得积分0
56秒前
wan发布了新的文献求助10
56秒前
dnmd完成签到,获得积分10
57秒前
1分钟前
Chief完成签到,获得积分10
1分钟前
1分钟前
1分钟前
所所应助wan采纳,获得10
1分钟前
Akim应助背后的巧荷采纳,获得10
1分钟前
llg发布了新的文献求助10
1分钟前
2233完成签到,获得积分10
1分钟前
默默的斑马完成签到,获得积分10
1分钟前
Yoo.发布了新的文献求助10
1分钟前
小马甲应助llg采纳,获得10
1分钟前
JiangHb完成签到,获得积分10
1分钟前
高分求助中
LNG地下式貯槽指針(JGA指-107-19)(Recommended practice for LNG inground storage) 1000
Second Language Writing (2nd Edition) by Ken Hyland, 2019 1000
Generalized Linear Mixed Models 第二版 1000
rhetoric, logic and argumentation: a guide to student writers 1000
QMS18Ed2 | process management. 2nd ed 1000
Operative Techniques in Pediatric Orthopaedic Surgery 510
A High Efficiency Grating Coupler Based on Hybrid Si-Lithium Niobate on Insulator Platform 500
热门求助领域 (近24小时)
化学 医学 材料科学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 物理化学 催化作用 免疫学 细胞生物学 电极
热门帖子
关注 科研通微信公众号,转发送积分 2922408
求助须知:如何正确求助?哪些是违规求助? 2566507
关于积分的说明 6938155
捐赠科研通 2222542
什么是DOI,文献DOI怎么找? 1181439
版权声明 588911
科研通“疑难数据库(出版商)”最低求助积分说明 578067