Using BERT Model for Intent Classification in Human-Computer Dialogue Systems to Reduce Data Volume Requirement

计算机科学 分类器(UML) 人工智能 编码器 试验数据 变压器 学习迁移 训练集 机器学习 深度学习 任务(项目管理) 自然语言处理 工程类 系统工程 电压 电气工程 程序设计语言 操作系统
作者
Hao Liu,Huaming Peng
出处
期刊:Lecture notes in networks and systems 卷期号:: 517-523
标识
DOI:10.1007/978-3-030-80285-1_59
摘要

User-intent classification is a sub-task in natural language understanding of human-computer dialogue systems. To reduce the data volume requirement of deep learning for intent classification, this paper proposes a transfer learning method for Chinese user-intent classification task, which is based on the Bidirectional Encoder Representations from Transformers (BERT) pre-trained language model. First, a simulation experiment on 31 Chinese participants was implemented to collect first-handed Chinese human-computer conversation data. Then, the data was augmented through back-translation and randomly split into the training dataset, validation dataset and test dataset. Next, the BERT model was fine-tuned into a Chinese user-intent classifier. As a result, the predicting accuracy of the BERT classifier reaches 99.95%, 98.39% and 99.89% on the training dataset, validation dataset and test dataset. The result suggests that the application of BERT transfer learning has reduced the data volume requirement for Chinese intent classification task to a satiable level.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
所所应助结实的老虎采纳,获得10
刚刚
2秒前
zzzzzzzzzzzz发布了新的文献求助10
2秒前
2秒前
开朗万天完成签到 ,获得积分10
3秒前
歪西西完成签到,获得积分10
4秒前
4秒前
鱼儿发布了新的文献求助10
5秒前
好好学习完成签到,获得积分10
5秒前
星辰大海应助研友_38KJRZ采纳,获得10
5秒前
Morri发布了新的文献求助10
6秒前
如意2023完成签到 ,获得积分10
6秒前
OnionJJ应助雪白的夜香采纳,获得10
6秒前
研友_38KJRZ完成签到,获得积分10
8秒前
柳听白发布了新的文献求助10
8秒前
9秒前
zzzzzzzzzzzz完成签到,获得积分10
10秒前
杜嘟嘟完成签到,获得积分10
12秒前
12秒前
留胡子的胡完成签到,获得积分10
14秒前
insane完成签到,获得积分10
14秒前
KYDL发布了新的文献求助10
15秒前
戈惜发布了新的文献求助10
16秒前
17秒前
顺利的镜子完成签到,获得积分10
17秒前
完美向卉关注了科研通微信公众号
17秒前
科研小小小白完成签到,获得积分10
18秒前
我是老大应助杜嘟嘟采纳,获得10
19秒前
Akim应助长vefvj采纳,获得10
21秒前
FJM完成签到,获得积分10
22秒前
火火应助麻溜儿采纳,获得10
22秒前
24秒前
研友_38KJRZ发布了新的文献求助10
24秒前
24秒前
25秒前
小蘑菇应助鱼儿采纳,获得10
26秒前
lan发布了新的文献求助30
26秒前
KYDL完成签到,获得积分10
28秒前
蓝色sea完成签到,获得积分10
29秒前
31秒前
高分求助中
Evolution 10000
Sustainability in Tides Chemistry 2800
юрские динозавры восточного забайкалья 800
English Wealden Fossils 700
An Introduction to Geographical and Urban Economics: A Spiky World Book by Charles van Marrewijk, Harry Garretsen, and Steven Brakman 600
Diagnostic immunohistochemistry : theranostic and genomic applications 6th Edition 500
Chen Hansheng: China’s Last Romantic Revolutionary 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3152088
求助须知:如何正确求助?哪些是违规求助? 2803383
关于积分的说明 7853471
捐赠科研通 2460824
什么是DOI,文献DOI怎么找? 1310064
科研通“疑难数据库(出版商)”最低求助积分说明 629107
版权声明 601765