Joint Pre-Trained Chinese Named Entity Recognition Based on Bi-Directional Language Model

计算机科学 条件随机场 命名实体识别 人工智能 特征工程 接头(建筑物) 自然语言处理 变压器 编码器 人工神经网络 特征(语言学) 对话 深度学习 语音识别 语言学 建筑工程 哲学 物理 管理 量子力学 电压 工程类 经济 任务(项目管理) 操作系统
作者
Changxia Ma,Chen Zhang
出处
期刊:International Journal of Pattern Recognition and Artificial Intelligence [World Scientific]
卷期号:35 (09): 2153003-2153003 被引量:4
标识
DOI:10.1142/s0218001421530037
摘要

The current named entity recognition (NER) is mainly based on joint convolution or recurrent neural network. In order to achieve high performance, these networks need to provide a large amount of training data in the form of feature engineering corpus and lexicons. Chinese NER is very challenging because of the high contextual relevance of Chinese characters, that is, Chinese characters and phrases may have many possible meanings in different contexts. To this end, we propose a model that leverages a pre-trained and bi-directional encoder representations-from-transformers language model and a joint bi-directional long short-term memory (Bi-LSTM) and conditional random fields (CRF) model for Chinese NER. The underlying network layer embeds Chinese characters and outputs character-level representations. The output is then fed into a bidirectional long short-term memory to capture contextual sequence information. The top layer of the proposed model is CRF, which is used to take into account the dependencies of adjacent tags and jointly decode the optimal chain of tags. A series of extensive experiments were conducted to research the useful improvements of the proposed neural network architecture on different datasets without relying heavily on handcrafted features and domain-specific knowledge. Experimental results show that the proposed model is effective, and character-level representation is of great significance for Chinese NER tasks. In addition, through this work, we have composed a new informal conversation message corpus called the autonomous bus information inquiry dataset, and compared to the advanced baseline, our method has been significantly improved.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
不再挨训完成签到 ,获得积分10
刚刚
学术乞丐完成签到,获得积分20
2秒前
咖啡博士完成签到,获得积分10
3秒前
韭黄发布了新的文献求助10
4秒前
Singularity完成签到,获得积分0
6秒前
JamesPei应助zq采纳,获得10
7秒前
所所应助韭黄采纳,获得10
11秒前
江霭完成签到,获得积分10
14秒前
鲤鱼青槐完成签到,获得积分10
23秒前
量子星尘发布了新的文献求助10
24秒前
27秒前
缥缈的冰旋完成签到,获得积分10
27秒前
33秒前
34秒前
ailemonmint完成签到 ,获得积分10
34秒前
35秒前
玉ER完成签到,获得积分10
36秒前
37秒前
四十四次日落完成签到 ,获得积分10
37秒前
科研通AI2S应助羊二呆采纳,获得10
37秒前
英吉利25发布了新的文献求助10
39秒前
40秒前
水晶茶杯发布了新的文献求助10
41秒前
欢欢完成签到,获得积分10
42秒前
茯苓完成签到 ,获得积分10
44秒前
小鱼发布了新的文献求助10
45秒前
香香丿完成签到 ,获得积分10
45秒前
46秒前
万能图书馆应助zz123采纳,获得10
46秒前
杜康完成签到,获得积分10
46秒前
Cheung2121发布了新的文献求助10
46秒前
医学小王完成签到 ,获得积分10
47秒前
49秒前
刘涵完成签到 ,获得积分10
50秒前
帅气的沧海完成签到 ,获得积分10
51秒前
辣辣辣辣辣辣完成签到 ,获得积分10
54秒前
55秒前
58秒前
乐观半兰完成签到,获得积分10
1分钟前
1分钟前
高分求助中
【提示信息,请勿应助】关于scihub 10000
Les Mantodea de Guyane: Insecta, Polyneoptera [The Mantids of French Guiana] 3000
徐淮辽南地区新元古代叠层石及生物地层 3000
The Mother of All Tableaux: Order, Equivalence, and Geometry in the Large-scale Structure of Optimality Theory 3000
Handbook of Industrial Diamonds.Vol2 1100
Global Eyelash Assessment scale (GEA) 1000
Picture Books with Same-sex Parented Families: Unintentional Censorship 550
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 4038112
求助须知:如何正确求助?哪些是违规求助? 3575788
关于积分的说明 11373801
捐赠科研通 3305604
什么是DOI,文献DOI怎么找? 1819255
邀请新用户注册赠送积分活动 892655
科研通“疑难数据库(出版商)”最低求助积分说明 815022