Study of Word Embeddings for Enhanced Cyber Security Named Entity Recognition

计算机科学 命名实体识别 任务(项目管理) 嵌入 词(群论) 文字嵌入 自然语言处理 人工智能 领域(数学分析) F1得分 集合(抽象数据类型) 数学 经济 管理 程序设计语言 哲学 数学分析 语言学
作者
Smita Srivastava,Biswajit Paul,Deepa Gupta
出处
期刊:Procedia Computer Science [Elsevier]
卷期号:218: 449-460 被引量:14
标识
DOI:10.1016/j.procs.2023.01.027
摘要

A vast majority of cyber security information is in the form of unstructured text. A much-needed task is to have a machine-assisted analysis of such information. Named Entity Recognition (NER) provides a vital step towards this conversion. However, cyber security named entities are not restricted to classical entity types like people, location, organisation, miscellaneous etc but comprise a large set of domain-specific entities. Word embedding has emerged as the dominant choice for the initial transfer of semantics to downstream NLP tasks and impacts performance. Though several word embeddings learned using general purpose large corpus like Google News, Wikipedia etc. are available as pre-trained embeddings and have shown good performance on NER tasks; this trend is not consistent when it comes to domain-specific NER. This work explores the relative performances and suitability of prominent word embeddings for cyber security NER task. Embeddings considered include both general-purpose pre-trained word embeddings (non-contextual and contextual) available in the public domain and task-adapted embedding generated by fine-tuning these pre-trained embeddings on a task-specific supervised dataset. The results indicate that when it comes to using pre-trained embeddings for cyber security NER, fastText performs better than GloVe and BERT. However, when embeddings are further fine-tuned for the cyber-NER task, the performance of all the fine-tuned embeddings improved by +2-7%. Further, BERT embedding fine-tuned using position-wise FFN (Feed Forward Network) produced the state-of-the-art 0.974 F1-Score on the cyber security NER dataset.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
啊帅发布了新的文献求助10
1秒前
冷静的莞发布了新的文献求助10
2秒前
阿和完成签到,获得积分10
2秒前
风趣访卉发布了新的文献求助10
3秒前
Lucas应助piaopiao1122采纳,获得10
4秒前
5秒前
嘻哈发布了新的文献求助10
6秒前
7秒前
8秒前
Hello应助星星碎了采纳,获得10
8秒前
8秒前
cctv18应助Eva采纳,获得10
8秒前
李小喵发布了新的文献求助10
8秒前
luo完成签到,获得积分10
9秒前
9秒前
kiterunner完成签到,获得积分10
9秒前
kuku发布了新的文献求助10
10秒前
10秒前
优秀若剑完成签到,获得积分10
11秒前
大雄发布了新的文献求助10
11秒前
orange完成签到,获得积分10
12秒前
12秒前
yoon发布了新的文献求助10
13秒前
虚拟的眼神完成签到,获得积分10
13秒前
13秒前
15秒前
Tempo发布了新的文献求助10
15秒前
韩麒嘉发布了新的文献求助10
15秒前
大模型应助hua采纳,获得10
17秒前
善学以致用应助图南采纳,获得30
17秒前
哒哒发布了新的文献求助10
17秒前
毓雅完成签到,获得积分10
18秒前
嘻哈发布了新的文献求助30
18秒前
QJL完成签到,获得积分10
19秒前
19秒前
20秒前
Tempo完成签到,获得积分10
20秒前
香蕉觅云应助晚风采纳,获得10
20秒前
超帅连虎发布了新的文献求助10
20秒前
高分求助中
The late Devonian Standard Conodont Zonation 2000
Semiconductor Process Reliability in Practice 1500
Nickel superalloy market size, share, growth, trends, and forecast 2023-2030 1000
Mantiden: Faszinierende Lauerjäger Faszinierende Lauerjäger 800
PraxisRatgeber: Mantiden: Faszinierende Lauerjäger 800
中国区域地质志-山东志 560
A new species of Coccus (Homoptera: Coccoidea) from Malawi 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3243323
求助须知:如何正确求助?哪些是违规求助? 2887235
关于积分的说明 8247394
捐赠科研通 2555912
什么是DOI,文献DOI怎么找? 1384052
科研通“疑难数据库(出版商)”最低求助积分说明 649787
邀请新用户注册赠送积分活动 625668