Automatic assessment of spoken-language interpreting based on machine-translation evaluation metrics

NIST公司 计算机科学 公制(单位) 自然语言处理 机器翻译评价 机器翻译 翻译 人工智能 布鲁 人气 可靠性(半导体) 翻译(生物学) 机器学习 机器翻译软件可用性 心理学 基于实例的机器翻译 物理 信使核糖核酸 基因 社会心理学 经济 功率(物理) 量子力学 化学 程序设计语言 生物化学 运营管理
作者
Xiaolei Lu,Chao Han
出处
期刊:Interpreting [John Benjamins Publishing Company]
卷期号:25 (1): 109-143 被引量:24
标识
DOI:10.1075/intp.00076.lu
摘要

Abstract Automated metrics for machine translation (MT) such as BLEU are customarily used because they are quick to compute and sufficiently valid to be useful in MT assessment. Whereas the instantaneity and reliability of such metrics are made possible by automatic computation based on predetermined algorithms, their validity is primarily dependent on a strong correlation with human assessments. Despite the popularity of such metrics in MT, little research has been conducted to explore their usefulness in the automatic assessment of human translation or interpreting. In the present study, we therefore seek to provide an initial insight into the way MT metrics would function in assessing spoken-language interpreting by human interpreters. Specifically, we selected five representative metrics – BLEU, NIST, METEOR, TER and BERT – to evaluate 56 bidirectional consecutive English–Chinese interpretations produced by 28 student interpreters of varying abilities. We correlated the automated metric scores with the scores assigned by different types of raters using different scoring methods (i.e., multiple assessment scenarios). The major finding is that BLEU, NIST, and METEOR had moderate-to-strong correlations with the human-assigned scores across the assessment scenarios, especially for the English-to-Chinese direction. Finally, we discuss the possibility and caveats of using MT metrics in assessing human interpreting.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
搞怪达发布了新的文献求助10
1秒前
科研通AI6.2的应助被茂飞采纳,获得10
1秒前
澄澄发布了新的文献求助10
1秒前
852的应助被暴富采纳,获得10
1秒前
1秒前
能干的修洁完成签到,获得积分10
2秒前
2秒前
SYX发布了新的文献求助10
2秒前
yml完成签到 ,获得积分10
2秒前
2秒前
2秒前
3秒前
天天乐发布了新的文献求助10
3秒前
酷波er的应助被无疆采纳,获得10
3秒前
可爱的函函的应助被无疆采纳,获得10
3秒前
fan的应助被魁梧的磬采纳,获得10
3秒前
4秒前
something完成签到,获得积分10
4秒前
Yee完成签到,获得积分10
5秒前
6秒前
可可发布了新的文献求助10
6秒前
传奇3的应助被木木采纳,获得10
6秒前
orixero的应助被pepsi191采纳,获得10
6秒前
6秒前
英姑的应助被乐观蛋挞采纳,获得10
7秒前
7秒前
8秒前
zwhy发布了新的文献求助10
8秒前
小雪发布了新的文献求助10
8秒前
8秒前
8秒前
8秒前
火火发布了新的文献求助10
8秒前
9秒前
9秒前
9秒前
姜茂强发布了新的文献求助10
9秒前
10秒前
10秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8171556
求助须知:如何正确求助?哪些是违规求助? 9564290
关于积分的说明 21774363
捐赠科研通 7763124
什么是DOI,文献DOI怎么找? 3430998
关于科研通互助平台的介绍 2554820
邀请新用户注册赠送积分活动 2475918