Can automated machine translation evaluation metrics be used to assess students’ interpretation in the language learning classroom?

计算机科学 机器翻译 NIST公司 自然语言处理 人工智能 操作化 人气 机器翻译评价 语言习得 分级(工程) 公制(单位) 能力(人力资源) 数学教育 心理学 机器翻译软件可用性 社会心理学 哲学 运营管理 土木工程 认识论 基于实例的机器翻译 工程类 经济
作者
Chao Han,Xiaolei Lu
出处
期刊:Computer Assisted Language Learning [Informa]
卷期号:36 (5-6): 1064-1087 被引量:12
标识
DOI:10.1080/09588221.2021.1968915
摘要

The use of translation and interpreting (T&I) in the language learning classroom is commonplace, serving various pedagogical and assessment purposes. Previous utilization of T&I exercises is driven largely by their potential to enhance language learning, whereas the latest trend has begun to underscore T&I as a crucial skill to be acquired as part of transcultural competence for language learners and future language users. Despite their growing popularity and utility in the language learning classroom, assessing T&I is time-consuming, labor-intensive and cognitively taxing for human raters (e.g., language teachers), primarily because T&I assessment entails meticulous evaluation of informational equivalence between the source-language message and target-language renditions. One possible solution is to rely on automated quality metrics that are originally developed to evaluate machine translation (MT). In the current study, we investigated the viability of using four automated MT evaluation metrics, BLEU, NIST, METEOR and TER, to assess human interpretation. Essentially, we correlated the automated metric scores with the human-assigned scores (i.e., the criterion measure) from multiple assessment scenarios to examine the degree of machine-human parity. Overall, we observed fairly strong metric-human correlations for BLEU (Pearson's r = 0.670), NIST (r = 0.673) and METEOR (r = 0.882), especially when the metric computation was conducted on the sentence level rather than the text level. We discussed these emerging findings and others in relation to the feasibility of operationalizing MT metrics to evaluate students' interpretation in the language learning classroom.Supplemental data for this article is available online at https://doi.org/10.1080/09588221.2021.1968915 .
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
医平青云完成签到,获得积分10
3秒前
鹏鹏完成签到,获得积分10
5秒前
欣喜落雁完成签到,获得积分10
6秒前
满意听白完成签到 ,获得积分10
7秒前
monicaj完成签到 ,获得积分10
9秒前
开朗黑猫完成签到 ,获得积分10
9秒前
TEY完成签到 ,获得积分10
10秒前
zzz完成签到 ,获得积分10
11秒前
研友_8oYg4n完成签到,获得积分10
13秒前
大个应助SpongeBob采纳,获得10
13秒前
慕青应助Duolalala采纳,获得10
14秒前
隐形曼青应助LFC采纳,获得10
15秒前
16秒前
喜羊羊完成签到 ,获得积分10
16秒前
sduweiyu完成签到 ,获得积分10
19秒前
好好完成签到,获得积分10
20秒前
PC发布了新的文献求助10
20秒前
无语的惜芹完成签到 ,获得积分10
23秒前
小眼儿发布了新的文献求助10
23秒前
打打应助摩登灰太狼采纳,获得10
26秒前
YYL完成签到,获得积分10
26秒前
Lucky小M完成签到,获得积分10
26秒前
26秒前
慕青应助Wu采纳,获得10
29秒前
OK完成签到,获得积分10
30秒前
lemonfang完成签到,获得积分10
32秒前
34秒前
三年半完成签到,获得积分10
35秒前
hhhh完成签到,获得积分10
36秒前
37秒前
亮liang完成签到,获得积分10
38秒前
hhhh发布了新的文献求助10
41秒前
Ning00000完成签到 ,获得积分10
42秒前
寒冷萤完成签到 ,获得积分10
42秒前
SciGPT应助asd采纳,获得10
43秒前
44秒前
yyl完成签到 ,获得积分10
44秒前
qiu完成签到 ,获得积分10
45秒前
无私的含海完成签到,获得积分10
45秒前
Zyk完成签到,获得积分10
45秒前
高分求助中
The Oxford Handbook of Social Cognition (Second Edition, 2024) 1050
Kinetics of the Esterification Between 2-[(4-hydroxybutoxy)carbonyl] Benzoic Acid with 1,4-Butanediol: Tetrabutyl Orthotitanate as Catalyst 1000
The Young builders of New china : the visit of the delegation of the WFDY to the Chinese People's Republic 1000
юрские динозавры восточного забайкалья 800
English Wealden Fossils 700
Handbook of Qualitative Cross-Cultural Research Methods 600
Chen Hansheng: China’s Last Romantic Revolutionary 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3140260
求助须知:如何正确求助?哪些是违规求助? 2791039
关于积分的说明 7797743
捐赠科研通 2447527
什么是DOI,文献DOI怎么找? 1301942
科研通“疑难数据库(出版商)”最低求助积分说明 626345
版权声明 601194