已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

ReviVal: Towards Automatically Evaluating the Informativeness of Peer Reviews

计算机科学 判决 任务(项目管理) 质量(理念) 情绪分析 过程(计算) 人工智能 工作(物理) 信念 情报检索 自然语言处理 数据科学 机械工程 哲学 管理 认识论 法学 政治学 工程类 经济 操作系统
作者
Rajeev Verma,Tirthankar Ghosal,Saprativa Bhattacharjee,Asif Ekbal,Pushpak Bhattacharyya
标识
DOI:10.1145/3624918.3625341
摘要

The peer-review process is currently under stress due to the increasingly large number of submissions to top-tier venues, especially in Artificial Intelligence (AI) and Machine Learning (ML). Consequently, the quality of peer reviews is under question, and dissatisfaction among authors is not uncommon but rather prominent. In this work, we propose "ReviVal" (expanded as "REVIew eVALuation"), a system to automatically grade a peer-review report for its informativeness. We define review informativeness in terms of its Exhaustiveness and Strength, where Exhaustiveness signifies how exhaustively the review covers the different sections and qualitative aspects1 of the paper and Strength signifies how sure the reviewer is of their evaluation. We train ReviVal, a multitask deep network for review informativeness prediction on the publicly available peer reviews, which we curate from the openreview2 platform. We annotate the review sentence(s) with labels for (a) which sections and (b) what quality aspects of the paper those refer. We automatically annotate our data with the reviewer’s sentiment intensity to capture the reviewer’s conviction. Our approach significantly outperforms several intuitive baselines for this novel task. To the best of our knowledge, our work is a first-of-its-kind to automatically estimate the informativeness of a peer review report.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
赘婿的应助被给我嘉晚饭采纳,获得10
刚刚
刚刚
1秒前
SixyHao发布了新的文献求助10
1秒前
斯文败类的应助被wzj采纳,获得10
1秒前
甜蜜鹭洋完成签到,获得积分10
1秒前
搜集达人的应助被孙朱珠采纳,获得10
2秒前
纯情的阁的应助被mmmm采纳,获得210
2秒前
桐桐的应助被努力做颗盐采纳,获得10
3秒前
清脆如风完成签到 ,获得积分10
4秒前
酷波er的应助被道友且慢采纳,获得20
5秒前
悍劲芭比单挑孔子完成签到 ,获得积分10
5秒前
6秒前
nangua完成签到,获得积分10
6秒前
小二郎的应助被魔术师霸霸采纳,获得10
7秒前
gggk完成签到,获得积分20
7秒前
8秒前
8秒前
qianza发布了新的文献求助10
9秒前
vanilla完成签到,获得积分10
10秒前
11秒前
极限001给mahuahua的求助进行了留言
12秒前
Gjorv完成签到 ,获得积分10
12秒前
smile完成签到,获得积分10
12秒前
13秒前
14秒前
a553355完成签到,获得积分10
15秒前
斯文败类的应助被密密麻麻的采纳,获得10
15秒前
慕青的应助被还读书呢采纳,获得20
15秒前
kiteshowbbs发布了新的文献求助10
15秒前
地球翻转完成签到 ,获得积分10
16秒前
共享精神的应助被盈虚者采纳,获得10
16秒前
我是老大的应助被Zoe采纳,获得10
17秒前
17秒前
星辰大海的应助被fortuna采纳,获得10
18秒前
李爱国的应助被mt采纳,获得10
18秒前
19秒前
19秒前
haha发布了新的文献求助10
19秒前
爆米花的应助被期盼花开吗采纳,获得10
19秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
What Else Can I Tell You?: A Pragmatic Study of English Rhetorical Questions as Discursive and Argumentative Acts 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158064
求助须知:如何正确求助?哪些是违规求助? 9553987
关于积分的说明 21716926
捐赠科研通 7747422
什么是DOI,文献DOI怎么找? 3426934
关于科研通互助平台的介绍 2551676
邀请新用户注册赠送积分活动 2471057