Do user preferences and evaluation measures line up?

计算机科学 范围(计算机科学) 情报检索 偏爱 选择(遗传算法) 排名(信息检索) 学习排名 搜索引擎 考试(生物学) 相关性(法律) 度量(数据仓库) 人口 机器学习 数据挖掘 统计 数学 古生物学 人口学 社会学 生物 政治学 法学 程序设计语言
作者
Mark Sanderson,Monica Lestari Paramita,Paul Clough,Evangelos Kanoulas
标识
DOI:10.1145/1835449.1835542
摘要

This paper presents results comparing user preference for search engine rankings with measures of effectiveness computed from a test collection. It establishes that preferences and evaluation measures correlate: systems measured as better on a test collection are preferred by users. This correlation is established for both "conventional web retrieval" and for retrieval that emphasizes diverse results. The nDCG measure is found to correlate best with user preferences compared to a selection of other well known measures. Unlike previous studies in this area, this examination involved a large population of users, gathered through crowd sourcing, exposed to a wide range of retrieval systems, test collections and search tasks. Reasons for user preferences were also gathered and analyzed. The work revealed a number of new results, but also showed that there is much scope for future work refining effectiveness measures to better capture user preferences.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
CodeCraft应助来自山灵的风采纳,获得10
刚刚
称心慕蕊发布了新的文献求助10
1秒前
wujuan1606发布了新的文献求助10
1秒前
唯我文乃完成签到,获得积分10
1秒前
1秒前
air发布了新的文献求助10
2秒前
baby发布了新的文献求助10
2秒前
小鹅完成签到,获得积分10
2秒前
唐晓秦完成签到,获得积分10
3秒前
火星上冥茗完成签到,获得积分10
3秒前
赘婿应助叮叮车采纳,获得10
3秒前
yjj6809完成签到,获得积分10
4秒前
4秒前
4秒前
专注思烟发布了新的文献求助10
5秒前
6秒前
一区种子选手完成签到,获得积分10
6秒前
lok完成签到,获得积分10
7秒前
7秒前
现代宝宝发布了新的文献求助10
7秒前
科研通AI5应助Grace采纳,获得10
8秒前
可爱的函函应助安寒采纳,获得10
9秒前
张菁发布了新的文献求助30
9秒前
笨笨的蚂蚁完成签到,获得积分10
9秒前
石橙星关注了科研通微信公众号
9秒前
协和小飞龙完成签到,获得积分10
9秒前
英姑应助真实的青旋采纳,获得10
10秒前
惜寒完成签到 ,获得积分10
10秒前
joji发布了新的文献求助30
11秒前
11秒前
顾矜应助不想看文献采纳,获得10
12秒前
慕青应助hehehe采纳,获得10
12秒前
仁爱钧完成签到,获得积分10
13秒前
13秒前
13秒前
14秒前
卡卡西完成签到,获得积分10
14秒前
15秒前
autumn完成签到,获得积分10
15秒前
15秒前
高分求助中
Production Logging: Theoretical and Interpretive Elements 2700
Mechanistic Modeling of Gas-Liquid Two-Phase Flow in Pipes 2500
Kelsen’s Legacy: Legal Normativity, International Law and Democracy 1000
Handbook on Inequality and Social Capital 800
Conference Record, IAS Annual Meeting 1977 610
Interest Rate Modeling. Volume 3: Products and Risk Management 600
Interest Rate Modeling. Volume 2: Term Structure Models 600
热门求助领域 (近24小时)
化学 材料科学 生物 医学 工程类 有机化学 生物化学 物理 纳米技术 计算机科学 内科学 化学工程 复合材料 基因 遗传学 物理化学 催化作用 量子力学 光电子学 冶金
热门帖子
关注 科研通微信公众号,转发送积分 3546764
求助须知:如何正确求助?哪些是违规求助? 3123808
关于积分的说明 9356884
捐赠科研通 2822427
什么是DOI,文献DOI怎么找? 1551441
邀请新用户注册赠送积分活动 723417
科研通“疑难数据库(出版商)”最低求助积分说明 713756