Listwise Generative Retrieval Models via a Sequential Learning Process

计算机科学 生成语法 过程(计算) 生成模型 情报检索 人工智能 机器学习 自然语言处理 程序设计语言
作者
Yubao Tang,Ruqing Zhang,Jiafeng Guo,Maarten de Rijke,Wei Chen,Xueqi Cheng
出处
期刊:ACM Transactions on Information Systems [Association for Computing Machinery]
卷期号:42 (5): 1-31
标识
DOI:10.1145/3653712
摘要

Recently, a novel generative retrieval (GR) paradigm has been proposed, where a single sequence-to-sequence model is learned to directly generate a list of relevant document identifiers (docids) given a query. Existing GR models commonly employ maximum likelihood estimation (MLE) for optimization: This involves maximizing the likelihood of a single relevant docid given an input query, with the assumption that the likelihood for each docid is independent of the other docids in the list. We refer to these models as the pointwise approach in this article. While the pointwise approach has been shown to be effective in the context of GR, it is considered sub-optimal due to its disregard for the fundamental principle that ranking involves making predictions about lists. In this article, we address this limitation by introducing an alternative listwise approach, which empowers the GR model to optimize the relevance at the docid list level. Specifically, we view the generation of a ranked docid list as a sequence learning process: At each step, we learn a subset of parameters that maximizes the corresponding generation likelihood of the i th docid given the (preceding) top i -1 docids. To formalize the sequence learning process, we design a positional conditional probability for GR. To alleviate the potential impact of beam search on the generation quality during inference, we perform relevance calibration on the generation likelihood of model-generated docids according to relevance grades. We conduct extensive experiments on representative binary and multi-graded relevance datasets. Our empirical results demonstrate that our method outperforms state-of-the-art GR baselines in terms of retrieval performance.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
李爱国的应助被隐形的baby采纳,获得30
刚刚
梨江鱼完成签到,获得积分10
1秒前
饱满青发布了新的文献求助10
1秒前
Zxy发布了新的文献求助10
1秒前
1秒前
2秒前
领导范儿的应助被小米布朗尼采纳,获得10
3秒前
3秒前
JoyZhang完成签到,获得积分10
4秒前
4秒前
张倩完成签到,获得积分10
4秒前
清秀语蝶的应助被傻傻的妙之采纳,获得10
4秒前
zxy发布了新的文献求助10
5秒前
缪道之完成签到 ,获得积分10
5秒前
舟遥遥发布了新的文献求助10
7秒前
yj发布了新的文献求助10
8秒前
8秒前
Matisse发布了新的文献求助80
8秒前
吴彦祖发布了新的文献求助10
8秒前
等待的mango完成签到,获得积分10
8秒前
清秀语蝶的应助被Rice采纳,获得10
9秒前
9秒前
ghw发布了新的文献求助10
10秒前
小蘑菇的应助被安安采纳,获得10
10秒前
10秒前
和谐小霸王完成签到,获得积分10
11秒前
无极微光的应助被Hou采纳,获得20
11秒前
伊yan完成签到 ,获得积分10
12秒前
ZoeyD完成签到 ,获得积分10
13秒前
羽生发布了新的文献求助10
14秒前
14秒前
余含海完成签到,获得积分10
14秒前
季生完成签到 ,获得积分10
15秒前
Akim的应助被科研通管家采纳,获得30
15秒前
隐形曼青的应助被科研通管家采纳,获得10
15秒前
方方完成签到,获得积分10
15秒前
打打的应助被科研通管家采纳,获得10
15秒前
烟花的应助被科研通管家采纳,获得10
15秒前
CipherSage的应助被科研通管家采纳,获得10
15秒前
Lucas的应助被科研通管家采纳,获得10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8172032
求助须知:如何正确求助?哪些是违规求助? 9564751
关于积分的说明 21776350
捐赠科研通 7763610
什么是DOI,文献DOI怎么找? 3431110
关于科研通互助平台的介绍 2554971
邀请新用户注册赠送积分活动 2476130