跳到正文
Cohere 产品与研究博客·· 7 天前AI 评分58

Cohere 提出检索评测新指标 RCP-nDCG@10,用校准 AI 评审弥补 qrels 覆盖缺口

RCP-nDCG@10: A more complete way to measure retrieval relevance

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Cohere 提出 RCP-nDCG@10,用基于相关性评分细则的校准 LLM 评审给每条检索结果打分,取代依赖既有 qrels 的传统 nDCG。46 人盲测中,两指标分歧时评审员 70% 站在 RCP-nDCG 一边(整体 77% 对 52%),qrel 预测人类判断的 AUC 仅 0.65,LLM 校准分数达 0.91。

来源:Cohere 产品与研究博客 · cohere.com