同等排序质量，不同决策：测量并降低 LLM 打分器的顺序依赖
Equal Ranking Quality, Different Decisions: Measuring and Reducing Order Dependence in LLM Scorers
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
LLM 打分器在同一 prompt 中给多个候选打分时，重排候选顺序会改变分数，进而改变阈值保留集等决策。研究发现，在段落重排任务上，nDCG@10 相差 0.010 以内的五个训练打分器，重排后保留集重叠度仅 0.66-0.84。
来源：Hugging Face Daily Papers · arxiv.org