Amazon Science 论文：当 LLM 评审意见一致时，我们该相信吗？

Amazon Science 在 ICML 发表的论文提出基于 Ising 模型的依赖感知标签聚合方法，用于评估 LLM 评审之间的相关性并调整聚合分数。在相关性分类、毒性分类和摘要评估三个任务上，使用 10 个评审模型时，该方法准确率分别达 0.912、0.792 和 0.806，比按历史准确率加权的评审团基线高出 9% 至 14%。