如何审计你的 LLM 评审员？三种有效方法

LLM-as-a-judge 并非客观裁判，同样带有冗长偏好、位置偏好、光环效应、讨好偏好和自我增强等偏差，其中交换两个选项顺序可让评审结论翻转超过 75%，检测错误时最多 75% 的失败率。可通过三项措施审计评审员：对同一输出做多轮一致性检查并计算方差以衡量内部稳定性，用机会校正指标验证与人类专家判断的对齐度，以及采用分解式提示词加至少两个模型组成多评审员集成。