Google Research·· 2026-04-01AI 评分46
Google Research 研究:AI 评测需要多少标注者才够?
Building better AI benchmarks: How many raters are enough?
AI 导读
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的 1–5 名标注者往往不足,可靠结果常需每条目 10 名以上标注者。
来源:Google Research · research.google