AI 导读
Hamel Husain 发布博客教程，讲解如何为评测任务选择决策模型、调整其阈值（并提醒不要默认 0.5 就是好的），以及如何解读其分数，配有交互式图表。
正文
好文！
近段时间涌现出“决策模型”，如：
TypeSafe 的 Jev
Perplexity 的 Decider
Cloudflare 的 Clef
OpenAI 的 Decisions API
输出概率而非长文本，常被用作 LLM-as-a-Judge 的替代方案。
如何用这些决策模型做 Evals，推荐读这篇！
New blog post 🎉: How To Use Decision Models For Evals In this post, we show you how to choose a decision model for your task, tune its threshold (don't assume the 0.5 default is good!), and interpret its scores. Lots of cool interactive charts here. https://x.com/i/article/2112552453422104576在 X 查看被引用的帖子
来源：Dongxi 东锡 NLP · x.com