我的 LLM 评测模型每次运行结果都反复无常，这没关系——因为由 frozenset 决定什么是致命错误
我的LLM评测模型每次运行结果都反复无常。这没关系——因为由“冻结集”来决定什么是致命错误。
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
一个 LLM 评测模型每次运行给出的评判结果都会翻转，作者认为这没关系，因为最终由 frozenset 决定哪些问题属于致命错误。该做法把不稳定的模型判断与确定性的致命错误判定分离，避免单次运行波动直接影响结论。
来源：dev.to（经 Hacker News） · dev.to