为什么让 LLM 自报置信度不可靠,以及替代做法
将大型语言模型(LLM)用于置信度评分是个糟糕的主意
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
作者论证让 LLM 生成置信度分数是糟糕做法,因为分数只是文本延续,不是对证据的度量,也从未经过校准。文章以天气预报为例说明可信置信度需反映信息量并经实际结果校准,并给出替代方案:用可观察信号构建规则生成置信度,记录每次结果并持续校准。
来源:rumple.github.io(经 Hacker News) · rumple.github.io