Ask HN:LLM 时代我们该如何衡量软件?
Ask HN: How do we measure software in LLM era?
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Hacker News 用户发帖讨论 LLM 时代软件难以量化评估的问题:即便使用同一模型、同一供应商,准确率、运行成本、上下文、规模、耗时、轮次等指标也会大幅波动,加上工具选择带来的不确定性,开发者几乎只能控制 harness 部分。发帖者质疑,在如此多变数下如何对工单做分诊,以及是否只能让用户自行承担结果。
来源:Hacker News · news.ycombinator.com