QuoteBench:匹配分数如何掩盖命令路径故障
QuoteBench: How Matched Scores Can Hide Command-Path Failures
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
QuoteBench 用 56 个一次性任务、14 个事故衍生家族,在生成契约与执行传输之间加入一个故意未转义的解析器,测量命令生成错误与生成后故障的边界。八个同窗口配置中,同一回复经该解析器重放后成功率下降 55.4 至 73.2 个百分点,披露边界可为六个配置挽回 30.4 至 60.7 个百分点。
来源:Hugging Face Daily Papers · arxiv.org