小模型工具调用基准的假阳性诊断

2026年10月1日，Hugging Face Daily Papers 收录一项研究，指出关键词匹配类基准在小模型工具调用评测上会失效。研究记录了两个共享解码器与 tokenizer 的西班牙语安全模型，在宽松工具调用指标上得分几乎相同（B4：0.660 对 0.650），但逐字复现检查完全区分二者：661.6M 模型在 6/6 示例上生成有效工具调用，1,109M 模型在 0/6 上做到。研究据此提出一套低成本诊断阶梯，用于识别此类假阳性。目前该工作以论文形式发布，尚无后续复现或基准修订的报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。