约束解码有害还是有益?重新审视其对大语言模型性能的影响
Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
该研究提出格式约束、有效性约束与推理约束三分类,理论上说明合适约束可通过消除无效路径保持或提升性能。跨 4 个模型家族、11 个开源模型的因果消融显示,表观性能下降主要来自非等价的提示词与输出格式而非解码器屏蔽,有效性约束提升可靠性与可提取性,推理约束在强制有利轨迹时可提升推理和准确率,代码已开源。
来源:Hugging Face Daily Papers · arxiv.org