推理模型缺乏系统性？在规则归纳任务上评估推理模型

一项研究将认知科学中的规则归纳任务扩展到推理模型，通过重组、替换等任务同构方式构造结构等价的变体，发现模型虽能正确解出某个任务，却常在结构等价的变体上失败。这表明许多模型行为缺乏系统性，难以在其被评估的特定语境之外稳健地确立推理模型的认知能力。