论文提出前缀不变性审计方法,在 Zamba2 和 Nemotron-H 中定位因果性缺陷
The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究提出一种前缀不变性审计方法,只需两次前向传播、无需训练或梯度,即可给出逐层分数定位因果性断裂位置。在八个 checkpoint 的 192 次注入故障试验中,掩码检查未检出任何一例,该审计将 192/192 全部定位到确切层。对 transformers 分块扫描代码的静态与动态分析还在 Zamba2 和 Nemotron-H 中发现同一跨块轴错误,并通过参考实现修复。
来源:Hugging Face Daily Papers · arxiv.org