Sparse Readout Prism：用特征而非 token 解释 Logit-Lens 分数
Sparse Readout Prism: Explaining Logit-Lens Scores in Features Instead of Tokens
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究者提出 Sparse Readout Prism（SRP），仅用 unembedding 矩阵权重分解 readout，将任意 token logit 或 logit 差异表示为稀疏 readout 特征贡献之和，从而独立于拟合语料分析 lens 读数。
来源：Hugging Face Daily Papers · arxiv.org