LLM 思维链的机制解析：推理操作在隐藏表示中的几何结构
Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究揭示大语言模型的推理操作在隐藏表示中具有可分离的几何结构，且这种可分离性在中间层达到峰值。该结构无法用词汇或位置混淆因素解释，token 级操作对齐随层数增加而更分散，相同表层 token 因周围操作不同而表示各异。注意力掩蔽实验表明，chunk 起始处的操作对齐表示依赖前序推理上下文。
来源：Hugging Face Daily Papers · arxiv.org