Transformer 何时开始利用推断出的对话伙伴专业水平:编码早、使用晚
Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究用 ExpertCollab 多轮研究规划对话语料发现,Transformer 对对话伙伴专业水平的推断在早期层最易解码,到网络中点前已降至接近随机水平。反事实修补显示,在解码峰值层注入专业水平差异几乎不改变固定后期层读出,而在中点之后注入则几乎完全传播,差距超过一个数量级。这表明推断出的关系属性在被因果使用前早已被表征,界定了读取或引导伙伴条件行为的干预位置。
来源:Hugging Face Daily Papers · arxiv.org