跳到正文
Hugging Face Daily Papers·· 27 天前AI 评分38

Transformer 何时开始利用推断出的对话伙伴专业水平:编码早、使用晚

Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

研究用 ExpertCollab 多轮研究规划对话语料发现,Transformer 对对话伙伴专业水平的推断在早期层最易解码,到网络中点前已降至接近随机水平。反事实修补显示,在解码峰值层注入专业水平差异几乎不改变固定后期层读出,而在中点之后注入则几乎完全传播,差距超过一个数量级。这表明推断出的关系属性在被因果使用前早已被表征,界定了读取或引导伙伴条件行为的干预位置。

来源:Hugging Face Daily Papers · arxiv.org