自然语言自编码器如何挑选最具信息量的 token 位置

研究基于 470 万条关于提示注入与隐藏行为的解释，比较模型计算信号与仅用聊天结构训练的排序器，发现聊天结构选出的解释通常更相关，且无需前向传播即可完成位置选择。在四个数据集中的三个上，只解释 5% 的位置就能保留解释全部位置时近乎全部的成功率。预训练 verbalizer 还能在无需额外训练的情况下还原模型经微调后学会隐藏的词。