EngramEdit:通过条件记忆实现 LLM 解耦式知识更新
EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
EngramEdit 提出一种通过条件记忆实现 LLM 解耦式知识更新的方法,先计算目标记忆表示使模型在多种表达下预测更新后的事实,再联合更新共享 n-gram 嵌入并对高频复用嵌入施加更强惩罚。实验显示其编辑成功率接近完美,修订知识可用于未见表达和多跳推理,在 CoT 提示下准确率约为最强基线的三倍,且无关知识与通用能力基本保持。
来源:Hugging Face Daily Papers · arxiv.org