从线性层到自注意力：LLM 的记忆容量与干扰如何权衡

一篇技术分析将线性层、MLP 与自注意力统一视为记忆存储，用干扰信号比衡量召回质量：线性层容量约为 key 维度 d_k，64 维 key 下约存 64 条记忆，MLP 提升至约 2,700 条，自注意力则可超过一百万条。存储越多记忆，召回时相互干扰越大，扩大 key 维度可降低干扰但受硬件限制。