Local Support Learning：无需旧数据即可缓解大模型灾难性遗忘

研究者提出 Local Support Learning（LSL），一种无需访问旧数据即可在梯度训练中保留模型原有能力的通用框架，通过权重适配器与基于高斯混合模型（GMM）的门控函数配合，使更新仅作用于当前训练分布。该方法可在最高 70 亿参数的 LLM 上缓解灾难性遗忘，跨多个训练阶段同时保留预训练与微调能力，且内存与计算高效、对超参数稳健并具备扩展潜力。