跳到正文
Hugging Face Daily Papers·· 3 天前AI 评分40

PaLoRA:面向持续学习的节奏化低秩适配方法

PaLoRA: Paced Low-Rank Adaptation for Continual Learning

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

针对 LoRA 持续学习中固定小学习率缺乏理论指导的问题,研究者提出 PaLoRA,通过自适应 SVD 截断压缩历史知识、将梯度投影到先前任务的零空间,并按秩感知方式自适应调节梯度步长。该方法在 50 任务的 ImageNet-A 和 ImageNet-R 基准上取得 4% 的准确率提升,长周期场景下表现尤为突出,论文已被 NeurIPS 2026 接收。

来源:Hugging Face Daily Papers · arxiv.org