隆德大学与Google DeepMind提出BEFT:只微调Value偏置b(v),0.01%参数接近全量微调 | ACL'26
0.01%参数就能接近全量微调!低数据微调极致省参方案来了 | ACL'26
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
瑞典隆德大学与Google DeepMind提出BEFT微调方法,在低数据场景下只训练注意力Value投影的偏置b(v),效果优于微调b(q)或b(k)。在RTE低数据实验中,BEFT仅训练全模型0.01%的参数即达58.53%准确率,超过全参数微调的57.46%和全Bias微调的56.40%。该工作已被ACL 2026主会接收,并集成进Hugging Face-PEFT库。
来源:量子位 · 微信公众号 · mp.weixin.qq.com