AI 导读
文章讲解 LoRA 与 QLoRA 的原理:LoRA 冻结原有权重、只训练少量低秩模式,量化用 NF4 等方法减少每个权重占用的位数。QLoRA 结合两者,使 7B 模型微调显存从全参数约 100 GB 降至约 5 GB;QLoRA 复现了在 48GB GPU 上微调 65B 模型并保持 16 位全参数微调表现的结果。
正文
https://x.com/i/article/2113912265061593088
来源:Dongxi 东锡 NLP · x.com
文章讲解 LoRA 与 QLoRA 的原理:LoRA 冻结原有权重、只训练少量低秩模式,量化用 NF4 等方法减少每个权重占用的位数。QLoRA 结合两者,使 7B 模型微调显存从全参数约 100 GB 降至约 5 GB;QLoRA 复现了在 48GB GPU 上微调 65B 模型并保持 16 位全参数微调表现的结果。
https://x.com/i/article/2113912265061593088
来源:Dongxi 东锡 NLP · x.com