热点事件持续更新
LoRA与QLoRA核心概念解析
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月24日,马东锡NLP先后发布两篇关于LoRA与QLoRA的解读文章。16:54的文章讲解原理:LoRA冻结原有权重、只训练少量低秩模式,量化用NF4等方法减少每个权重占用的位数;QLoRA结合两者,使7B模型微调显存从全参数约100GB降至约5GB,并复现了在48GB GPU上微调65B模型且保持16位全参数微调表现的结果。17:01发布的文章为后训练系列第三篇,围绕rank秩、low-rank approximation低秩近似、quantization量化三个基本概念展开,并用矩阵中的pattern模式概念将三者串联。目前进展为系列文章持续更新,尚无其他来源的独立验证或后续讨论。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 17:01
马东锡NLP发布后训练系列第三篇,用矩阵pattern串联秩、低秩近似与量化三概念。报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- Dongxi 东锡 NLP (@dongxi_nlp) · X后训练系列第三篇:LoRA 与 QLoRA 核心概念解析
马东锡 NLP 发布后训练文章系列第三篇,主题为 LoRA 和 QLoRA。文章围绕 rank 秩、low-rank approximation 低秩近似、quantization 量化三个基本概念展开,并用矩阵中的 pattern 模式这一概念将三者串联起来。
- Dongxi 东锡 NLP (@dongxi_nlp) · XLoRA 与 QLoRA:如何用一块 GPU 微调大模型
文章讲解 LoRA 与 QLoRA 的原理:LoRA 冻结原有权重、只训练少量低秩模式,量化用 NF4 等方法减少每个权重占用的位数。QLoRA 结合两者,使 7B 模型微调显存从全参数约 100 GB 降至约 5 GB;QLoRA 复现了在 48GB GPU 上微调 65B 模型并保持 16 位全参数微调表现的结果。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。