如何在不降低智能的前提下压缩语言模型

一个 70B 参数模型以 16 位存储需约 140 GB，而消费级显卡显存仅 24 GB 或 48 GB，模型规模几年间增长约 100 倍而显存仅翻倍。文章介绍三种压缩技术：量化（用更少位数存储每个权重）、剪枝（删除无贡献的权重）和知识蒸馏（用小模型模仿大模型行为），并讨论压缩是否会损害模型智能。