SQS:通过稀疏量化子分布的贝叶斯 DNN 压缩
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出 SQS,一个通过贝叶斯变分学习同时进行剪枝与低比特量化的统一框架,采用 spike-and-slab 先验诱导稀疏性、用高斯混合模型(GMM)建模量化权重,并给出高效近似与变分方法的一致性理论结果。在 ResNet、BERT-base、Llama3.2 和 Qwen2.5 上的压缩实验显示,SQS 在性能下降相当的情况下压缩率高于现有方法。该论文已被 TMLR 接收。
来源:Hugging Face Daily Papers · arxiv.org