跳到正文
Hugging Face Daily Papers·· 27 天前AI 评分31

SQS:通过稀疏量化子分布的贝叶斯 DNN 压缩

SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

研究者提出 SQS,一个通过贝叶斯变分学习同时进行剪枝与低比特量化的统一框架,采用 spike-and-slab 先验诱导稀疏性、用高斯混合模型(GMM)建模量化权重,并给出高效近似与变分方法的一致性理论结果。在 ResNet、BERT-base、Llama3.2 和 Qwen2.5 上的压缩实验显示,SQS 在性能下降相当的情况下压缩率高于现有方法。该论文已被 TMLR 接收。

来源:Hugging Face Daily Papers · arxiv.org