Debias-SparseGPT:面向大语言模型的偏差感知剪枝方法
Debias-SparseGPT: Bias-Aware Pruning for Large Language Models
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Debias-SparseGPT 是一种训练后剪枝方法,通过基于人口统计学对比输入定义的二阶项引入表征去偏,在 25%、50% 和结构化 2:4 稀疏度下均比 SparseGPT 减少剪枝引入的偏差,同时保持模型困惑度和零样本准确率。在最严格的 2:4 结构化稀疏下,用长上下文、内容丰富的样本增强校准集可进一步提升下游性能与公平性。该工作已被 EMNLP 2026 接收。
来源:Hugging Face Daily Papers · arxiv.org