HyQuant：面向 LLM 注意力机制的混合精度量化框架
HyQuant: Hybrid-Precision Quantization for LLM Attention
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
HyQuant 是一种面向 LLM 注意力机制的混合精度量化框架，将大部分注意力状态量化为低比特，仅保留少量竖线 token 和局部窗口状态为高精度，并以轻量级竖线感知注意力模式信号筛选这些精度关键区域。
来源：Hugging Face Daily Papers · arxiv.org