8 位 Qwen3.8-27B 解码速度比 BF16 快 1.7 倍，但 16K 上下文下更慢
Show HN: 8位 Qwen3.8-27B 的解码速度比 BF16 快 1.7 倍，但在 16K 上下文中速度较慢
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
8 位量化的 Qwen3.8-27B 解码速度达到 BF16 的 1.7 倍，但在 16K 上下文长度下速度反而更慢。该项目已在 GitHub 上发布。
来源：github.com（经 Hacker News） · github.com