Hugging Face Daily Papers·2026-10-27 08:00· 1 天前AI 评分46

MoE 解码的通道选择无需校准数据：top-k 选择与权重内置 reader 提速 1.6-2.69 倍

Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data

本站未展示全文，请前往来源网站阅读。

AI 导读

MoE 模型小批量解码时，通道选择器无需校准数据：top-k 直接保留每个 token 得分最高的 k 个通道，在 13% 和 18% 读取预算下的 43 项对比中有 40 项持平或优于阈值版本，并避免了 Gemma 4 上校准阈值导致的重复循环崩溃。