字节 Seed 提出 MoA：Token 自适应混合激活函数提升 FFN 表达能力
More Expressive Feedforward Layers: Part I. Token-Adaptive Mixing of Activations
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
字节 Seed 提出 Mixture of Activations（MoA），一种按 token 自适应混合激活函数的 FFN 设计，用轻量输入相关门控在共享线性投影上组合多种激活函数，并同时给出输入无关版本 learnable activations（LA）。
来源：ByteDance Seed Papers · arxiv.org