SCALE：重新思考 SFT 的 Token 重加权，抑制、反转与外推已学特征
Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
针对 SFT 中 token 重加权只能抑制或放大监督更新、无法反转有害特征的问题，研究者提出 SCALE（Selective Control of Adaptation via Local Entropy），冻结预训练模型与 SFT delta，仅通过最小化预测熵学习有界的 token 与模块级门控。
来源：Hugging Face Daily Papers · arxiv.org