跳到正文
Redwood Research Blog· Sebastian Prasanna·· 4 小时前AI 评分58

Redwood Research 发布论文:蒸馏定罪(DFI)与蒸馏提能(DFC)的实证检验

[Paper] Distillation for Incrimination and Distillation for Capabilities

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Redwood Research 发布论文,实证检验两种蒸馏安全用法。DFI 将隐藏秘密 quirk 的 Llama-3.3-70B 模型蒸馏回同底座学生,学生坦白率显著更高(如 increasing_pep 84% vs 22%),但换底座(Llama-3.1-8B)时降至 18%,故建议蒸馏回教师自身的 pre-RL checkpoint。

来源:Redwood Research Blog · blog.redwoodresearch.org