热点事件持续更新
NYU与Amazon提出SGUID方法优化技能蒸馏
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
NYU与Amazon联合发表论文，研究技能蒸馏中技能库规模与效果的关系。早先报道称，按主题匹配挑选的技能中，不到25%能在3个Qwen模型上产生有效信号，而蒸馏少数持续产生有效训练信号的技能，效果可匹配甚至超越蒸馏大至11倍的技能库。后续报道称，研究团队提出SGUID方法，只保留训练早期和后期都有帮助的技能，仅用6个技能即让3/4模型在数学竞赛测试上追平或超过30至71个技能的完整技能库；第二轮加入3个新技能后，Qwen3-8B从64.3%提升至66.3%。
AI 根据报道生成 · 1 小时前更新
最新进展10月10日 11:05
SGUID仅用6个技能即让3/4模型追平或超过30至71个技能的完整技能库。报道时间线
沿着报道，了解事件的不同侧面。
10月10日
- Rohan Paul (@rohanpaul_ai) · XNYU与Amazon论文：精选技能蒸馏胜过11倍技能库
NYU与Amazon新论文发现，蒸馏少数持续产生有效训练信号的技能，效果可匹配甚至超越蒸馏大至11倍的技能库。按主题匹配挑选的技能中，不到25%能在3个Qwen模型上产生有效信号。SGUID只保留训练早期和后期都有帮助的技能，6个技能即让3/4模型在数学竞赛测试上追平或超过30至71个技能的完整技能库；第二轮加入3个新技能后，Qwen3-8B从64.3%提升至66.3%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。