Agnes AI 团队验证 NanoMythos:小模型加一次循环计算,PPL 降约 10.8%
Agnes团队:不堆参数、不烧算力!小模型也能跑出大模型能力
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Agnes AI 团队把 OpenMythos 的 recurrent-depth 思路移植到约 110M 的 nanowhale / DeepSeek-V4 风格小模型上,在 FineWeb-Edu 10K、5,000 步预训练下,T=1 循环使 held-out PPL 从 baseline 的 166.2 降至 148.3,相对下降约 10.8%,三个随机种子全部获胜。
来源:AI科技评论 · 微信公众号 · mp.weixin.qq.com