跳到正文
AI科技评论 · 微信公众号·· 2026-06-01AI 评分36

Agnes AI 团队验证 NanoMythos:小模型加一次循环计算,PPL 降约 10.8%

Agnes团队:不堆参数、不烧算力!小模型也能跑出大模型能力

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Agnes AI 团队把 OpenMythos 的 recurrent-depth 思路移植到约 110M 的 nanowhale / DeepSeek-V4 风格小模型上,在 FineWeb-Edu 10K、5,000 步预训练下,T=1 循环使 held-out PPL 从 baseline 的 166.2 降至 148.3,相对下降约 10.8%,三个随机种子全部获胜。

来源:AI科技评论 · 微信公众号 · mp.weixin.qq.com