@OpenBMB· @OpenBMB · X·· 28 天前精选AI 评分68
AI 导读
面壁智能发布 MiniCPM5-2B,除模型权重外还开放其数据、训练配方与 RL 栈。公开数据包含 UltraData-Code(约 550B tokens)、UltraData-SFT-Agent-2609(约 50 万样本)、UltraData-RL-2609(8 万+样本)和 UltraX(约 100B tokens、1.14 亿样本)。训练与 RL 方面提供 Meshy 可扩展 RL 训练框架,以及 JustRL II 的 token 级信用分配。
推荐理由
面壁智能随 MiniCPM5-2B 一并公开数据、训练配方和 RL 框架,读者可了解小模型训练栈的完整构成。
正文
We’re not just releasing the model weights.
We’re opening up the data, training recipes, and RL stack behind MiniCPM5-2B:
📊 Data
UltraData-Code · ~550B tokens
UltraData-SFT-Agent-2609 · ~500K samples
UltraData-RL-2609 · 80K+ samples
UltraX · ~100B tokens / 114M samples
⚙️ Training & RL
Meshy · scalable RL training framework
JustRL II · token-level credit assignment for RL
来源:@OpenBMB · x.com