Zephon 为 TorchTitan 带来弹性确定性数据加载

PyTorch 团队发布 Zephon，为 TorchTitan 提供弹性确定性数据加载，改变 GPU 数量后恢复训练仍产生与基线完全一致的全局 batch。原文显示标准 data loader 下 DCLM Core v1 分数因 GPU 数量最多波动 0.82 分，Zephon 将波动降至 0.05 分。