AI 导读
在 clustermax 测试期间，我们通过 torchtitan 运行两个任务：在 C4 数据集上用 FSDP 进行 llama 3.1 8B 预训练，以及通过 torchtitan 以专家并行进行 GPT-OSS MoE 训练。(2/3) https://t.co/Hlz4uykt5D
正文
During clustermax testing we run two jobs via torchtitan: llama 3.1 8B pretraining on the C4 dataset with FSDP, and GPT-OSS MoE training via torchtitan with expert parallelism. (2/3) https://t.co/Hlz4uykt5D
来源：@SemiAnalysis_ · x.com