跳到正文
阅读原文
IT Home·· 3 小时前AI 评分43

摩尔线程开源 Megatron-MUSA-Titan，面向万卡级集群万亿参数 MoE 训练

摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练

阅读原文

本站未展示全文，请前往来源网站阅读。

AI 导读

摩尔线程开源大模型训练基础设施项目 Megatron-MUSA-Titan，基于其全功能 GPU，聚焦万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景。

来源：IT Home · ithome.com

#开源/仓库#数据/训练