华为开源 openPangu-2.0-Pro 模型及技术报告，参数约 505B
余承东说到做到，华为盘古 openPangu-2.0-Pro 模型及技术报告开源上线
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
华为开源盘古 openPangu-2.0-Pro 的模型权重、基础推理代码及技术报告，参数规模约 505B。该模型基于昇腾 NPU 训练，采用 MoE 架构，每 token 激活参数约 18B，支持 512k 上下文，训练数据总量约 34T tokens。
来源：IT Home · ithome.com