百度文心开源 ERNIE-5.5-Flash-Base 基座模型,总参数 280B 每 token 激活 14B
百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
百度文心发布并开源 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点权重。该模型为稀疏 MoE 架构,总参数 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,采用 Muon 优化器与 FP8 混合精度,训练上下文最长 128K,微调与推理支持 1M tokens 上下文。
来源:IT Home · ithome.com