xAI 开源 314B 参数 Grok-1 基座模型权重

xAI 以 Apache 2.0 许可开放 Grok-1 的基座模型权重和网络架构。Grok-1 是 314B 参数的 Mixture-of-Experts 模型，每个 token 激活 25% 的权重，由 xAI 使用基于 JAX 和 Rust 的自研训练栈从零训练，预训练阶段于 2023 年 10 月结束。