跳到正文
原文
Mistral AI·· 2026-08-17精选AI 评分86

Mistral AI 发布 Mixtral 8x7B 稀疏 MoE 开放权重模型

Mixtral of experts

AI 导读

Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可的稀疏混合专家(SMoE)开放权重模型,总参数 46.7B,每个 token 只激活 12.9B 参数。

推荐理由

官方给出与 Llama 2 70B、GPT-3.5 的逐项基准对比,可据此判断稀疏 MoE 开放权重的性价比。

来源:Mistral AI · mistral.ai