腾讯发布 295B 参数 MoE 模型 Hy3
tencent/Hy3
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
腾讯 Hy 团队发布 Hy3,一个 295B 参数的 MoE 模型,激活参数 21B,另有 3.8B MTP 层参数,上下文长度 256K。完整模型在 Hugging Face 上为 598GB,FP8 量化版为 300GB,并在 OpenRouter 免费开放至 7 月 21 日。
来源:Simon Willison · simonwillison.net
tencent/Hy3
本站未展示全文,请前往来源网站阅读。
腾讯 Hy 团队发布 Hy3,一个 295B 参数的 MoE 模型,激活参数 21B,另有 3.8B MTP 层参数,上下文长度 256K。完整模型在 Hugging Face 上为 598GB,FP8 量化版为 300GB,并在 OpenRouter 免费开放至 7 月 21 日。
来源:Simon Willison · simonwillison.net