Thinking Machines 的 Inkling 架构解析:9750 亿参数 MoE 与百万 token 上下文
The New American AI Model Designed to be Customized
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Thinking Machines 于 7 月 15 日发布的 Inkling 采用 66 层 MoE 架构,总参数 9750 亿、每个 token 约激活 410 亿,支持 100 万 token 上下文窗口。
来源:ByteByteGo · blog.bytebytego.com