跳到正文
Dongxi 东锡 NLP· @dongxi_nlp · X·· 1 小时前精选AI 评分68
AI 导读

Meta 发布 30B 开源权重模型 Muse Glimmer 的技术报告,主打在消费级硬件上运行智能体任务,在工具使用和多步规划上领先同等规模开源模型。

推荐理由

原文整理了模型体积、显存目标和推理速度等具体数字,方便读者评估在个人设备上跑智能体的可行性。

正文

Meta 正在把具备较强自主执行能力的 AI Agent,从云端大模型压缩到可以在个人电脑上持续运行的 Muse Glimmer 30B。

部分指标超过 Qwen3.6-27B 和 Gemma4-31B。

通过 4-bit 量化,将模型压缩到约 17GB,目标是在 24GB 显存设备上运行。

采用 DFlash 推测解码,在 RTX 5090 上实现约 233 tokens/s,相比普通解码提速约 3.1 倍。

Meta 最近牛逼克拉斯!

引用AI at Meta@AIatMeta
Today we published a technical report on Muse Glimmer, our 30B open-weight model built for agentic tasks on consumer hardware. It runs at practical speeds on a Mac or PC with a single consumer GPU at 4-bit precision, and leads comparably-sized open models on tool use and multi-step planning. Read about the model architecture, distillation recipe, quantization and more: https://go.meta.me/4Bcvxol
在 X 查看被引用的帖子

来源:Dongxi 东锡 NLP · x.com