Apple 展示用 MLX 与 RDMA 在 Mac Studio 上本地运行近万亿参数模型 Muse Spark Open
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Apple 发布新版 MLX，配合 macOS 26.2 的 RDMA over Thunderbolt 驱动和 jaccl 通信后端，在四台 M5 Ultra Mac Studio 上以 NVFP4 精度运行 816B 参数的 MoE 模型 Muse Spark Open，达到 36.73 tokens/秒。
来源：Apple Machine Learning Research · machinelearning.apple.com