热点事件持续更新
llama.cpp 支持异构设备分布式推理
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月8日，llama.cpp 作者 Georgi Gerganov 在 X 上介绍，llama.cpp 已支持通过 ggml RPC 后端在异构设备间分配推理。他表示这是一个进阶设置，未来会逐步让普通用户更容易使用。他引用中提到，在 RTX 6000 GPU 与 M5 笔记本上以 mxfp4 原生权重运行 MiMo 2.6 Flash，经 10 GbE 达到 40 tokens/sec，并称该功能在 llama.cpp 中开箱即用。这是该事件目前唯一可确认的报道，尚无后续进展或与早先报道矛盾的信息。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 01:52
llama.cpp 作者介绍已可通过 ggml RPC 后端在异构设备间分配推理。报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- Georgi Gerganov (@ggerganov) · Xllama.cpp 支持通过 ggml RPC 后端在异构设备间分配推理
llama.cpp 作者 Georgi Gerganov 介绍，llama.cpp 可通过 ggml RPC 后端在异构设备间分配推理。他称这是一个进阶设置，未来会逐步让普通用户更容易使用。引用中提到在 RTX 6000 GPU 与 M5 笔记本上以 mxfp4 原生权重跑 MiMo 2.6 Flash，经 10 GbE 达到 40 tokens/sec，该功能在 llama.cpp 中开箱即用。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。