跳到正文
Georgi Gerganov· @ggerganov · X·· 2 小时前AI 评分53
AI 导读

llama.cpp 作者 Georgi Gerganov 发布 v0.7.0,并给出在 128GB Mac/Spark 上的运行示例:llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。

正文

llama.cpp v0.7.0, 128GB Mac/Spark:

llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on

来源:Georgi Gerganov · x.com