跳到正文
karminski-牙医· @karminski3 · X·· 4 小时前AI 评分22
AI 导读

作者正在开发一项优化,若成功可让Qwen3.8-27B、Qwen3.6-35B-A3B、Qwen3.8-Flash-Next在开启MTP的情况下速度再提升约16%。成果将以llama.cpp / mlx版本直接发布,开箱即用。

正文

另外再给大家同步个好玩的东西, 已经搞了一周了. 这个如果能做成功, 大家手里的Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.8-Flash-Next 的速度能在开启MTP的情况下再原地提升16%左右. 我会直接发一个llama.cpp / mlx 版本, 开箱即用. 祝我成功吧.

来源:karminski-牙医 · x.com