AI 导读
相同命令和机器，1,000 次请求： 调优后的 NEXTN：606 tok/s，平均 TPOT 1.53 ms，接受长度 3.25 DSpark：1,120 tok/s，平均 TPOT 0.78 ms，接受长度 9.95 DSpark 将平均 TPOT 降低 1.9×。9.95 这一数字特定于该工作负载。https://t.co/lSbnxkB9nl
正文
Same command and machine, 1,000 requests:
Tuned NEXTN: 606 tok/s, 1.53 ms mean TPOT, 3.25 accept length
DSpark: 1,120 tok/s, 0.78 ms mean TPOT, 9.95 accept length
DSpark cut mean TPOT by 1.9×. The 9.95 figure is workload specific. https://t.co/lSbnxkB9nl
来源：@AntLingAGI · x.com