AI 导读
OpenAI 的 Jalapeño 在 GPT-OSS 上达到 1,459 tokens/秒/用户,在 DeepSeek R1 上达到 700,在 Kimi K2.5 上达到 694,而现有最佳仅为 535、169 和 182。 这意味着在三种差异极大的模型规模上,每用户解码吞吐量分别提升了 2.7 倍、4.1 倍和 3.8 倍。 https://t.co/sHCjuLyY9R
正文
OpenAI’s Jalapeño hits 1,459 tokens/sec/user on GPT-OSS, 700 on DeepSeek R1, and 694 on Kimi K2.5, versus just 535, 169, and 182 for the existing best.
That’s 2.7x, 4.1x, and 3.8x higher per-user decoding throughput across three very different model sizes.
https://t.co/sHCjuLyY9R
来源:@rohanpaul_ai · x.com