AI 导读
一些结果：使用 North Mini Code（BF16，单张 H100），我们在 BS=1 时相比 vLLM 达到 1.58x，在 BS=8 时端到端服务达到 1.25x–1.41x https://t.co/mVE8weG06A
正文
Some results: With North Mini Code (BF16 on 1×H100), we achieved 1.58x vs vLLM at BS=1 and 1.25x–1.41x end-to-end serving at BS=8 https://t.co/mVE8weG06A
来源：@cohere · x.com