AI 导读
介绍 LLM 文本生成的下一次进化：首个围绕解码 megakernel 构建的完整服务系统。 性能比 vLLM 最高快 1.58x。为 North Mini Code 打造，完全开源。
正文
Introducing the next evolution in LLM text generation: the first fully-fledged serving system built around a decode megakernel.
Delivering up to 1.58x faster performance than vLLM. Built for North Mini Code, completely open-source.
来源：@cohere · x.com