跳到正文
原文
LMSYS Blog· Novita AI·· 2026-01-21AI 评分50

Novita AI 为 GLM4-MoE 打造 SGLang 生产优化:TTFT 降低 65%

Optimizing GLM4-MoE for Production: 65% Faster TTFT with SGLang

AI 导读

Novita AI 基于 SGLang 为 GLM4-MoE 推出一套生产级推理优化方案,通过 Shared Experts Fusion 与 Suffix Decoding 等技术,在 H200 集群 TP8、FP8 配置下将 TTFT 最多降低 65%,智能体编程负载下 TPOT 改善 22%。

来源:LMSYS Blog · lmsys.org