LMSYS Blog· Novita AI·· 2026-01-21AI 评分50
Novita AI 为 GLM4-MoE 打造 SGLang 生产优化:TTFT 降低 65%
Optimizing GLM4-MoE for Production: 65% Faster TTFT with SGLang
AI 导读
Novita AI 基于 SGLang 为 GLM4-MoE 推出一套生产级推理优化方案,通过 Shared Experts Fusion 与 Suffix Decoding 等技术,在 H200 集群 TP8、FP8 配置下将 TTFT 最多降低 65%,智能体编程负载下 TPOT 改善 22%。
来源:LMSYS Blog · lmsys.org