腾讯混元 HPC-Ops 高性能算子集成进 SGLang 主线
HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
腾讯混元开源的 LLM 推理算子库 HPC-Ops 已将 Attention、Router GEMM 和 MoE 三类核心算子合入 SGLang 主线，面向 NVIDIA Hopper（SM90）GPU。
来源：LMSYS Blog · lmsys.org