TokenRouter：面向 Token 级 LLM 路由的高效服务系统

TokenRouter 是面向 Token 级 LLM 路由的高效服务系统，采用"请求为中心编程、模型为中心执行"的设计，为每个 LLM 启动子服务器并异步调度请求。在不同路由算法、负载和模型组合下，其解码吞吐量比现有系统高 2.01-64.15 倍，代码已开源，论文被 NeurIPS 2026 接收。