Together AI 发布 ThunderAgent，以程序级调度缓解 Agent 推理 KV cache 抖动
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Together AI 联合 Georgia Tech、UIUC 和 CMU 推出开源系统 ThunderAgent，把 Agent 工作流抽象为可调度的程序，缓解高并发下 SGLang、vLLM 等请求级引擎的 KV cache 抖动问题。
来源：Together AI Blog · together.ai