热点事件持续更新
美团发布SLM高并发推理引擎优化实践
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
2026年10月15日，美团技术团队发布文章，介绍针对搜推场景的SLM（0.5~1B）有界生成负载所进行的推理引擎重构。该实践以静态DAG组织完整业务请求，并结合AOTInductor编译、Packed Prefill、请求内K/V共享及选择性FP8等手段，目标是在延迟约束下优化有效吞吐。目前报道仅披露了上述技术方案，未给出具体性能数据或上线效果。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 10:24
美团技术团队发文介绍SLM高并发推理引擎重构方案，含静态DAG、Packed Prefill等优化。报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- 美团技术团队 · 微信公众号美团 SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
美团技术团队为搜推场景的 SLM（0.5~1B）有界生成负载重构推理引擎，以静态 DAG 组织完整业务请求，结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享及选择性 FP8。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。