千问（Qwen）与 AMD 在 MI300X 上优化 Qwen3 与 Qwen3-VL 推理延迟
千问 C 端基础设施工程团队与 AMD AI 框架团队基于 SGLang，在 AMD Instinct MI300X 系列 GPU 上对 Qwen3-235B 和 Qwen3-VL-235B 完成极端延迟优化。
#部署/工程
#部署/工程
今日 11 条LMSYS BlogAI 评分4141
LMSYS BlogAI 评分4646 SGLang RL 团队实现 INT4 QAT 端到端训练：1TB 模型单卡 H200 部署
SGLang RL 团队联合 InfiXAI、蚂蚁集团等团队，在 slime 框架上落地了 INT4 QAT 端到端方案，训练用 fake quantization、推理用 W4A16，实现与 BF16 全精度相当的训练-推理一致性。
Mistral AIAI 评分5656 Mistral AI 深入排查 vLLM 内存泄漏，定位到 UCX 的 mmap 钩子机制
Mistral AI 团队在预生产测试中发现，使用 vLLM 部署 Mistral Medium 3.1 并开启 graph compilation 的 Prefill/Decode 分离式推理下，系统内存以每分钟 400 MB 的速度线性增长，最终导致 out of memory。
LMSYS BlogAI 评分5050 Novita AI 为 GLM4-MoE 打造 SGLang 生产优化：TTFT 降低 65%
Novita AI 基于 SGLang 为 GLM4-MoE 推出一套生产级推理优化方案，通过 Shared Experts Fusion 与 Suffix Decoding 等技术，在 H200 集群 TP8、FP8 配置下将 TTFT 最多降低 65%，智能体编程负载下 TPOT 改善 22%。
LMSYS Blog精选AI 评分6363 SGLang-Diffusion 两个月迭代：推理速度最高提升 2.5 倍并集成 ComfyUI
SGLang-Diffusion 团队发布发布两个月进展总结，当前版本（docker 镜像 lmsysorg/sglang:dev-pr-17247）比 2025 年 11 月初始版最快提升 2.5 倍，在 NVIDIA GPU 上比其他方案最高快 5 倍。
推荐理由：官方复盘两个月迭代成果，涵盖新模型支持、LoRA 与 ComfyUI 集成等具体改进，读者可评估是否迁移现有扩散推理工作流。
LMSYS BlogAI 评分4848 SGLang 流水线并行如何扩展至百万级 Token 上下文
SGLang 推出高度优化的流水线并行（PP）实现，融合分块流水线并行、异步 P2P 通信与动态分块机制，专为超长上下文推理设计。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1、分块预填充设为 12K 时，预填充吞吐达 TP8 的 3.31 倍，比 TP32 方案高出 30.5%，同时 TTFT 最多降低 67.9%，强扩展效率保持 82.8%。
LMSYS BlogAI 评分5050 SGLang 推出 EPD 分离架构：面向视觉语言模型的弹性编码器扩展
SGLang 推出 Encoder-Prefill-Decode（EPD）分离架构，将视觉编码从语言处理中拆出，编码器服务器可独立横向扩展，并兼容现有 PD 分离形成三层架构。
LMSYS BlogAI 评分5656 LMSYS 联合蚂蚁、美团等发布 SpecBundle（Phase 1）与 SpecForge v0.2
SpecForge 团队联合蚂蚁集团、美团、Nex-AGI 和 EigenAI 发布 SpecBundle（Phase 1），提供覆盖 8B 到 1T 参数主流 instruct 模型的生产级 EAGLE3 草稿模型权重，最高可达 4 倍端到端推理加速。
Sierra BlogAI 评分3939 Sierra 推出 Workspaces：让团队并行开发 AI 智能体
Sierra 发布 Workspaces，将 GitHub、Figma 式的协作模式引入 AI 智能体开发，支持团队成员在各自 Workspace 中并行构建、测试，再通过合并生成快照并发布到 QA、staging 或生产环境。
LMSYS Blog精选AI 评分6161 SGLang 发布扩散大语言模型框架并 Day-0 支持 LLaDA 2.0
Ant Group DeepXPU 团队与 SGLang 团队在 SGLang 中实现扩散大语言模型（dLLM）框架，Day-0 支持 LLaDA 2.0。方案复用现有 Chunked-Prefill 机制，无需改动 SGLang 核心架构，支持自定义扩散解码算法、流式输出、张量并行和 CUDA graph 优化。
推荐理由：原文给出基于 Chunked-Prefill 实现 dLLM 支持的设计细节和实测吞吐数据，读者可据此评估 SGLang 上扩散模型的推理可行性。
LMSYS Blog精选AI 评分6262 LMSYS 发布 Mini-SGLang：5k 行代码的高性能 LLM 推理引擎
LMSYS 推出源自 SGLang 的轻量级推理框架 Mini-SGLang，代码仅 5k 行 Python，保留 Radix Attention、Chunked Prefill、Overlap Scheduling、Tensor Parallelism 等核心优化，并提供 OpenAI 兼容 API 和开箱即用的 Llama-3、Qwen-3 支持。
推荐理由：官方介绍这款仅 5k 行代码的推理引擎保留了哪些关键优化，以及如何用它学习和做研究原型。
Mistral AIAI 评分4545 Mistral AI 推出 Mistral AI Studio 生产级 AI 平台
Mistral AI 发布 Mistral AI Studio，一个面向企业团队的生产级 AI 平台，包含 Observability、Agent Runtime 和 AI Registry 三大支柱。
Linear NowAI 评分5151 Linear 阐述 Agent Interaction SDK 的设计思路
Linear 介绍其 Agent Interaction SDK 的构建思路：通过 OAuth 的 actor=app 模式让 Agent 成为工作区内的一等用户，新增 app:assignable 和 app:mentionable 两个可选权限控制 Agent 能否被指派或提及。
Mistral AIAI 评分5656 Mistral 发布 Codestral 25.08 与企业级完整编码栈
Mistral AI 发布 Codestral 25.08，并整合 Codestral Embed、Devstral 和 Mistral Code IDE 插件形成企业级完整编码栈，覆盖云、VPC 和本地部署。
Mistral AIAI 评分5454 Mistral AI 发布 AI 基础设施服务 Mistral Compute
Mistral AI 发布 AI 基础设施服务 Mistral Compute，提供从裸金属服务器到全托管 PaaS 的私有集成技术栈，涵盖 GPU、编排、API、产品和服务。
Mistral AIAI 评分5151 Mistral 发布企业级 AI 编码助手 Mistral Code，开启私测
Mistral 发布企业级 AI 编码助手 Mistral Code，基于开源项目 Continue，面向 JetBrains IDE 和 VSCode 开放私测，GA 计划近期推出。
Mistral AI精选AI 评分6767 Mistral AI 发布 Mistral Medium 3，以约八倍更低的成本逼近 Claude Sonnet 3.7 表现
Mistral AI 发布 Mistral Medium 3，定位为兼顾 SOTA 性能、成本低约 8 倍和更易部署的新级别模型。
推荐理由：官方给出与 Claude Sonnet 3.7 对比的基准数字和 $0.4/$2 定价，读者可以据此评估它在企业部署中的性价比。
DeepSeek API updates精选AI 评分7272 DeepSeek API 上线硬盘缓存技术，价格再降一个数量级
DeepSeek API 创新采用硬盘缓存技术，价格再降一个数量级。更新详情见官方文档 API 上线硬盘缓存，发布于 2024/08/02。
推荐理由：官方宣布 API 采用硬盘缓存并称价格再降一个数量级，读者可以据此评估调用成本的下降幅度。
Linear NowAI 评分4747 Linear 如何用 AI 检测相似 issue
Linear 将 Similar Issues 匹配功能推向全部工作空间，用 LLM 生成向量嵌入并在 issue 创建、Triage 和支持集成中提示重复或相关 issue。该功能基于 PostgreSQL 的 pgvector 存储与检索向量，按 workspace ID 分成数百个分区并分别建索引，以支撑数千万条 issue 的余弦相似度查询。