SGLang 如何重构量化栈：从单一类到 Config-Method-Scheme-Kernel 四层架构
SGLang 在 issue #15194 中提出量化栈重构方案，将原本由单一类承担的量化路径拆分为 Quant Config、Linear/MoE Method、Scheme、Kernel 四层，使 checkpoint 格式解析与硬件后端执行解耦。
全部AI 动态
全部动态
今日 18 条LMSYS BlogAI 评分3333
OpenRouter AnnouncementsAI 评分5757 OpenRouter 图像生成教程：如何选模型并排查报错
OpenRouter 发布图像生成教程，讲解如何为 POST /api/v1/images 选择模型并修复常见 API 报错。选型建议按任务（文生图、参考图编辑、矢量输出、可读文字）、参数支持、价格依次决定；GET /api/v1/images/models 列出各模型的 supported_parameters。
Sierra Blog精选AI 评分6464 Sierra 复盘 MCP Gateway 建设：AI 优先工程组织的七条经验
Sierra 分享为内部 agent 搭建 MCP Gateway 的七条经验，包括抓住所有权减少协调、用 mcp-gateway.md 提升编码 agent 一次成功率、多阶段流程防止跨客户数据访问，以及优先用 gh CLI 等 agent 熟悉的工具。目前 89% 的 Sierra 员工通过它连接 45 个服务，近三分之二提交来自社区。
推荐理由：Sierra 工程师复盘 MCP Gateway 建设全程，给出协作机制、权限审计和工具取舍七条可迁移经验。
OpenRouter Announcements精选AI 评分6464 OpenRouter 解析提示词缓存与粘性路由如何降低 Agent 多轮成本
OpenRouter 发布教程讲解提示词缓存与粘性路由如何降低 Agent 多轮成本。缓存读取为输入价格的 0.1x 到 0.5x，Anthropic 缓存写入为 1.25x（5 分钟 TTL）或 2.0x（1 小时 TTL），未被复用的单次写入比不缓存更贵。
推荐理由：原文给出各厂商缓存读写倍率、session_id 粘性路由用法和缓存未命中排查方法，读者可以直接照做降低 Agent 多轮成本。
Hugging Face BlogAI 评分5858 IBM Research：模型路由看似简单，实则是系统优化问题
IBM Research 团队撰文指出，把 Agent 系统中的模型路由当作分类问题会失效，实际是成本、质量、延迟与合规并存的系统优化问题。
LMSYS BlogAI 评分4040 SGLang 服务 GLM-5.2 NVFP4 智能体负载：两周内达到 500 TPS
SGLang 在 8xB300（bs=1）上为 GLM-5.2 NVFP4 智能体负载实现超 500 TPS，两周内完成从 day-0 支持到 v0.5.15.post1 的优化。
Runway NewsAI 评分5252 Runway 开源 Rust 媒体解码器 AVTensor，训练 MFU 提升 1.8 个百分点
Runway 开源 AVTensor，一个直接调用 FFmpeg C API 的 Rust 媒体解码器，单次 demux 同时解码音频与视频并共享时间原点，解决了 torchcodec 与 torchaudio 在负 PTS 资产上时间零点不一致导致的音画失步问题。
Hugging Face BlogAI 评分5656 Hugging Face 发布 PyTorch Profiling 系列第三篇：用 profiler 解读 attention 各后端
Hugging Face 博客发布 Profiling in PyTorch 系列第三篇，在 NVIDIA A100 上用 profiler 对比手写 attention 与 SDPA 的 math、efficient、flash、cuDNN 后端。
OpenRouter Announcements精选AI 评分7171 OpenRouter 实测图像 detail 参数：推理模型用 low 更贵更差
OpenRouter 在 MMMU-Pro Vision（1,730 题）上基准测试 OpenAI 和 Google 五款模型的图像 detail 设置，发现 gpt-5.5 用 low 比 auto 低 13.8 分（65.2% vs 79.0%）且每题更贵（5.1¢ vs 4.5¢），原因是模型为看清热压缩图像多花 1.6x 推理 token。
推荐理由：基于 MMMU-Pro Vision 实测五款模型，给出推理模型保持 auto 细节、改调 reasoning effort 省钱的可操作结论。
Hugging Face BlogAI 评分4343 PRX Part 4：我们的数据策略
PRX 系列第 4 篇披露其数据策略：预训练数据由公开与内部数据集混合组成，用 VLM 重新生成图像长描述，再转为可流式训练的语料。团队改用 Qwen3-VL 在训练中实时计算文本 latent，实测吞吐仅损失约 3–4%（30 天训练多约 1 天），图像统一以 JPEG quality 92 编码。
Runway NewsAI 评分3838 Runway 如何回收夜间闲置推理 GPU 用于研究
Runway 构建了名为 deckard 的容量控制器，在生产与研究集群间重新分配 GPU：白天跟随推理需求扩缩，夜间把闲置算力借给研究，并在早高峰前归还。该控制器按五个时间窗口执行预计算调度，将工作日 8:30–12:30 ET 划为高峰子窗口，并基于排队论按 p98 延迟目标确定 GPU 数量。由于跨集群迁移节点需 20 到 60 分钟，控制器会提前预测需求波峰并预先移动容量。
LMSYS BlogAI 评分5555 SGLang 团队探索 Agent 辅助开发：用 SKILL.md 和 SOTA 循环编码工程流程
SGLang 团队将 CUDA 崩溃调试、diffusion 模型接入、性能 profile、生产事故分诊等开发流程封装为可执行的 SKILL.md 技能，并构建基于 Humanize/RLCR 的 SOTA Performance Loop。
LMSYS BlogAI 评分4646 SGLang 用 Waterfill 与 LPLB 改进 DeepEP MoE 负载均衡
SGLang 为 DeepEP MoE 推理引入两种调度期负载均衡方案：面向共享专家的 Waterfill 和基于线性规划、针对冗余专家副本的 LPLB。
LMSYS BlogAI 评分4040 SGLang-JAX 用单个 Pallas Kernel 优化 Ling-2.6-1T 的 TPU 推理
SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T，其新 Pallas kernel Fused MoE V2 将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms（降幅 53%），decode kernel 延迟从 0.249 ms 降至 0.211 ms。
Linear NowAI 评分5454 Linear 工程师复盘如何让 Linear Agent 自动修复 bug
Linear 工程师分享用 Linear Agent 自动修复进入 triage 的 bug 的经验。通过 Datadog 监控发现死 feature flag（任务形状固定，几乎每次一次修复成功）和失败的后台任务（失败率超 0.2% 时建 issue，约三分之一修复命中），并加入门控让 agent 先证明理解问题以节省 token。
Linear NowAI 评分5050 Linear 如何用 Diffs 在智能体时代做代码审查
Linear 推出 Diffs 功能，用于应对智能体生成代码带来的审查压力：2026 年 1 月至 3 月，其团队新建 issue 与合并 PR 数量均上升 50%。该功能把审查集中到 Linear 内，支持一键查看代码变更背后的客户反馈或 bug 报告，并将改动分组为可读的叙事块，作者可直接在 Linear 中用智能体处理评论。
Suno BlogAI 评分4545 Suno Voices 使用指南：6 个技巧打造更具表现力的人声
Suno 发布 Voices 功能使用指南，给出 6 个提升人声表现力的技巧：在安静环境录制、提前练习、不必追求完美、尽量录长（建议至少 1 分钟）、让声音匹配曲风、大胆尝试意外风格。Voices 已在 Web、iOS 和 Android 上线，可免费试用，付费方案提供更多功能。
LMSYS BlogAI 评分4646 异构 CPU + GPU EPD 分离加速 VLM 服务：Dynamo 与 SGLang 实现
Dynamo 与 SGLang 通过设备感知加权路由实现异构 Encode-Prefill-Decode（EPD）分离，将 VLM 的视觉编码任务卸载到 CPU。在 Qwen3-VL-8B-Instruct 上，该方案相比纯 GPU EPD 在 QPS 1-2 负载下取得约 1.2x-1.3x 的 P99 TTFT 与请求吞吐提升，P99 TPOT 降低约 1.3x-30x。
Sierra Blog精选AI 评分6868 Sierra 工程师复盘如何独自用 AI 编码智能体在 4 个月内完成产品本地化
Sierra 工程师 Stephen Burgess 复盘用 AI 编码智能体独自完成产品本地化，耗时不到 4 个月，而他在 Slack 参与的同类项目需 10 人团队 9 到 12 个月。他经历 IDE 智能体、云端智能体、批量调用 Claude 脚本三轮迭代，并发现技能文档过长会超出上下文窗口反而推高错误率，最终把工作重心从执行迁移转向设计反馈循环。
推荐理由：作者复盘个人用 AI 编码智能体完成本地化的完整工作流，提炼出批处理脚本、反馈循环与上下文管理等可迁移方法。
Dwarkesh PatelAI 评分5252 Dwarkesh 对谈 MatX CEO Reiner Pope：从逻辑门理解芯片设计
Dwarkesh Patel 发布与 MatX CEO Reiner Pope 的黑板讲解访谈，从逻辑门出发逐层构建出乘加电路、脉动阵列、时钟流水线和 FPGA 的 LUT 原理，并解释 GPU、TPU、FPGA 与人脑的设计差异。
Sierra BlogAI 评分3434 Sierra 详解语音 AI 转录平台：多提供商集成与上下文感知如何降低错误率
Sierra 构建了一套语音转录平台，通过并行调用多个转录提供商进行集成、注入对话上下文，并支持 70+ 种语言，以解决姓名拼写歧义、行业术语识别等难题。其内部基准显示，集成方案平均将话语错误率降低约 25%，在部分语言中最高降低 37%；上下文感知转录使金融服务智能体的输入验证率提升超 25%，整体问题解决率最高提升 1%，重大转录错误减少最多 15%。
Runway NewsAI 评分5050 Runway 工程实践：为什么分布式训练很难，DTensor 的正确性与抽象代价
Runway 工程团队通过一个三行模块的四种并行尝试，展示手工分布式训练中梯度易出静默错误的根因，并说明 PyTorch DTensor 如何用 placement 元数据自动插入正确的 collective 来保证正确性。
Runway NewsAI 评分5959 Runway 开源 confingy：用 Python 替代 YAML 配置 ML 系统
Runway 发布开源 Python 库 confingy 并已上架 PyPI，用于配置 ML 系统，内部已将全部 YAML 配置迁移过去。
Sierra BlogAI 评分4545 Sierra 谈上下文工程：打造优秀 AI 智能体的关键
Sierra 提出"上下文工程"是构建复杂 AI 智能体的核心，即决定智能体在每个时刻能访问哪些信息、何时使用。其平台通过渐进式披露机制，仅在条件满足时向智能体提供最少且最相关的信息，避免无关 token 分散模型注意力。
Runway NewsAI 评分4141 Runway 如何用 GPU 点对点广播将模型冷启动提速 60 倍
Runway 构建了 NCCLBack 系统，让新 GPU worker 直接从已加载权重的对等节点通过 GPU 互联接收权重，而非从云存储重复下载，将模型冷启动时间从数分钟缩短到数秒，冷启动时间不再随集群规模线性增长。该系统基于 NCCL broadcast 原语，配合 Redis 队列做节点发现，并包含传输与完整性校验层。
LMSYS BlogAI 评分4545 SGLang 用 RDMA P2P 实现 1T 参数秒级权重传输，Kimi-K2 提速 7 倍
SGLang 为 RL 工作负载引入基于 RDMA 的 P2P 权重更新机制，通过 Mooncake TransferEngine 传输，将 1T 参数 Kimi-K2 的权重传输从 53 秒缩短至 7.2 秒，提速 7 倍，代价是每个训练 rank 额外占用 32G CPU 内存的推理引擎副本。
Runway NewsAI 评分4242 Runway 如何用 Kueue 管理研究算力，GPU 利用率提升超 20 个百分点
Runway 将 Kueue 作为 Kubernetes 准入控制器管理多团队共享的 GPU 集群，在保证团队预留容量的同时把 GPU 利用率提升超过 20 个百分点。
Linear NowAI 评分4242 Linear 推出更平静的界面改版：减少图标、弱化侧边栏、软化分隔线
Linear 发布视觉界面改版，通过调暗导航侧边栏、压缩顶部标签、减少图标使用并软化边框对比，让主内容区更突出。改版借助内置 dev toolbar 一键切换 feature flags 对比新旧版本，并用 Claude Code 在数小时内构建出可调 hue、chroma、lightness 的颜色工具，其 token 值以 JSON 导入 Figma。
Mistral AI精选AI 评分6363 Mistral 基于 Vibe 构建自动编写 Rails RSpec 测试的智能体
Mistral 构建了一个自主智能体，读取 Rails 源码并生成或改进 RSpec 测试，在 CI/CD 流水线中无人干预运行，基于开源编码助手 Vibe 搭建，通过 AGENTS.md、分类 skills 文件和 RuboCop、SimpleCov 自定义工具实现。
推荐理由：原文完整给出了用 Vibe 搭建 Rails 测试智能体的方法，AGENTS.md、skills 和自纠工具的做法可迁移复用。
LMSYS BlogAI 评分4040 在 GB300 NVL72 上部署 DeepSeek：长上下文推理大幅提速
SGLang 在 GB300 NVL72 上部署 DeepSeek R1-NVFP4，128K/8K 长上下文场景下实现 226.2 TPS/GPU，较 GB200 提升 1.53X；相同吞吐下 MTP 使用户吞吐再提升 1.87X。
LMSYS BlogAI 评分4747 SGLang-Diffusion 如何为生产级视频生成做深度优化
SGLang-Diffusion 公布面向生产级视频生成的进阶优化，覆盖并行策略、VAE、服务稳定性与 I/O。序列并行从帧级改为 token 级分片，在 8×H100 上把填充开销从 3 帧（14.3%）降到 0，all-to-all 通信量降至 0.875×。同时为 Wan-VAE 实现按高度分片的并行编解码，并修复 Cache-DiT 在多请求服务下的缓存污染与崩溃问题。
Sierra BlogAI 评分4343 Sierra 如何在不改变 Agent 行为的前提下稳定服务 LLM
Sierra 构建了 Multi-Model Router（MMR）与拥塞感知的 provider 选择器两层基础设施，在 provider 出现限流或容量波动时保持 Agent 行为一致。
LMSYS BlogAI 评分4141 千问（Qwen）与 AMD 在 MI300X 上优化 Qwen3 与 Qwen3-VL 推理延迟
千问 C 端基础设施工程团队与 AMD AI 框架团队基于 SGLang，在 AMD Instinct MI300X 系列 GPU 上对 Qwen3-235B 和 Qwen3-VL-235B 完成极端延迟优化。
LMSYS BlogAI 评分4646 SGLang RL 团队实现 INT4 QAT 端到端训练：1TB 模型单卡 H200 部署
SGLang RL 团队联合 InfiXAI、蚂蚁集团等团队，在 slime 框架上落地了 INT4 QAT 端到端方案，训练用 fake quantization、推理用 W4A16，实现与 BF16 全精度相当的训练-推理一致性。
Mistral AIAI 评分5656 Mistral AI 深入排查 vLLM 内存泄漏，定位到 UCX 的 mmap 钩子机制
Mistral AI 团队在预生产测试中发现，使用 vLLM 部署 Mistral Medium 3.1 并开启 graph compilation 的 Prefill/Decode 分离式推理下，系统内存以每分钟 400 MB 的速度线性增长，最终导致 out of memory。
LMSYS BlogAI 评分5050 Novita AI 为 GLM4-MoE 打造 SGLang 生产优化：TTFT 降低 65%
Novita AI 基于 SGLang 为 GLM4-MoE 推出一套生产级推理优化方案，通过 Shared Experts Fusion 与 Suffix Decoding 等技术，在 H200 集群 TP8、FP8 配置下将 TTFT 最多降低 65%，智能体编程负载下 TPOT 改善 22%。
LMSYS BlogAI 评分4848 SGLang 流水线并行如何扩展至百万级 Token 上下文
SGLang 推出高度优化的流水线并行（PP）实现，融合分块流水线并行、异步 P2P 通信与动态分块机制，专为超长上下文推理设计。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1、分块预填充设为 12K 时，预填充吞吐达 TP8 的 3.31 倍，比 TP32 方案高出 30.5%，同时 TTFT 最多降低 67.9%，强扩展效率保持 82.8%。
LMSYS BlogAI 评分5050 SGLang 推出 EPD 分离架构：面向视觉语言模型的弹性编码器扩展
SGLang 推出 Encoder-Prefill-Decode（EPD）分离架构，将视觉编码从语言处理中拆出，编码器服务器可独立横向扩展，并兼容现有 PD 分离形成三层架构。
Linear NowAI 评分3636 Linear 客户体验团队如何在 Linear 中工作
Linear 客户体验团队将 Intercom、Slack、X、Reddit 等渠道的客户反馈通过 Linear-Intercom 集成和 Linear Asks 模板转为 Linear issue，分别进入工程与产品 triage 队列。
Linear NowAI 评分3838 Linear 如何用持续规划重塑产品团队的工作流
Linear 推出持续规划（continuous planning）流程，让产品团队在想法到来时即整理为候选项目，而非每季度面对空白页重新规划。2025 年起该流程引入 AI 维护项目，智能分诊建议可识别新需求是否与现有 issue 重复或归属同一项目。