Mooncake 如何为 Miles 解决碎片化 rollout 数据传输难题
Miles 是结合 SGLang 做 rollout 生成、Megatron-LM 做训练的高性能强化学习框架，其 disaggregated 架构下 rollout 数据需从推理侧传到训练侧。
#部署/工程
#部署/工程
今日 19 条LMSYS BlogAI 评分3535
LMSYS BlogAI 评分4848 如何在 H20 上极限优化 DeepSeek-V4-Pro 推理服务
LMSYS 针对 1.6 万亿参数 MoE 模型 DeepSeek-V4-Pro，在无原生 FP4 支持的 H20 GPU 上给出场景化服务方案。
Claude Platform release notesAI 评分5555 Claude API 多项能力正式发布，新增 browser use 工具集
Claude API 的 computer use 工具以 computer_toolset_20260801 转正，去掉 beta header，支持批量动作、默认缩放和经 configs 的按成员配置，并新增由应用托管浏览器的 browser use 工具集 browser_toolset_20260801。
Cursor BlogAI 评分5555 Cursor 推出 Origin 平台并详解自研 Git 存储系统 Continuity
Cursor 推出 Git 托管平台 Origin，其底层是自研存储系统 Continuity，以 S3 中的预写日志作为唯一事实来源，在推送完全持久化前不作确认，实现所有推送线性化和读取完全一致。
LMSYS Blog精选AI 评分7070 LMSYS 发布 Miles v0.1：面向生产级 RL 后训练的全栈系统
LMSYS 与生态伙伴发布 Miles v0.1，一个基于 slime 设计的全栈生产级后训练系统，目标是让前沿规模 RL 训练更易用。
推荐理由：官方完整走读 Miles 的 RL 训练环路与关键数字，读者可据此评估它是否适合承担自己的前沿规模后训练任务。
OpenRouter Announcements精选AI 评分6262 OpenRouter 推出 Activity 仪表盘与 Analytics API，按 Agent、模型和请求分析 AI 用量
OpenRouter 发布 Activity 仪表盘和 Analytics API，可按 Agent、模型、用户和请求维度查看支出、token 用量、缓存命中率和延迟等指标。
推荐理由：原文给出仪表盘各项功能、Analytics API 端点和内部降本案例，读者可以据此评估如何排查自家 Agent 用量成本。
LMSYS BlogAI 评分4747 SGLang 中的高级 CUDA Graph 技术：Breakable CUDA Graph 与 Full CUDA Graph
SGLang 重构 CUDA Graph 支持，围绕统一的 runner/backend 接口让不同捕获策略可跨执行路径复用，并推出其原创的 Breakable CUDA Graph（BCG）服务技术。
Cursor BlogAI 评分5656 Firetiger 团队加入 Cursor
Cursor 宣布 Firetiger 团队加入。Firetiger 由 Rustam Lalkaka 和 Achille Roussel 于 2024 年创立，构建监控发布、发现回归、调查事件并将发现反馈给编程智能体的智能体。双方将打通从编写代码到生产环境运行的路径，这项投入还包括 Git forge Cursor Origin 和即将推出的 Change Monitors。
Cursor BlogAI 评分5959 Cursor 推出构建功能，云端智能体启动速度提升至 3 倍
Cursor 推出构建，即在后台预先准备好的可直接使用的开发环境副本，默认每小时创建一次，无需额外费用。智能体直接在已就绪环境中启动，Cursor 内部环境启动快 10 倍、首个 token 生成快 3 倍；构建失败时智能体回退到上一次成功构建，8 月 17 日起所有环境默认启用。
Google Developers BlogAI 评分3333 HeyGen 与 Google Cloud 将 Avatar IV 搬上 TPU
HeyGen 与 Google Cloud 合作，把其 18B 参数以上的数字人视频扩散模型 Avatar IV 移植到八芯片 Trillium（v6e）主机上，速度达到首个可用版本的 1.86 倍。
Meta Engineering精选AI 评分6262 WhatsApp 推出端侧运行的 Scam Alert 反诈骗功能
WhatsApp 推出可选功能 Scam Alert，在设备端用机器学习模型对非联系人消息做诈骗分类，消息内容不上传、不自动上报。模型版本经 Cloudflare 签名并发布到第三方 append-only 透明账本，遥测经基于 TEE 的机密联邦分析管线以差分隐私聚合方式回传，用户可在应用内查看 Scam Alert Activity 日志，功能正在 Beta 小范围推送。
推荐理由：原文给出了 Scam Alert 的端侧架构与可验证机制细节，安全研究者可以据此评估其在端到端加密下的实现。
OpenRouter Announcements精选AI 评分6565 OpenRouter 上线实时网络搜索基准：比较引擎、深度与模型的取舍
OpenRouter 发布实时网络搜索基准榜单，覆盖 BrowseComp、DeepSearchQA、WideSearch 和 HLE 四套评测，比较模型、引擎（Exa、Parallel、Perplexity 及 OpenAI、Anthropic、Google 原生搜索）、搜索方法与预算的组合。
推荐理由：原文用四套实时榜单量化搜索预算、引擎与模型对质量和成本的影响，还给出可直接套用的参数配置方法。
Mistral AI@MistralAIAI 评分5050
LMSYS Blog精选AI 评分6565 SGLang 与 Miles 为 Qwen3.8-2.4T-A95B 提供 Day-0 支持
SGLang 与 Miles 宣布 Day-0 支持 Qwen3.8-2.4T-A95B，这是千问最大的开源模型，总参数 2.4T、每 token 激活 95B，采用 69 层 GDN 线性注意力与 23 层 GQA 全注意力 3:1 交错的混合架构，MoE 含 512 专家 top-10 路由。
推荐理由：SGLang 团队详解 Qwen3.8 混合注意力架构的推理支持方案，给出内核优化、并行布局与实测吞吐数字，可作部署参考。
Mistral AIAI 评分5353 Mistral 推出区域推理端点、第三方开放模型支持与欧洲算力联盟
Mistral 宣布三项推进 AI 主权的举措：Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行；Mistral Priority Tier 进入公开预览，为关键工作负载提供自定义速率限制和 uptime SLA。
Linear Now精选AI 评分6060 Linear 官方解析 Linear Agent 的构建方法：用边界而非固定路径控制 Agent
Linear 官方详解 Linear Agent 的构建思路：不为 Agent 设计固定路径，而是通过系统提示词、工具设计、对 Linear 产品的语义建模、system skills 按需加载和自研 harness 来划定边界。
推荐理由：Linear 官方复盘 Agent 的设计取舍，涉及系统提示词、工具设计、system skills 和自研 harness，方法可迁移到类似 Agent 构建。
OpenRouter Announcements精选AI 评分6868 OpenRouter 发布基于市场消费数据的新版 Auto 路由器
OpenRouter 发布重大更新的 Auto 路由器（openrouter/auto），基于平台每周超 55T token 的真实消费数据选择模型，并已向所有用户开放。
推荐理由：基于 55T 周消费数据的市场化路由思路，附各任务基准与成本对比，读者可据此评估是否切换自己的 Auto 路由配置。
OpenRouter AnnouncementsAI 评分5656 OpenRouter 团队 AI 支出管控配置指南
OpenRouter 发布团队支出管控设置教程，按顺序配置五项控制：创建组织共享信用池、用 presets 固定各工作流的模型与提供商、通过 Management API 为每个 API key 设置 credit 上限和 daily/weekly/monthly 重置。
OpenRouter Announcements精选AI 评分6161 OpenRouter 讲解如何治理团队 AI 支出的 6 项控制
OpenRouter 官方详解治理团队 AI 支出的 6 项控制：per-key 信用限额、guardrails、workspace 预算、presets、组织角色和 Activity 仪表盘，分别覆盖花多少、花在哪和谁在花。
推荐理由：官方详解 6 项团队支出控制的功能边界和叠加规则，读者可按团队规模选择最省成本的控制组合。
Meta EngineeringAI 评分5050 Meta 发布 LLaTTE 论文：多阶段序列建模为广告排序带来 LLM 式 scaling law
Meta 工程博客介绍其广告排序的多阶段序列建模架构与论文 LLaTTE：离线用户模型异步处理数千长度序列并缓存嵌入，在线排序模型结合实时信号完成打分。
OpenRouter AnnouncementsAI 评分5959 OpenRouter 发布 ori CLI，为 Claude Code、Codex 等 harness 提供开箱即用配置
OpenRouter 发布 ori CLI，安装并登录后可自动为 Claude Code、Codex、OpenCode、Hermes 等生成适配 OpenRouter 的优化配置。
LMSYS BlogAI 评分4747 SpecForge v0.3.0 发布：统一分离式与同置式投机解码栈，并开源新 SpecBundle 草稿模型
SpecForge v0.3.0 将目标模型推理与草稿模型训练解耦，在线训练完全分离，在 8xH20 测试平台上以 3 台 SGLang 服务器加 5 个训练 worker 的拓扑，端到端训练吞吐较此前同置实现提升约 10%。
Cursor Blog精选AI 评分6666 Cursor 团队讲解如何搭建云端智能体开发环境
Cursor 团队分享如何为云端智能体搭建开发环境，让智能体能在其单体仓库中运行和测试代码。做法包括用 Dockerfile 统一 Ubuntu VM 环境、构建 anydev CLI 简化智能体操作、通过 Cursor Cloud MCP 和 Cloud Doctor 实现环境自愈与持续优化。云端智能体编写 PR 的占比从去年 12 月的约十分之一升至今日的超过一半。
推荐理由：Cursor 团队分享了自家云端智能体环境的搭建细节，含 anydev CLI 和 Cloud Doctor 等可借鉴做法。
Microsoft AI News精选AI 评分6161 Microsoft 阐述按 token 效率优化前沿性能曲线的策略并盘点 MAI Flash 模型成果
Microsoft 提出行业下一个焦点是 token 效率，主张通过联合优化模型、harness 和 RL 环境为具体产品调校模型，而非所有任务都用前沿通用模型。
推荐理由：Microsoft 官方阐述 token 效率策略，用多款 MAI Flash 模型的实际成本数据说明如何按任务匹配模型规模。
Sierra BlogAI 评分4646 Sierra 推出 Agency：为 Pinecone 和 Ghostwriter 智能体打造安全可扩展沙箱
Sierra 发布 Agency 智能体沙箱编排层，为 Pinecone 和 Ghostwriter 的每个会话与任务提供安全运行环境。Agency 基于 Kubernetes 构建，分无状态控制平面与有状态 runner 两层，每个 runner 配备 8+ 核、24GiB 内存和持久化存储，并默认不向智能体暴露任何 API key 或密钥。
LMSYS BlogAI 评分5959 RadixArk 与 Google 合作将 SGLang 完整功能带到 TPU
RadixArk 与 Google Cloud 合作，把开源推理框架 SGLang 带到 TPU。SGL-JAX 现已可用，支持 Gemma、Qwen、DeepSeek。
Berkeley AI ResearchAI 评分5353 Berkeley 团队用 K-Search 将 CUDA 内核优化经验迁移到 Apple Silicon 的 MLX
IBM Research 与 UC Berkeley Sky Lab 基于进化式内核搜索框架 K-Search 构建 MLX 后端和结构化 CUDA 到 MLX 翻译层，把既有 NVIDIA 内核经验转化为 Apple Silicon 可用的优化指导。
OpenRouter AnnouncementsAI 评分5858 OpenRouter 发布 LangChain 集成指南：用 ChatOpenRouter 接入 400+ 模型
OpenRouter 发布官方教程，介绍专用包 langchain-openrouter（PyPI）和 @langchain/openrouter（npm）在 LangChain 中接入 400+ 模型、70+ 提供商的当前做法。
LMSYS BlogAI 评分5050 Miles 实现 Blackwell 原生 MXFP8 与 NVFP4 端到端强化学习
Miles 为 MoE 专家实现了两种 Blackwell 原生 RL 方案：端到端 MXFP8 与逐 token NVFP4，覆盖 rollout、前向传播、权重梯度与数据梯度 GEMM，并支持检查点转换、Megatron 训练、SGLang rollout 与在线权重更新的细粒度精度控制。
OpenRouter AnnouncementsAI 评分5858 OpenRouter 指南：如何从延迟、吞吐和可用性评估 LLM 服务商表现
OpenRouter 发布指南，讲解如何评估同一模型在不同服务商端点的表现差异，核心指标为延迟（首 token 时间）、吞吐（输出 tokens/秒）、可用性和量化精度，并建议用 p90/p99 而非平均值读数。
LMSYS BlogAI 评分3333 SGLang 如何重构量化栈：从单一类到 Config-Method-Scheme-Kernel 四层架构
SGLang 在 issue #15194 中提出量化栈重构方案，将原本由单一类承担的量化路径拆分为 Quant Config、Linear/MoE Method、Scheme、Kernel 四层，使 checkpoint 格式解析与硬件后端执行解耦。
LMSYS Blog精选AI 评分7878 SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 和 Miles 发布对 Kimi K3 的 Day-0 支持，分别覆盖推理与 RL 训练。K3 为 2.8T 参数的 3 万亿参数级首个开源模型，采用 69 层 KDA 线性注意力与 24 层 MLA 的混合架构和 1M token 上下文窗口。
推荐理由：原文由 SGLang 团队自述 Day-0 支持的实现细节，给出内存管理、投机解码与并行策略的具体方案和实测数字，可迁移到异构注意力架构的部署。
LangChain BlogAI 评分5555 LangChain 撰文阐释企业如何"拥有自己的智能"
LangChain 发文提出未来五年企业要么用 AI 运营业务、要么把 AI 做成产品，通用智能不足以支撑差异化，企业需要"拥有自己的智能"。
OpenRouter AnnouncementsAI 评分5353 OpenRouter 推出 beta 版 Classifiers，为 AI 用量和成本自动打标
OpenRouter 推出 beta 版 Classifiers，可在每个请求完成后异步分类，为生成记录写入结构化元数据，用于 AI 用量和成本追踪。
Sierra Blog精选AI 评分6464 Sierra 复盘 MCP Gateway 建设：AI 优先工程组织的七条经验
Sierra 分享为内部 agent 搭建 MCP Gateway 的七条经验，包括抓住所有权减少协调、用 mcp-gateway.md 提升编码 agent 一次成功率、多阶段流程防止跨客户数据访问，以及优先用 gh CLI 等 agent 熟悉的工具。目前 89% 的 Sierra 员工通过它连接 45 个服务，近三分之二提交来自社区。
推荐理由：Sierra 工程师复盘 MCP Gateway 建设全程，给出协作机制、权限审计和工具取舍七条可迁移经验。
OpenRouter Announcements精选AI 评分6767 OpenRouter 推出音频转写端点 /api/v1/audio/transcriptions
OpenRouter 上线 POST /api/v1/audio/transcriptions 音频转写端点，复用 Chat Completions 的同一 API key 和鉴权。
推荐理由：官方教程给出了完整的请求参数、限制和计费细节，读者可以直接照抄接入而不必自建 Whisper 服务。
OpenRouter Announcements精选AI 评分6464 OpenRouter 解析提示词缓存与粘性路由如何降低 Agent 多轮成本
OpenRouter 发布教程讲解提示词缓存与粘性路由如何降低 Agent 多轮成本。缓存读取为输入价格的 0.1x 到 0.5x，Anthropic 缓存写入为 1.25x（5 分钟 TTL）或 2.0x（1 小时 TTL），未被复用的单次写入比不缓存更贵。
推荐理由：原文给出各厂商缓存读写倍率、session_id 粘性路由用法和缓存未命中排查方法，读者可以直接照做降低 Agent 多轮成本。
Sierra Blog精选AI 评分6464 Sierra 推出内部云 Agent 平台 Pinecone
Sierra 发布内部云 Agent 平台 Pinecone，让员工在浏览器、Slack、Linear 或手机上创建、共享和自动化云端智能体会话。每个会话约一秒内获得带代码仓库、构建缓存和开发服务的隔离环境，并提供多人协作、自动盯 PR、定时自动化、可复用 Skills 和多会话 Projects 等能力。
推荐理由：Sierra 官方复盘自研内部云 Agent 的架构与经验，读者可以从中了解企业如何沉淀员工工作智慧并组织智能体协作。
Hugging Face BlogAI 评分5858 IBM Research：模型路由看似简单，实则是系统优化问题
IBM Research 团队撰文指出，把 Agent 系统中的模型路由当作分类问题会失效，实际是成本、质量、延迟与合规并存的系统优化问题。
LMSYS Blog精选AI 评分7575 SGLang 与 Miles 为 Thinking Machines Lab 975B 多模态模型 Inkling 提供 Day-0 支持
SGLang 与 Miles 团队同 Thinking Machines Lab 合作，为 975B 参数、上下文最长 1M tokens 的多模态模型 Inkling 提供 Day-0 支持。
推荐理由：原文给出 Inkling 架构细节、SGLang 各项优化后的具体吞吐数字，以及 Miles 侧完整 RL 训练方案，工程参考价值具体。