Ling-3.0-flash 在 Blackwell 上的 batch-1 投机解码优化：单请求吞吐 2.1 倍提升
RadixArk SGLang 团队与蚂蚁 Ling 基础设施团队将 Ling-3.0-flash 在 4 张 Blackwell GPU 上的单请求解码从 288 tok/s 提升到 606 tok/s，mean TPOT 从 3.33 ms 降到 1.53 ms。
#推理
#推理
今日 0 条LMSYS BlogAI 评分5252
Microsoft AI News精选AI 评分6666 Microsoft AI 发布推理模型 MAI-Thinking-1
Microsoft AI 发布推理模型 MAI-Thinking-1，为 35B 激活、约 1T 总参数的稀疏 MoE 模型。官方称其在 SWE-Bench Pro 上与 Claude Opus 4.6 相当，AIME 2025 达 97.0%、AIME 2026 达 94.5%，盲测中人类偏好高于 Sonnet 4.6。
推荐理由：官方公布了模型规格与基准成绩，并说明不蒸馏、自建训练栈的路线，读者可据此评估中型推理模型的部署价值。
Google Research精选AI 评分6262 Google Research 提出知识剖析框架：召回而非编码是前沿 LLM 事实性的瓶颈
Google Research 发表研究，提出知识剖析（knowledge profiling）行为框架与 WikiProfile 基准（2,150 条 Wikipedia 事实，每条配 10 个任务），用于区分 LLM 事实错误的编码失败与召回失败。
推荐理由：研究把事实错误拆分为编码失败与召回失败，指出前沿模型瓶颈在召回而非存储，并量化了 thinking 的恢复作用。
Cursor Blog精选AI 评分7373 Cursor 与 SpaceXAI 联合发布 Grok 4.6，聚焦长时间运行的智能体任务
Cursor 与 SpaceXAI 发布 Grok 4.6，基于 Grok 4.5 打造，专注于长时间运行的智能体、复杂交互和视觉工作。
推荐理由：官方发布说明了训练方法与多项智能体编程基准成绩，读者可据此对比 Grok 4.5 与 GPT-5.6 Sol 的表现。
Microsoft ResearchAI 评分5454 Microsoft Research 发布 CARE-X 胸部 X 光视觉语言模型
Microsoft Research 发布研究模型 CARE-X，统一支持胸部 X 光报告生成、疾病分类、定位和校准诊断预测，基于 SigLIP2-so400M 与 Phi-4-mini-instruct (3.8B)，采用三阶段 SFT 加 DAPO 强化学习训练。
LMSYS Blog精选AI 评分7878 SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 和 Miles 发布对 Kimi K3 的 Day-0 支持，分别覆盖推理与 RL 训练。K3 为 2.8T 参数的 3 万亿参数级首个开源模型，采用 69 层 KDA 线性注意力与 24 层 MLA 的混合架构和 1M token 上下文窗口。
推荐理由：原文由 SGLang 团队自述 Day-0 支持的实现细节，给出内存管理、投机解码与并行策略的具体方案和实测数字，可迁移到异构注意力架构的部署。
Google ResearchAI 评分5757 Google Research 在 Nature 发表强化学习控制量子纠错研究，让量子计算机从错误中学习
Google Research 与 Google DeepMind 在 Nature 发表研究，用强化学习智能体根据量子纠错检测事件持续调整控制参数，在计算过程中对抗漂移，无需中断计算。
LMSYS BlogAI 评分4040 SGLang 服务 GLM-5.2 NVFP4 智能体负载：两周内达到 500 TPS
SGLang 在 8xB300（bs=1）上为 GLM-5.2 NVFP4 智能体负载实现超 500 TPS，两周内完成从 day-0 支持到 v0.5.15.post1 的优化。
LMSYS BlogAI 评分4141 SGLang 集成 DSpark：置信度驱动的变长验证投机解码
SGLang 现已支持 DSpark 投机解码，在 dense 和 sparse 模型（如 Qwen3、DeepSeek-V4）上均可用。DSpark 采用半自回归块草稿器与基于草稿模型置信度的逐请求变长验证，减少无效 token 验证。在 H200 上以 DeepSeek-V4-Flash 测试，其吞吐/延迟权衡在整个并发扫描中优于 MTP 和非投机基线。
Mistral AI精选AI 评分6464 Mistral 发布 Leanstral 1.5：6B 激活参数的开源形式化证明模型
Mistral 发布 Apache-2.0 开源的 Leanstral 1.5，总参数 119B、激活 6B，专注 Lean 4 形式化证明。模型饱和 miniF2F（验证与测试集均 100%），在 PutnamBench 解出 587/672 题，FATE-H 87%、FATE-X 34% 达到 SOTA，单题成本约 $4。
推荐理由：官方给出完整基准数据和训练细节，还展示了在 57 个真实仓库中发现 5 个未知 bug 的案例，可了解形式化验证的实际落地。
Hugging Face BlogAI 评分5656 Hugging Face 与 Cerebras 基于 Gemma 4 打造实时语音到语音演示
Hugging Face 与 Cerebras 展示了一套全开源、模块化可替换的实时语音到语音流水线，语言模型采用 Google DeepMind 的 Gemma 4 31B，在 Cerebras 上推理，语音识别用 Nvidia Parakeet，语音合成用 Alibaba Qwen3TTS。
Google ResearchAI 评分4545 Google 用冻结式多 Token 预测加速 Pixel 上的 Gemini Nano v3
Google Research 推出新架构，将多 Token 预测（MTP）头挂载到已冻结的 Gemini Nano v3 上，在 Pixel 9 上实现 50% 以上的推理加速。
LMSYS BlogAI 评分4040 SGLang-JAX 用单个 Pallas Kernel 优化 Ling-2.6-1T 的 TPU 推理
SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T，其新 Pallas kernel Fused MoE V2 将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms（降幅 53%），decode kernel 延迟从 0.249 ms 降至 0.211 ms。
LMSYS BlogAI 评分5555 Z Lab 联合 SGLang 与 Modal 发布 DFlash 投机解码模型并上线 Spec V2 引擎
Z Lab、SGLang 与 Modal 联合发布面向 Qwen 3.5 397B-A17B 的 DFlash 投机解码草拟模型，并随 SGLang 新的 Spec V2 引擎默认可用。
Claude Platform release notes精选AI 评分8080 Anthropic 发布 Claude Fable 5 与 Claude Mythos 5，默认支持 1M token 上下文
Anthropic 发布 Claude Fable 5（claude-fable-5）面向所有客户，Claude Mythos 5 面向 Project Glasswing 参与者。
推荐理由：官方发布说明完整列出两个新模型的能力参数、tokenizer 变化、API 行为改动和迁移注意事项，对计划接入或迁移的开发者有直接参考价值。
LMSYS BlogAI 评分5454 SGLang 与 Miles 为 NVIDIA Nemotron 3 Ultra 提供 Day-0 支持
SGLang 与 Miles 团队宣布 Day-0 支持 NVIDIA Nemotron 3 Ultra，一个面向长程自主智能体的开源推理模型，采用混合 Transformer-Mamba 架构的 Latent MoE，总参数 550B、激活 55B，上下文最长 1M token，支持 NVFP4 与 BF16 推理。
Microsoft AI News精选AI 评分7979 Microsoft Build 2026 发布 MAI 系列七款新模型，含首个推理模型 MAI-Thinking-1
Microsoft MAI 在 Build 2026 主题演讲中发布七款新模型，覆盖图像、语音、转录、推理和编码。
推荐理由：作者以当事方身份逐一公布七个新模型的定位、基准数字和开放渠道，读者可以对照竞品评估各自适用场景。
Microsoft AI News精选AI 评分7474 Microsoft AI 发布七款新 MAI 模型并推出 Frontier Tuning
Microsoft AI 发布七款新 MAI 模型，将上线 Foundry、OpenRouter、Fireworks 和 Baseten，并首次允许开发者自行微调模型权重。
推荐理由：官方完整说明了模型开放方式、Frontier Tuning 效率数据和医疗合作安排，读者可以据此评估其模型路线与可调性。
LMSYS BlogAI 评分5757 AMD MI355X 如何借 SGLang 与 MoRI 实现 DeepSeek-R1 分布式推理的成本竞争力
AMD 与 SGLang 团队联合优化，使 MI355X 在 DeepSeek-R1 大规模分离式推理中实现 129 tok/s/user 交互性下每百万 token $0.169 的成本，比 B200 TRT-LLM 低 5%，单 GPU 吞吐比 B200 SGLang 高 1.25 倍，结果由 SemiAnalysis 的 InferenceX 持续基准验证。
Claude Platform release notes精选AI 评分8383 Anthropic 发布 Claude Opus 4.8，默认支持 1M token 上下文窗口
Anthropic 发布 Claude Opus 4.8，为其最强模型，在 Claude API、Amazon Bedrock、Google Cloud 和 Microsoft Foundry 上默认支持 1M token 上下文窗口，最大输出 128k token。
推荐理由：原文完整列出 1M 上下文、采样参数限制和各端可用性等迁移要点，接入方可以直接对照判断升级路径。
Mistral AIAI 评分5151 Mistral 收购 Emmi AI，加码工业领域 Physics AI 基础研究
Mistral AI 宣布收购 Emmi AI，并强调将投入面向航空航天、汽车、半导体和能源等行业的基础 Physics AI 研究。文章列举了相关已发表成果，包括 2025 年 12 月发布的约 30,000 样本跨音速 3D 机翼 CFD 仿真数据集，以及 AB-UPT、GyroSwin、UPT、NeuralDEM 等神经代理模型的研究和开源仓库。
Claude Platform release notesAI 评分2828 Claude Messages API 新增 thinking_tokens 用量明细
Claude Messages API 响应新增 usage.output_tokens_details.thinking_tokens 字段，用于显示计费输出 token 中有多少来自扩展思考。流式模式下该明细仅出现在最后一个 message_delta 事件中，且无需 beta header。
Mistral AI精选AI 评分6969 Mistral 发布 Mistral Medium 3.5 并在 Vibe 和 Le Chat 推出云端远程智能体
Mistral 发布 Mistral Medium 3.5，一个 128B 稠密开源权重模型（modified MIT 许可），256k 上下文窗口，SWE-Bench Verified 得分 77.6%，τ³-Telecom 得分 91.4，自托管最少只需四块 GPU，API 定价每百万输入 token $1.5、输出 token $7.5。
推荐理由：官方同步发布模型与云端异步智能体，给出基准分数、定价和开源权重，可对照评估其编码与长程任务能力。
Claude Platform release notesAI 评分2929 Claude Opus 4.7 快速模式开启研究预览
Claude Opus 4.7 现已支持快速模式（研究预览），可通过设置 speed: "fast"、model: "claude-opus-4-7" 并搭配 fast-mode-2026-02-01 beta header 使用，以显著更快的输出 token 生成速度换取溢价定价。其定价、速率限制和访问权限与 Opus 4.6 快速模式相同，感兴趣的客户需加入等待列表。
Berkeley AI ResearchAI 评分3737 自适应并行推理：高效推理扩展的下一个范式
一篇综述分析了并行推理领域的最新进展，重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章梳理了从自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS 到 ParaThinker、GroupThink、Hogwild! Inference 等方法，指出多数方法仍由外部强加并行结构，而不同问题需要不同并行度。
LMSYS Blog精选AI 评分7373 SGLang 与 Miles 实现 DeepSeek-V4 (1.6T Pro, 284B Flash) Day-0 推理与 RL 训练支持
SGLang 与 Miles 团队宣布在发布当天为 DeepSeek-V4 (1.6T Pro, 284B Flash) 提供推理与 RL 训练的开源支持，针对其混合稀疏注意力、mHC 和 FP4 专家权重架构做了专项适配。
推荐理由：原文给出 ShadowRadix、HiSparse 等具体优化机制和基准数字，读者可以了解混合稀疏注意力架构对推理与 RL 训练系统的实际工程要求。
Google ResearchAI 评分5959 Google Research 发布 ReasoningBank：让 Agent 从成功与失败经验中学习
Google Research 在 ICLR 论文中提出 Agent 记忆框架 ReasoningBank，从成功和失败经验中蒸馏可迁移的推理记忆用于测试时自进化，代码已在 GitHub 开放。
Claude Platform release notes精选AI 评分8484 Anthropic 发布 Claude Opus 4.7，维持 $5/$25 定价并引入 task budgets 与高分辨率图像输入
Anthropic 发布 Claude Opus 4.7，定位复杂推理与智能体编码，定价维持 $5/$25 per MTok，与 Opus 4.6 相比存在 API 破坏性变更并需参考迁移指南。
推荐理由：原文列出定价、API 破坏性变更、task budgets 与高分辨率图像等具体变化，升级前可据此排查迁移成本。
Google ResearchAI 评分4646 Google Research 推出 TurboQuant：用极致压缩重新定义 AI 效率
Google Research 发布压缩算法 TurboQuant，可在零精度损失下大幅压缩模型，兼顾 KV cache 压缩与向量搜索，将亮相 ICLR 2026。
Mistral AI精选AI 评分6969 Mistral 发布 Mistral Small 4：统一推理、多模态与智能体编码的开源模型
Mistral 发布 Mistral Small 4，将 Magistral 的推理、Pixtral 的多模态与 Devstral 的智能体编码能力统一到单一开源模型，采用 Apache 2.0 许可证。
推荐理由：官方公布了架构参数、reasoning_effort 用法和与 GPT-OSS 120B 的效率对比，可据此评估其开源部署价值。
Mistral AIAI 评分5959 Mistral 发布开源 Lean 4 证明智能体 Leanstral
Mistral 发布 Leanstral，称其为首个面向 Lean 4 的开源代码智能体，权重以 Apache 2.0 许可开放，采用 120B-A6B 稀疏架构，并可通过 Mistral Vibe 和 labs-leanstral-2603 API 端点使用。
LMSYS Blog精选AI 评分6161 SGLang 支持 NVIDIA Nemotron 3 Super，面向高效多智能体系统
SGLang 宣布 Day 0 支持 NVIDIA Nemotron 3 Super。该模型为 120B 参数混合 MoE，每次前向仅激活 12B 参数，采用混合 Transformer-Mamba 架构，支持 1M token 上下文、多 token 预测和思考预算，相比上一代 Nemotron Super 1.5 吞吐提升至 5 倍。
推荐理由：原文给出模型架构、吞吐与准确率对比和 SGLang 部署命令，读者可以据此评估在多智能体工作流中的实际可用性。
LMSYS BlogAI 评分5252 SGLang 在 NVIDIA GB300 NVL72 上实现最高 25x 推理性能提升
SGLang 团队与 NVIDIA 合作宣布，在 SemiAnalysis InferenceXv2 基准上，SGLang 运行 DeepSeek R1 在 GB300 NVL72 上相比 H200 实现最高 25x 性能提升，同时不到 4 个月内将 GB200 NVL72 上的性能提升最高 8x。
LMSYS BlogAI 评分4040 在 GB300 NVL72 上部署 DeepSeek：长上下文推理大幅提速
SGLang 在 GB300 NVL72 上部署 DeepSeek R1-NVFP4，128K/8K 长上下文场景下实现 226.2 TPS/GPU，较 GB200 提升 1.53X；相同吞吐下 MTP 使用户吞吐再提升 1.87X。
LMSYS Blog精选AI 评分6262 LMSYS 发布 Mini-SGLang：5k 行代码的高性能 LLM 推理引擎
LMSYS 推出源自 SGLang 的轻量级推理框架 Mini-SGLang，代码仅 5k 行 Python，保留 Radix Attention、Chunked Prefill、Overlap Scheduling、Tensor Parallelism 等核心优化，并提供 OpenAI 兼容 API 和开箱即用的 Llama-3、Qwen-3 支持。
推荐理由：官方介绍这款仅 5k 行代码的推理引擎保留了哪些关键优化，以及如何用它学习和做研究原型。
Mistral AI精选AI 评分7777 Mistral 发布 Mistral 3 系列模型，含 Mistral Large 3 与 Ministral 3，均以 Apache 2.0 开源
Mistral 发布新一代模型系列 Mistral 3，包括 14B/8B/3B 的 Ministral 3 小模型和 sparse MoE 架构的 Mistral Large 3（41B 激活、675B 总参数），全部以 Apache 2.0 许可开源，提供 base、instruct 和 reasoning 变体。
推荐理由：官方公布完整模型规格、开源许可和部署路径，读者可据此评估在自建或端侧场景的可用性。
DeepSeek API updates精选AI 评分6969 DeepSeek-V3.2-Speciale 开放非正式 API 访问，截止 2025-12-15
DeepSeek 非正式部署 DeepSeek-V3.2-Speciale API 服务，用户通过 base_url="https://api.deepseek.com/v3.2_speciale_expires_on_20251215" 访问。价格不变，仅支持思考模式下的对话功能，不支持工具调用，最大输出长度默认 128K，支持至北京时间 2025-12-15 23:59。
推荐理由：原文给出了非正式部署的访问方式和明确截止时间，用户可以据此判断是否短期试用这个思考模式模型。
Mistral AIAI 评分5656 Mistral AI 宣布在德国扩展业务并与 SAP、Helsing 达成合作
Mistral AI 宣布通过多项长期战略承诺扩展在德国的业务。其中与 SAP 建立多年期合作，将 Mistral 模型集成到 SAP AI Foundation，为德国和欧洲提供完全主权 AI 堆栈并共同开发面向复杂行业和行政机构的行业解决方案；与 Helsing 加速开发面向国防和安全应用的视觉-语言-动作模型。Mistral 还计划大幅增加德国本地团队，并在未来几个月开设德国办公室。
DeepSeek API updates精选AI 评分7171 DeepSeek API 的 deepseek-chat 与 deepseek-reasoner 升级为 DeepSeek-V3.2-Exp
deepseek-chat 和 deepseek-reasoner 均已升级为 DeepSeek-V3.2-Exp。deepseek-chat 对应该模型非思考模式，deepseek-reasoner 对应思考模式，详细更新内容需参阅官方文档。
推荐理由：官方说明两个 API 端点均已切换至新实验版模型，读后可据此确认调用行为是否受影响。
Linear NowAI 评分5050 Linear 如何构建 Triage Intelligence
Linear 复盘上月推出的 Triage Intelligence 的构建过程，该功能用搜索、排序和 LLM 推理为新 issue 标记重复、关联相关 issue，并推荐标签或负责人等属性。