NVIDIA Vera Rubin NVL72 首登 MLPerf Inference v6.1，性能领先

NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首次预览提交中，Qwen3-VL 吞吐量最高达 GB300 NVL72 的 3.7 倍，DeepSeek-R1 上最高 2.5 倍。GB300 NVL72 以 288 GPU 四机架提交实现 99% 扩展效率，软件优化较 v6.0 带来最高 1.6 倍性能提升。

OpenRouter 评测 Seedance 2.5：长单镜头与视频引用场景的优势与取舍

OpenRouter 发布 Seedance 2.5 评测。该模型自 2026 年 8 月 7 日上线其视频 API，支持 4 到 30 秒、480p 或 720p、首尾帧控制及图像、视频、音频引用，音频同趟生成不加价。

jietang@jietangAI 评分1616

更新了 AA index……现在 Fable 5.1 和 GPT-astra 的……一样了……

SpaceXAI@SpaceXAIAI 评分3131

LatchBio 评估了 Grok 在生物安全监测和对抗性生物任务上的表现。 他们发现 Grok 4.6 能正确检测并拒绝危险查询，包括恶意混淆的生物任务，同时也能回答有益的科研查询。 我们在博客文章中讨论了这些结果： https://x.ai/news/biosafety-at-the-frontier

SiliconFlow@SiliconFlowAIAI 评分3434

💸$15.51 vs. $120.93。 同样的提示词。同样的 3D 游戏挑战。无需手动修改代码。 GLM-5.3 以 FABLE 5 近 1/8 的成本完成了构建！ 观看并排对比——自己判断。👇 GLM-5.3 现已上线 SiliconFlow。

Google DeepMind 试点全球首个双盲 AI 评测

Google DeepMind 于 8 月 27 日宣布试点针对专有前沿模型的首个双盲 AI 评测，将外部评测限制在密码学保护的“盒子”环境中，防止模型提前接触测试题导致分数虚高。

Karina@karinanguyenAI 评分3737

Grok 4.6 在 DiligenceBench 金融测试中以约 52–53% 位列第二，与 Claude Opus 5 基本持平，Sonnet 5 以 46.2% 落后。

Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义

DiG-bench（Discovery in Games）发布，这是一个包含 70 款隐藏规则游戏的基准，用于测试 AI 通过探索自主发现环境规则的能力，目前公开 21 款。

OpenRouter 上线实时网络搜索基准：比较引擎、深度与模型的取舍

OpenRouter 发布实时网络搜索基准榜单，覆盖 BrowseComp、DeepSearchQA、WideSearch 和 HLE 四套评测，比较模型、引擎（Exa、Parallel、Perplexity 及 OpenAI、Anthropic、Google 原生搜索）、搜索方法与预算的组合。

Kimi.ai@Kimi_MoonshotAI 评分4040

Kimi 发布 PerceptionBench，一个将视觉感知拆解为原子能力来单独评测的基准。团队从 42 个基准上的前沿模型失败案例中归纳出 10 项原子感知能力，构建了 3,000 道经核验的题目，每题只考察单一能力，仅凭观察即可作答，无需推理或外部知识。

OpenRouter 实测图像 detail 参数：推理模型用 low 更贵更差

OpenRouter 在 MMMU-Pro Vision（1,730 题）上基准测试 OpenAI 和 Google 五款模型的图像 detail 设置，发现 gpt-5.5 用 low 比 auto 低 13.8 分（65.2% vs 79.0%）且每题更贵（5.1¢ vs 4.5¢），原因是模型为看清热压缩图像多花 1.6x 推理 token。

Import AI 461：Sequent 称"对齐尚未走上正轨"、FrontierCode 与合成研究实习生

英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，认为"对齐尚未走上正轨"，计划两年内扩至 40-80 名全职员工，初期募资 1 亿至 1.5 亿美元，研究方向涵盖可扩展监督、学习理论、博弈论与 personas。

Sierra 如何评估它的 Monitors？

Sierra 详解其始终在线的评估层 Monitors 如何被评估：每个 monitor 先基于真实对话人工标注的示例定义目标行为，再由多个模型评判并与团队标签比对，分歧处回炉迭代直至模型稳定一致。

Sierra 发布 𝜏-voice 基准，在真实语音条件下评测实时语音 Agent

Sierra 团队推出 𝜏-voice 基准，将 𝜏-bench 的 278 个客服任务与全双工实时语音、可控真实音频结合，任务、工具和评估器与文本版逐字节一致，语音成绩可与文本 Agent 直接对比。

Sayash Kapoor 等人提出开放世界评测并发布 CRUX 项目，AI 智能体成功上架 iOS 应用

Sayash Kapoor 与 Arvind Narayanan 等 17 位研究者发布 8000 字论文，定义开放世界评测这一新兴评测类型，并介绍定期开展此类评测的 CRUX 项目。

Google Research 研究：AI 评测需要多少标注者才够？

Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的 1–5 名标注者往往不足，可靠结果常需每条目 10 名以上标注者。

Sierra 发布 𝜏³-Bench：将 Agent 基准扩展到知识库与实时语音

Sierra 发布 𝜏³-Bench，在 𝜏-Bench 基础上新增 𝜏-Knowledge 与 𝜏-Voice 两个评测域，并合入社区对原有 airline、retail、telecom 任务的修复。

Google 用高温超导研究问题测试 LLM：NotebookLM 与自建 RAG 系统表现最佳

Google 与康奈尔大学合作，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家盲评打分。NotebookLM 在多数维度表现突出，自建 RAG 系统紧随其后，两者与 Gemini 在观点平衡性和答案全面性上排名前三。

AI as Normal Technology 团队发布论文《Towards a Science of AI Agent Reliability》

Sayash Kapoor、Arvind Narayanan 与 Stephan Rabanser 等人发布 66 页论文《Towards a Science of AI Agent Reliability》，将智能体可靠性拆解为一致性、鲁棒性、可预测性、安全性四维共 12 项指标。

SGLang 在 NVIDIA GB300 NVL72 上实现最高 25x 推理性能提升

SGLang 团队与 NVIDIA 合作宣布，在 SemiAnalysis InferenceXv2 基准上，SGLang 运行 DeepSeek R1 在 GB300 NVL72 上相比 H200 实现最高 25x 性能提升，同时不到 4 个月内将 GB200 NVL72 上的性能提升最高 8x。