泛化即稳定性而非准确性：LLM 的多轴评估

一项研究提出以稳定性为核心的泛化评估框架 SAGO，在单样本层面、多输入变体及多行为维度上衡量 LLM 对同一输入的行为变化，而非仅看基准准确率。结果显示，许多常用模型存在统计显著的泛化不稳定：没有模型能均匀泛化，行为轴捕捉到独立失败模式，跨数据集变化甚至可能逆转模型排名。该论文已被 NeurIPS 2026 的 TAE 研讨会接收。

VTR-Bench：视频生成中视觉文本渲染能力的系统评测基准

VTR-Bench 提出一套系统评测基准，专门评估视频生成模型的视觉文本渲染能力，包含 300 个覆盖广告、科学视频等五类场景的提示词，并开发了与人工对齐的自动化评测流程。

KaliBench：面向 Kali Linux 网络安全工具调用的细粒度基准，支持免运行时可验证奖励

KaliBench 是一个面向 Kali Linux 上自然语言到 CLI 命令转换的细粒度基准与数据集，包含 8,504 对查询-命令，覆盖 1,642 个工具、23 个能力维度和 5 个安全阶段。

Argo-Bench：评估数据智能体在企业级工作流中的表现

Argo-Bench 是一个包含 210 个数据科学与分析任务的评估框架，模拟纽约市外卖平台，导出为 235 张表、75 亿行的 ERP 仓库，智能体需先重建事实再执行封禁欺诈账号、分配骑手激励预算等操作，评分依据模拟器中的后果。14 个前沿与开源模型中最强者在仅 34.8% 的任务上得分达 95 以上，平均 59.5 分。

ROWBench：视频模型能否渲染出程序所指定的内容？

PROWBench 是一个评估视频模型对程序指定世界事件还原保真度的基准，包含 170 个程序化构建的片段和 600 段代理视频，记录实体状态与带时间戳事件（含镜头视野外事件）作为可重放世界记录。

Karina@karinanguyenAI 评分3434

一个有趣的结果：Fable 5.1 得分 44.6%，高于 Fable 5 的 37.3%，同时平均少用 33 分钟。这里的进步也意味着从每小时的自主工作中获得更多产出。 大多数智能体运行 8–10 小时，却取得显著不同的分数。下一个有趣的问题是，每多一个小时，每个智能体能获得多少提升！

dex@dexhorthyAI 评分4444

给基准测试爱好者们：一个很酷的新数据集，面向 SRE 类型的工作

Tencent Hy@TencentHunyuanAI 评分4343

腾讯混元联合复旦、清华推出 ExplorationBench，用可执行规则的 Alien Worlds 沙盒评测 AI 的探索能力，包含 AlienCode（31 条隐藏规则改动、70 个任务）和 AlienLogic（24 条修改的推理规则、70 个定理）。

让 AI 审稿人更可信：RobustReview 基准与 SciCore 审稿模型

研究者提出"修辞鲁棒性"概念，并发布 RobustReview 基准，包含 1,260 个稿件版本，评测了 30 种审稿配置，发现低改写敏感度可能与跨论文评分崩塌并存的"虚假鲁棒性"。为此提出双分支审稿模型 SciCore，将全文判断与结构化科学核心判断取平均，在 GPT-5.5 对比中取得领先的稳定性-区分度表现，同时保持有竞争力的人类对齐度。

PhysVista：通过感知-推理-评估闭环基准测试VLM的物理智能

PhysVista提出一个闭环认知框架基准，联合评估视觉语言模型的物理状态感知、物理动态推理与物理合理性判断，并区分事件级与尺度级推理。该基准同时纳入真实世界与AI生成视频，覆盖多样领域与新兴生成场景。对多种VLM的实验显示，模型在物理推理与合理性评估上存在显著局限，视觉识别与真实物理理解之间仍有明显差距。该研究被NeurIPS 2026主会议接收。

Hugging Face 发布 Open TTS Leaderboard：可扩展的多语言 TTS 与语音克隆评估

Hugging Face 推出 Open TTS Leaderboard，用客观指标评估开源多语言 TTS 和语音克隆模型。指标包括基于 Qwen3 ASR 的 WER/CER、H200 上的 RTFx 和 TTFA 流式延迟、WavLM 嵌入的说话人相似度（SIM），把评估周期从数周缩短到数小时。

MIST 测试揭示：无关图像会动摇 VLM 评判，而非提供信息

研究提出 MIST（Misleading-Image Stress Test），用 200 句可作比喻或字面理解的英文句子，分别配对齐图像、误导图像或无图像，要求仅凭句子作答。

Endless Exam：面向超级智能的数学构造基准，覆盖 14 类参数化问题族

研究者推出 Endless Exam 基准，覆盖 14 个参数化数学构造问题族，用可验证的相对质量分数衡量模型在已发表数学前沿之前与之后的进展，且不将改进上限封顶为 1。在 69 个实例上评测 9 个模型，连续质量分数能区分表现差异，但 30 个已发表前沿参考无一被超越。该基准已开源生成器、验证器、参考基线、模型回答与分析，并新增 Claude Opus 5.5 评测。

BIABench：评估 AI 智能体在真实生物图像分析任务上的表现

研究者推出 BIABench，一个由 16 项已发表生物学研究重建而成的基准，保留原始科学问题、成像数据与 ground truth，覆盖从 H&E 组织学到单分子定位显微镜的 11 类分析子任务。

Epoch AI@EpochAIResearchAI 评分4242

AI 能看出你把宜家家具装错了吗？我们的新基准——家具组装基准（FAB）——把说明书和一张组装到一半的家具照片交给模型，让它们找出错误。 最高分在短短 10 个月内从 28% 升到了 80%。

OpenAI 推出 MentalHealthBench 心理健康对话评测基准

OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。

Epoch AI@EpochAIResearchAI 评分5050

Epoch AI 推出 Benchmark Reviews，用于审计 AI 基准，首批发布 15 个基准的评审结果。其中 4 个 Verified，包括 WeirdML v2、ExploitBench v0.1、PostTrainBench v1.1 和 SimpleQA Verified；9 个 Flawed，包括 Terminal-Bench 4.0.0、SWE-Bench Verified、SWE-Bench Pro、Humanity's Last Exam、DeepSWE v1.1、TextQuests、Lech Mazur Writing、BFCL v4 和 HealthBench Professional；另有 CritPt 和 FrontierCode 因信息不足暂无法评审。

Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义

DiG-bench（Discovery in Games）发布，这是一个包含 70 款隐藏规则游戏的基准，用于测试 AI 通过探索自主发现环境规则的能力，目前公开 21 款。

Kimi.ai@Kimi_MoonshotAI 评分4040

Kimi 发布 PerceptionBench，一个将视觉感知拆解为原子能力来单独评测的基准。团队从 42 个基准上的前沿模型失败案例中归纳出 10 项原子感知能力，构建了 3,000 道经核验的题目，每题只考察单一能力，仅凭观察即可作答，无需推理或外部知识。

Sierra 发布 𝜏-voice 基准，在真实语音条件下评测实时语音 Agent

Sierra 团队推出 𝜏-voice 基准，将 𝜏-bench 的 278 个客服任务与全双工实时语音、可控真实音频结合，任务、工具和评估器与文本版逐字节一致，语音成绩可与文本 Agent 直接对比。

Sayash Kapoor 等人提出开放世界评测并发布 CRUX 项目，AI 智能体成功上架 iOS 应用

Sayash Kapoor 与 Arvind Narayanan 等 17 位研究者发布 8000 字论文，定义开放世界评测这一新兴评测类型，并介绍定期开展此类评测的 CRUX 项目。

Google Research 研究：AI 评测需要多少标注者才够？

Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的 1–5 名标注者往往不足，可靠结果常需每条目 10 名以上标注者。

Sierra 发布 𝜏³-Bench：将 Agent 基准扩展到知识库与实时语音

Sierra 发布 𝜏³-Bench，在 𝜏-Bench 基础上新增 𝜏-Knowledge 与 𝜏-Voice 两个评测域，并合入社区对原有 airline、retail、telecom 任务的修复。

Google 用高温超导研究问题测试 LLM：NotebookLM 与自建 RAG 系统表现最佳

Google 与康奈尔大学合作，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家盲评打分。NotebookLM 在多数维度表现突出，自建 RAG 系统紧随其后，两者与 Gemini 在观点平衡性和答案全面性上排名前三。

AI as Normal Technology 团队发布论文《Towards a Science of AI Agent Reliability》

Sayash Kapoor、Arvind Narayanan 与 Stephan Rabanser 等人发布 66 页论文《Towards a Science of AI Agent Reliability》，将智能体可靠性拆解为一致性、鲁棒性、可预测性、安全性四维共 12 项指标。