OpenRouter 教程:Prompt 或模型变更后如何对 AI Agent 做回归测试
OpenRouter 发布教程,讲解在 Prompt、模型、工具定义或检索设置变更后如何对 Agent 做回归测试:用锁定的用例集配合结构断言和硬性不变量,模型测试固定用具体 slug 而非 alias。
推荐理由:教程给出锁用例集、结构断言和固定 slug 对比的完整回归方法,并以一次实测换模型跑通说明落地方式。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
当前仅显示精选新闻OpenRouter 发布教程,讲解在 Prompt、模型、工具定义或检索设置变更后如何对 Agent 做回归测试:用锁定的用例集配合结构断言和硬性不变量,模型测试固定用具体 slug 而非 alias。
推荐理由:教程给出锁用例集、结构断言和固定 slug 对比的完整回归方法,并以一次实测换模型跑通说明落地方式。
OpenRouter 发布教程,讲解如何从生产流量构建 golden eval 数据集,用于在每次部署前检测提示词或模型变更引起的回归。内容涵盖五步流程:抽样生产流量、去重聚类、添加经审核的预期输出、首轮评估修正评分标准、纳入 Git 与 CI,建议探索性问题约 10 条、完整回归集 100 到 1,000 条,并以生产数据为基础、合成数据补足覆盖缺口。
推荐理由:原文给出从生产流量构建评测集的五步流程和规模建议,可迁移到自己的模型回归测试工作流。
OpenAI 在旧金山 DevDay 发布 25 项内容。核心包括一直在线的个人 agent Dots(向 Pro、Business Premium 开放)、人机协作空间 ChatGPT Space 与新文档类型 Pages。
推荐理由:文章按演讲顺序梳理 25 项发布的价格、规格和上线范围,读者可以据此评估 OpenAI 新工具对现有工作流的影响。
Microsoft Research 推出 Quine,一个面向生物学的多模态世界模型与交互式 harness,连接科学工具、文献和研究人员。在与 Broad Institute 合作中,Quine 用于预测可驱动胰腺癌肿瘤细胞状态转变的化合物,排名第一的候选化合物在湿实验中产生了最大的预期细胞状态转变,从缩小化合物范围到确定候选名单仅用了一个周末。
推荐理由:官方披露了系统构成和胰腺癌湿实验验证结果,读者可以据此评估AI世界模型在生物研究中的实际作用。
Anthropic 发布 Claude Sonnet 5.5,API 单价不变、生成更快,Terminal-Bench、CursorBench 成绩明显上涨。Lovable 测试中 Tool Call 减少约三分之一,Shell Run 接近减半,Base44 应用构建平均迭代从 7.7 次降到 3.6 次。
推荐理由:文章把 Lovable、Base44 的运行数据与 Agent Runtime 工程分析结合,指出 Token 之外更应关注工具边界和执行图成本。
Databricks 介绍其通过 Unity Gateway 让全体员工在 Opus 5.5、GPT-6 Sol 和 GPT-Luna 发布首日即获得实验性访问的完整流程:先用实验标签和按用户预算(月度上限、每日 runaway 限额、质量前沿预算、实验预算四类)控制风险,再依据内部基准、用户反馈和 OpenTelemetry 成本追踪评估。
推荐理由:原文给出企业内部让全体员工 Day 1 用上新模型的完整流程和成本数据,方法可迁移到类似的模型接入评估场景。
AWS 宣布 Claude Sonnet 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 可用,定位为更聪明高效、多数任务单次成本更低且速度更快的编码与知识工作模型。
推荐理由:官方介绍了 Sonnet 5.5 在 Bedrock 的能力定位、与 Opus 5.5 的分工和入门调用方式,方便评估接入路径。
Today, with over 100 industry partners, we introduced the NVIDIA Open Agent Safety Platform, bringing together OpenShell and Sentry. Artificial intelligence is extraordinary technology that will advance discovery, productivity, security, health, and prosperity for generations to come. But its full promise can only be realized when people have confidence that AI is being built to be safe and deployed with wisdom and responsibility. This is bigger than a single product. It's the beginning of an open ecosystem to build the trust layer for safe agent systems. Together, we are building the foundation of the AI economy. Trust and innovation are not in conflict. Safety is how trust is earned. We must build not only the most capable AI, but the most trusted AI, so that this extraordinary technology can realize its enormous promise for the world. https://nvda.ws/4hcoq7m
推荐理由:作者结合自身沙箱逃逸事件,拆解了 OpenShell 的隔离、令牌置换和 Z3 数学校验设计,可迁移到智能体安全部署实践。
OpenRouter 推出 Security Center,可在设置 > Security 下跨工作区查看所有 API key、识别风险 key,并支持一次最多 500 个批量禁用、归档或设置消费上限,所有套餐可用。
推荐理由:OpenRouter 以自家 85 名员工 1000 多个 key 的审计为参照,介绍了安全中心的清理建议、风险评分和批量操作方法。
Anthropic 发布 Claude Sonnet 5.5(claude-sonnet-5-5),可在 Claude API、Amazon Bedrock、Claude Platform on AWS、Google Cloud 和 Microsoft Foundry 使用。
推荐理由:官方列出了五类从 Claude Sonnet 5 升级会破坏的代码场景和迁移指引,方便开发者提前排查自己的 API 调用。
LangChain 发布教程,讲解如何将 TypeSafe 新发布的决策模型 Jev 与 LangGraph 结合构建 AI 驱动软件。
推荐理由:LangChain 官方展示了如何用决策模型 Jev 搭配 LangGraph 构建生产系统,含诉讼文档审阅等实测对比,可迁移到自身智能体架构。
inclusionAI 开源 Ling 2.0 系列首个模型 Ling-mini-2.0,总参数 16.26B、每 token 激活 1.4B(非嵌入 789M),采用 1/32 激活比 MoE 架构,称可达到 7–8B dense 模型的等效性能,在 H20 上简单 QA 场景生成速度超过 300 token/s,支持 128K 上下文(YaRN)。
推荐理由:官方发布了完整的参数配置、推理速度、训练吞吐和预训练检查点,读者可以据此评估小激活 MoE 在端侧和继续训练中的可用性。
inclusionAI 正式开源思考模型 Ring-flash-2.0,总参数 100B、每次推理仅激活 6.1B,基于 Ling-flash-2.0-base 深度优化。
推荐理由:官方发布完整披露了 icepop 算法、多阶段 RL 训练流程和部署参数,读者可以评估其推理性价比与可复现性。
inclusionAI 发布开源万亿参数思考模型 Ring-2.5-1T,采用 1:7 MLA + Lightning Linear Attention 混合线性注意力架构,激活参数从 51B 增至 63B。
推荐理由:原文给出了混合线性注意力的具体效率数字和多项基准成绩,读者可以据此评估它在长程智能体场景中的实际取舍。
inclusionAI 发布并开源 Ling-2.5-1T,总参数 1T、激活 63B,预训练语料扩至 29T tokens,经 YaRN 外推支持最长 1M tokens 上下文。
推荐理由:官方模型卡给出架构、token 效率和长上下文评测细节,可帮助读者评估这款万亿参数即时模型对现有部署工作流的适配。
inclusionAI 正式开源 instruct 模型 Ling-2.6-flash,总参数 104B、激活 7.4B,采用 1:7 MLA + Lightning Linear 混合线性注意力与高稀疏 MoE 架构。
推荐理由:官方给出架构细节、340 tokens/s 推理速度和 15M tokens 评测用量等数据,也坦承工具幻觉局限,读者可据此评估高频率 Agent 部署场景的适配度。
Anthropic 发布 Claude Opus 5.5,称典型按 token 计费工作负载运行成本比 Opus 5 低约 40%,输入输出 token 降价 20%,缓存读取降价 60%。
推荐理由:官方拆解了 Opus 5.5 降价与缓存机制如何配合长上下文编码会话,并给出可执行的成本优化习惯。
LangChain 推出 LangSmith Fine-Tuning(Public Beta)和 smithtune CLI,把 LangSmith 轨迹数据集准备、Fireworks 或 Baseten 训练、LangSmith 评估与部署整合到一条命令行流程中,目前支持 SFT。
推荐理由:官方给出内部两个 Agent 的 SFT 实测数据和完整工作流,读者可据此评估轨迹数据微调自家模型的收益与成本。
Cursor 推出 Rollouts 和 Security Reviewer 两款软件开发 Bots。
推荐理由:官方说明了两款 Bot 的具体工作机制和启用入口,读者可以对照自身部署与安全审查流程评估适用性。
文章以小米 9 月开源的 MiMo-V2.6 系列为切入点,分析大模型「斩杀线」概念,即在智能和成本两个维度都被超过的模型会失去被选择的理由。
推荐理由:文章借小米 MiMo-V2.6 梳理了智能与成本双维度的行业竞争框架,读者可以据此理解 Agent 时代效率为何成为模型竞争的新坐标。