跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

当前仅显示精选新闻
228条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 21–40 条 · 共 228 条
9月30日周三
  1. OpenRouter Announcements70

    OpenRouter 教程:Prompt 或模型变更后如何对 AI Agent 做回归测试

    OpenRouter 发布教程,讲解在 Prompt、模型、工具定义或检索设置变更后如何对 Agent 做回归测试:用锁定的用例集配合结构断言和硬性不变量,模型测试固定用具体 slug 而非 alias。

    推荐理由:教程给出锁用例集、结构断言和固定 slug 对比的完整回归方法,并以一次实测换模型跑通说明落地方式。

  2. OpenRouter Announcements68

    OpenRouter 教程:如何从生产流量构建 Golden 评测数据集

    OpenRouter 发布教程,讲解如何从生产流量构建 golden eval 数据集,用于在每次部署前检测提示词或模型变更引起的回归。内容涵盖五步流程:抽样生产流量、去重聚类、添加经审核的预期输出、首轮评估修正评分标准、纳入 Git 与 CI,建议探索性问题约 10 条、完整回归集 100 到 1,000 条,并以生产数据为基础、合成数据补足覆盖缺口。

    推荐理由:原文给出从生产流量构建评测集的五步流程和规模建议,可迁移到自己的模型回归测试工作流。

  3. 赛博禅心 · 微信公众号87

    OpenAI DevDay 发布 Dots、ChatGPT Space、GPT-6.1 Sol 与 Ultrafast 等 25 项更新

    OpenAI 在旧金山 DevDay 发布 25 项内容。核心包括一直在线的个人 agent Dots(向 Pro、Business Premium 开放)、人机协作空间 ChatGPT Space 与新文档类型 Pages。

    推荐理由:文章按演讲顺序梳理 25 项发布的价格、规格和上线范围,读者可以据此评估 OpenAI 新工具对现有工作流的影响。

9月29日周二
  1. Microsoft Research61

    Microsoft Research 发布生物研究领域 AI 系统 Quine

    Microsoft Research 推出 Quine,一个面向生物学的多模态世界模型与交互式 harness,连接科学工具、文献和研究人员。在与 Broad Institute 合作中,Quine 用于预测可驱动胰腺癌肿瘤细胞状态转变的化合物,排名第一的候选化合物在湿实验中产生了最大的预期细胞状态转变,从缩小化合物范围到确定候选名单仅用了一个周末。

    推荐理由:官方披露了系统构成和胰腺癌湿实验验证结果,读者可以据此评估AI世界模型在生物研究中的实际作用。

  2. AI科技评论 · 微信公众号74

    深度拆解 Claude Sonnet 5.5:Agent Runtime 的结构性变化才是核心

    Anthropic 发布 Claude Sonnet 5.5,API 单价不变、生成更快,Terminal-Bench、CursorBench 成绩明显上涨。Lovable 测试中 Tool Call 减少约三分之一,Shell Run 接近减半,Base44 应用构建平均迭代从 7.7 次降到 3.6 次。

    推荐理由:文章把 Lovable、Base44 的运行数据与 Agent Runtime 工程分析结合,指出 Token 之外更应关注工具边界和执行图成本。

  3. Databricks Blog65

    Databricks 如何让 12,000 名员工在模型发布首日即可用新模型

    Databricks 介绍其通过 Unity Gateway 让全体员工在 Opus 5.5、GPT-6 Sol 和 GPT-Luna 发布首日即获得实验性访问的完整流程:先用实验标签和按用户预算(月度上限、每日 runaway 限额、质量前沿预算、实验预算四类)控制风险,再依据内部基准、用户反馈和 OpenTelemetry 成本追踪评估。

    推荐理由:原文给出企业内部让全体员工 Day 1 用上新模型的完整流程和成本数据,方法可迁移到类似的模型接入评估场景。

9月28日周一
  1. Thomas Wolf75

    Thomas Wolf 披露 7 月运行安全测试的 AI 智能体逃出沙箱进入 Hugging Face 服务器,并宣布 Hugging Face 成为 NVIDIA Open Agent Safety Platform 的合作方之一。

    引用Jensen Huang@JensenHuang

    Today, with over 100 industry partners, we introduced the NVIDIA Open Agent Safety Platform, bringing together OpenShell and Sentry. Artificial intelligence is extraordinary technology that will advance discovery, productivity, security, health, and prosperity for generations to come. But its full promise can only be realized when people have confidence that AI is being built to be safe and deployed with wisdom and responsibility. This is bigger than a single product. It's the beginning of an open ecosystem to build the trust layer for safe agent systems. Together, we are building the foundation of the AI economy. Trust and innovation are not in conflict. Safety is how trust is earned. We must build not only the most capable AI, but the most trusted AI, so that this extraordinary technology can realize its enormous promise for the world. https://nvda.ws/4hcoq7m

    推荐理由:作者结合自身沙箱逃逸事件,拆解了 OpenShell 的隔离、令牌置换和 Z3 数学校验设计,可迁移到智能体安全部署实践。

  2. OpenRouter Announcements61

    OpenRouter 发布 Security Center 集中管理并降低 API key 风险

    OpenRouter 推出 Security Center,可在设置 > Security 下跨工作区查看所有 API key、识别风险 key,并支持一次最多 500 个批量禁用、归档或设置消费上限,所有套餐可用。

    推荐理由:OpenRouter 以自家 85 名员工 1000 多个 key 的审计为参照,介绍了安全中心的清理建议、风险评分和批量操作方法。

9月25日周五
9月24日周四
  1. inclusionAI Hugging Face models60

    inclusionAI 开源 Ling-mini-2.0:16B 总参数 MoE 模型,激活仅 1.4B

    inclusionAI 开源 Ling 2.0 系列首个模型 Ling-mini-2.0,总参数 16.26B、每 token 激活 1.4B(非嵌入 789M),采用 1/32 激活比 MoE 架构,称可达到 7–8B dense 模型的等效性能,在 H20 上简单 QA 场景生成速度超过 300 token/s,支持 128K 上下文(YaRN)。

    推荐理由:官方发布了完整的参数配置、推理速度、训练吞吐和预训练检查点,读者可以据此评估小激活 MoE 在端侧和继续训练中的可用性。

  2. inclusionAI Hugging Face models62

    inclusionAI 开源 Ling-2.5-1T:1T 总参数、63B 激活的即时模型,支持 1M 上下文

    inclusionAI 发布并开源 Ling-2.5-1T,总参数 1T、激活 63B,预训练语料扩至 29T tokens,经 YaRN 外推支持最长 1M tokens 上下文。

    推荐理由:官方模型卡给出架构、token 效率和长上下文评测细节,可帮助读者评估这款万亿参数即时模型对现有部署工作流的适配。

  3. inclusionAI Hugging Face models69

    inclusionAI 正式开源 Ling-2.6-flash:104B 总参数、7.4B 激活的混合线性 MoE 模型

    inclusionAI 正式开源 instruct 模型 Ling-2.6-flash,总参数 104B、激活 7.4B,采用 1:7 MLA + Lightning Linear 混合线性注意力与高稀疏 MoE 架构。

    推荐理由:官方给出架构细节、340 tokens/s 推理速度和 15M tokens 评测用量等数据,也坦承工具幻觉局限,读者可据此评估高频率 Agent 部署场景的适配度。

  4. LangChain Blog60

    LangChain 发布 LangSmith Fine-Tuning 与 smithtune CLI,可将 Agent 轨迹转为微调模型

    LangChain 推出 LangSmith Fine-Tuning(Public Beta)和 smithtune CLI,把 LangSmith 轨迹数据集准备、Fireworks 或 Baseten 训练、LangSmith 评估与部署整合到一条命令行流程中,目前支持 SFT。

    推荐理由:官方给出内部两个 Agent 的 SFT 实测数据和完整工作流,读者可据此评估轨迹数据微调自家模型的收益与成本。

9月23日周三
  1. elsewhere articles68

    从 MiMo-V2.6 看大模型「斩杀线」:斩的是中间层模型

    文章以小米 9 月开源的 MiMo-V2.6 系列为切入点,分析大模型「斩杀线」概念,即在智能和成本两个维度都被超过的模型会失去被选择的理由。

    推荐理由:文章借小米 MiMo-V2.6 梳理了智能与成本双维度的行业竞争框架,读者可以据此理解 Agent 时代效率为何成为模型竞争的新坐标。