Together AI 推出端点级 LLM A/B 测试功能
A/B test models in production
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Together AI 在平台上推出端点级 A/B 测试功能,可直接在生产环境对比新旧模型对用户的真实质量,而不用在应用层自建分流逻辑。实验绑定端点,须有且仅有一个 control 和最多 20 个 variant,percent 之和为 100 且与副本数无关;variant 部署须保持零权重,不进入基础流量切分。
来源:Together AI Blog · together.ai