Sierra 如何用 golden dataset 评估并改进 AI 智能体的搜索质量
Golden articles: Evaluating and improving search
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Sierra 为旗下检索与重排模型 Linnaeus 和 Darwin 搭建了一套每日评估系统,从客户前一天的对话中采样数千条匿名搜索样本,用前沿 LLM 多阶段流水线筛选出"golden articles"作为基准,再以 recall、precision、nDCG 等指标对比智能体实际检索结果。
来源:Sierra Blog · sierra.ai