HarnessDev:LLM 能否创建并演化自己的 Agent Harness?
HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
研究者提出 HarnessDev 基准,将评估对象从任务输出转向可运行基础设施,包含 Creation 与 Evolution 两个阶段。Creation 覆盖 6 个创建者 LLM、4 个领域和 5 个下游基准共 2,207 个实例,生成 harness 在代码与搜索研究上落后于人工参考,在写作与机器学习实验上持平或超越,执行成本差异较大。
来源:Hugging Face Daily Papers · arxiv.org