AI 导读
请注意,每个领域特定的 ECI 是由 3 到 6 个基准测试结果计算得出的,因此我们的置信区间较宽:GPT-6 Astra 的 SWE-ECI 为 164(90% CI:160 至 170),与 Fable 5.1 的 167(90% CI:162 至 179)存在重叠。
正文
Note that each domain-specific ECI is calculated from 3 to 6 benchmark results, so our confidence intervals are wide: GPT-6 Astra’s SWE-ECI of 164 (90% CI: 160 to 170) overlaps with Fable 5.1’s 167 (90% CI: 162 to 179).
来源:@EpochAIResearch · x.com