跳到正文
@EpochAIResearch· @EpochAIResearch · X·· 22 天前AI 评分25
AI 导读

请注意,每个领域特定的 ECI 是由 3 到 6 个基准测试结果计算得出的,因此我们的置信区间较宽:GPT-6 Astra 的 SWE-ECI 为 164(90% CI:160 至 170),与 Fable 5.1 的 167(90% CI:162 至 179)存在重叠。

正文

Note that each domain-specific ECI is calculated from 3 to 6 benchmark results, so our confidence intervals are wide: GPT-6 Astra’s SWE-ECI of 164 (90% CI: 160 to 170) overlaps with Fable 5.1’s 167 (90% CI: 162 to 179).

来源:@EpochAIResearch · x.com