AI 导读
实测显示 Fable 5 在漏洞分析和 bug 寻找上表现很强,但写代码时会产生明显 bug,需多次修复才能完成,整体偏科严重。相比 4.8,它在某些方面提升非常大,另一些方面则提升有限。该测试基于 26 万行的 CodePilot 代码库进行问题排查。
正文
试了一下,Fable 5 在漏洞分析、bug 寻找这些地方还是很强的。
但是在写代码上,我感觉它也不是万能的,它写出来的代码也会有明显的 bug,需要多次修复才能完成。
所以在这块,我觉得它可能是一个偏科比较严重的模型。
在某些程度上它比 4.8 好了非常多,但在另一些方面,虽然也比 4.8 好,但好得有限。
在我 26 万行代码的 CodePilot 代码库中尝试 Fable 5,看一下它能找出多少问题在 X 查看被引用的帖子
来源:@op7418 · x.com