AI 导读
Kev-0.5B 是较完整的开源 Jev-like 研究实现,不做 autoregressive decoding,而是通过 shared state、隔离并行问题分支、learned pointer readout 一次 prefill 同时处理多个互不泄漏的判断,并附带训练、校准、TypeSafe API 兼容与 frozen evaluation。
正文
2️⃣ Kev-0.5B
目前看到比较完整的开源 Jev-like 研究实现之一
它不是简单读取 next-token logits,而是:
shared state
→ isolated parallel question branches
→ learned pointer readout
→ probability distribution
一次 prefill 同时处理多个互不泄漏的判断,不做 autoregressive decoding
同时提供训练、校准、TypeSafe API 兼容和 frozen evaluation
Kev 的结果也很值得看:在接近训练分布的任务上,它与 Jev 已经比较接近;但进入明显 OOD 数据后,差距迅速拉大。
这说明目前开源项目已经比较容易复现:System-One 的接口和计算结构。
真正难复现的仍然是:训练数据、泛化能力、概率校准和对候选顺序等偏差的鲁棒性
https://t.co/ZLl81xqkhs
来源:@ZHO_ZHO_ZHO · x.com