跳到正文
@ZHO_ZHO_ZHO· @ZHO_ZHO_ZHO · X·· 18 天前AI 评分31
AI 导读

Kev-0.5B 是较完整的开源 Jev-like 研究实现,不做 autoregressive decoding,而是通过 shared state、隔离并行问题分支、learned pointer readout 一次 prefill 同时处理多个互不泄漏的判断,并附带训练、校准、TypeSafe API 兼容与 frozen evaluation。

正文

2️⃣ Kev-0.5B

目前看到比较完整的开源 Jev-like 研究实现之一

它不是简单读取 next-token logits,而是:
shared state
→ isolated parallel question branches
→ learned pointer readout
→ probability distribution
一次 prefill 同时处理多个互不泄漏的判断,不做 autoregressive decoding

同时提供训练、校准、TypeSafe API 兼容和 frozen evaluation

Kev 的结果也很值得看:在接近训练分布的任务上,它与 Jev 已经比较接近;但进入明显 OOD 数据后,差距迅速拉大。
这说明目前开源项目已经比较容易复现:System-One 的接口和计算结构。
真正难复现的仍然是:训练数据、泛化能力、概率校准和对候选顺序等偏差的鲁棒性

https://t.co/ZLl81xqkhs

来源:@ZHO_ZHO_ZHO · x.com