Redwood Research:潜在推理架构可能削弱 CoT 这一最强的监督工具
Latent reasoning architectures would likely undermine CoT, our strongest oversight tool
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Redwood Research 的 Lukas Finnveden 发文指出,CoT 是目前理解模型推理的最有价值的监督工具,而 COCONUT、full-bandwidth transformers、looped transformers 等潜在推理架构会让模型在潜在状态中进行更多推理,削弱 CoT 的必要性并使监督更困难。
来源:Redwood Research Blog · blog.redwoodresearch.org