Together AI 推出 Parcae：稳定循环架构让 770M 模型媲美 1.3B Transformer

Together AI 提出稳定循环架构 Parcae，通过将激活多次传入同一批层来提升算力，验证困惑度较此前大规模循环模型最多降低 6.3%。其 770M 版本在相同数据上达到 1.3B 参数 Transformer 的质量，参数约减半；团队还首次建立循环架构的缩放定律，发现算力最优训练需同步增加循环次数与数据量。