热点事件持续更新
Meta与MIT研究循环复用Transformer层提升模型性能
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月2日，X用户Rohan Paul发布内容称，Meta与MIT的论文发现循环复用Transformer层可在不增加参数的情况下让模型获得更深深度，并在固定规模下达到质量最优。研究训练了最高1B参数、最多155B token的稠密模型，测试了循环位置与次数；每循环适配器仅增加1.1%–4.3%参数，而深度翻倍需增加51.4%。报道称，训练算力紧张时循环中间层收益最佳，研究者还修复了一种并行循环方法，使解码时多个循环可同时运行。目前该信息仅来自这一条社交媒体转述，尚无其他报道补充或印证。
AI 根据报道生成 · 1 小时前更新
最新进展11月2日 19:53
X用户转述Meta与MIT论文称，循环复用Transformer层可在不增参数下提升模型质量。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- Rohan Paul (@rohanpaul_ai) · XMeta 与 MIT 论文：循环复用 Transformer 层可超越普通模型
Meta 与 MIT 论文发现，循环复用 Transformer 层可让模型在不增加参数的情况下获得更深深度，并在固定规模下质量最优。研究训练了最高 1B 参数、最多 155B token 的稠密模型，测试循环位置与次数；每循环适配器仅增加 1.1%–4.3% 参数，而深度翻倍需增加 51.4%。训练算力紧张时，循环中间层收益最佳，且他们还修复了一种并行循环方法，使解码时多个循环可同时运行。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。