热点事件观察中
DeepMem提出多尺度字节级语言模型架构
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年11月3日，Hugging Face Daily Papers报道了DeepMem，一种因果多尺度字节级语言模型架构。该架构通过可逆子带变换，将语义压缩与精确字节保留分离，并借助快速权重记忆块与注意力超分辨率解码器还原字节级表示。报道称，DeepMem在FineWeb-Edu和PG19上的语言建模表现优于同等规模的字节级Transformer，并在所评估的FLORES语言上取得最佳宏平均成绩；其瓶颈精炼所需计数的FLOPs比等效全分辨率推理少约7,600倍。目前该工作处于论文发布阶段，尚无后续进展报道。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 08:00
DeepMem架构论文发布，称性能优于同规模字节级Transformer。报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- Hugging Face Daily PapersDeepMem：分离语义压缩与字节保真的多尺度字节级语言模型架构
DeepMem 是一种因果多尺度架构，通过可逆子带变换将语义压缩与精确字节保留分离，并用快速权重记忆块与注意力超分辨率解码器还原字节级表示。它在 FineWeb-Edu 和 PG19 上的语言建模表现优于同等规模的字节级 Transformer，并在所评估的 FLORES 语言上取得最佳宏平均成绩。其瓶颈精炼所需计数的 FLOPs 比等效全分辨率推理少约 7,600 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。