DeepMem：分离语义压缩与字节保真的多尺度字节级语言模型架构

DeepMem 是一种因果多尺度架构，通过可逆子带变换将语义压缩与精确字节保留分离，并用快速权重记忆块与注意力超分辨率解码器还原字节级表示。它在 FineWeb-Edu 和 PG19 上的语言建模表现优于同等规模的字节级 Transformer，并在所评估的 FLORES 语言上取得最佳宏平均成绩。其瓶颈精炼所需计数的 FLOPs 比等效全分辨率推理少约 7,600 倍。