FLAMIA：面向 Blackwell 的快速且因果安全的 Flash 微缩放注意力

FLAMIA 是一组面向 NVIDIA Blackwell 的注意力 kernel，支持 MXFP8 与 NVFP4/FP8 混合训练路径。在因果 packed-document 负载上，MXFP8 路径将含量化的前向与反向注意力调用加速 1.10–1.40 倍（B200）和 1.06–1.42 倍（B300）。研究在 Llama 风格模型预训练上验证了训练稳定性与质量保持。