Qwen团队发布FlashQLA线性注意力优化实践

2026年10月21日，InfoQ报道阿里巴巴Qwen团队推出FlashQLA，这是一个面向GDN线性注意力的高性能GPU算子库。报道称，该算子库针对线性注意力在GPU上并行度不足、访存冗余和SFU负载过重三类问题，采用序列并行、利用滑动窗口性质以及硬件友好的代数改写等手段进行优化，面向Qwen系列模型的线性注意力提供高性能优化实践。目前公开报道仅涉及该算子库的发布与优化思路，尚未披露具体性能数据或后续应用进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。