Together AI 内核团队揭秘：从 FlashAttention 到 ThunderKittens

Together AI 内核团队起源于 2022 年 Memorial Day 周末发布的 FlashAttention，该工作将数据库系统的数据局部性与内存层级原理应用于 attention，实现 2–3x 加速。