TileMix：面向 LLM 推理加速的以 tile 为中心的混合精度注意力
TileMix: Tile-Centric Mixed-Precision Attention for LLM Inference Acceleration
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
TileMix 是一种以 tile 为中心的精度路由内核，将注意力矩阵切分为硬件对齐的 score tile，用紧凑 bitmask 把每个 tile 组分配到 FP16 或 INT8 计算，两条路径共享 online-softmax 状态。
来源：Hugging Face Daily Papers · arxiv.org