transformers 连续批处理异步化，生成提速 22%

Hugging Face 发布技术文章，讲解如何用异步批处理把 CPU 批准备与 GPU 计算解耦，让两者并行执行。在 8K tokens、batch size 32、8B 模型的测试中，生成时间从 300.6 秒降到 234.5 秒，提速 22%，GPU 活跃时间占比从 76.0% 升到 99.4%。