跳到正文
原文
Hugging Face Blog·· 11 天前AI 评分57

Hugging Face tokenizers v1 发布候选,编码速度较 v0.23 提升最多 30 倍

tokenizers v1: encode, decode and scaling, measured

AI 导读

Hugging Face 发布 tokenizers v1 候选版本,单线程编码速度在十个模型族上比 v0.23 快 3 到 30 倍(Apple M4 Max,低端 t5-base,高端 gpt2),八线程扩展达线性 76%,且 token ID 与旧版完全一致。主要改动包括用 SIMD 位流切分替代正则、线程本地词缓存、免分配的合并循环和按批模型调用,候选版已在 crates.io 提供。

来源:Hugging Face Blog · huggingface.co