Unigram：将字节编码为每个仅消耗一个 LLM token 的单词

Unigram 是一个将字节编码为单词、使每个单词仅消耗一个 LLM token 的编码方案，已在 GitHub 开源。该工具的目标是降低字节数据在 LLM 中的 token 开销，目前以 Show HN 形式发布在 Hacker News。