Hugging Face Blog·· 12 天前精选AI 评分62
Hugging Face 发布 tokenizers v1：编码提速 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 候选版本，在 Apple M4 Max 单线程下编码速度比 v0.23 快 3 至 30 倍，八线程扩展效率为线性的 76%，且输出的 token ID 与 v0.23 完全一致。
推荐理由
原文给出 v1 相对 v0.23 的加速幅度与实现改动，可据此判断分词环节在训练与推理管线中的实际权重。
来源：Hugging Face Blog · huggingface.co