Hugging Face Blog·· 11 天前精选AI 评分73
Hugging Face tokenizers v1 发布候选版，编码速度最高提升 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 release candidate，保持与 v0.23 相同的 token IDs、API、词表和 merge ranks，同时重写编码路径以提升性能。
推荐理由
文章用统一基准拆解 tokenizers v1 的性能改动，并给出与 v0.23 的速度和扩展性对比，便于评估升级收益。
来源：Hugging Face Blog · huggingface.co