Tokenizers

Tokenizers 是 Hugging Face 官方的高性能分词库：Rust 实现、Python 封装，训练与推理速度远超同类，是 Transformers 底层的默认分词引擎。
支持 BPE、WordPiece、Unigram 等主流算法，内置多种预训练 tokenizer 加载，也可自定义训练分词器。
适合场景：模型训练前的语料分词、自定义 tokenizer 训练、高性能文本预处理。
上手方式：pip install tokenizers，from_pretrained 加载或训练新分词器。