Transformers v5 重构 Tokenization：更简单、更清晰、更模块化

Hugging Face 在 Transformers v5 中重构了 tokenizer 设计，将 tokenizer 架构与训练好的词表分离，类似 PyTorch 将网络架构与学习权重分离。v5 提供更清晰的内部结构、干净的类层级和单一快速后端，让用户能检查、定制或从零训练模型专属 tokenizer，而非将其视为黑盒。