Hugging Face Blog·· 2023-10-03精选AI 评分62
Hugging Face tokenizers 新增 chat_template 属性，解决聊天格式错配导致的性能下降
Chat Templates: An End to the Silent Performance Killer
AI 导读
Hugging Face tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，避免因格式不一致造成的静默性能下降。
推荐理由
Hugging Face 把聊天格式从 transformers 硬编码搬到 tokenizer 属性，读者可据此理解格式错配为何会静默拉低模型表现。
来源：Hugging Face Blog · huggingface.co