Hugging Face Blog·· 2024-08-21精选AI 评分60
Hugging Face 通过打包与 Flash Attention 2 提升训练效率
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2
AI 导读
Hugging Face 在 Transformers 中推出 DataCollatorWithFlattening，使无 padding 的打包指令微调与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍。
推荐理由
官方给出打包训练与 Flash Attention 2 兼容的实现方式和吞吐、显存实测数据，可据此评估自家训练流程的改造空间。
来源：Hugging Face Blog · huggingface.co